Slaan oor na inhoud
Coverton Blog
In hierdie artikel
Tabelle en data

Hoe om CSV-duplikate te verwyder en behoue rekords te kies

Twee rekords wat 'n bestelling kode gedeel, kan nog steeds in hul ander waarden verskil. Definieer die matching kolonne en wat gebeur om te hou voordat die reëls deur deduplikasie geëvalueer word.

Maak die hulpmiddel oopHoe om hierdie hulpmiddel te gebruik ↓
Verwyder duplikaat CSV-rye
Illustrasie van hierdie hulpmiddel se werkvloei; dit is nie 'n resultaat van 'n opgelaaide lêer nie.

Hoe om hierdie hulpmiddel te gebruik

  1. Kies lêers in CSV-formaat. Maksimum lêers per bondel: 1.
  2. Hersien Sleutelkolomme (leeg vir volle ry), Duplikaat rye om te hou, Knip voor- en agterruimtes af, Ignoreer hoofletter- en kleinletterverskille en begin dan verwerk.
  3. Laai die CSV-resultaat af en kontroleer die inhoud en kwaliteit daarvan.

Kies die regte instellings

Voer die sleutelkolomnamen wat deur commas gesonder is, of laat hulle leeg wees om hele rande te vergelyk. Kies die eerste of laaste bewaring en die trimming of geval-insensitive opsies volgens die bedoelde matching reg.

Ondersteunde insette
  • CSV
Uitset
  • CSV
Beskikbare instellings
  • Sleutelkolomme (leeg vir volle ry)
  • Duplikaat rye om te hou
  • Knip voor- en agterruimtes af
  • Ignoreer hoofletter- en kleinletterverskille

Voor jy begin

Verstaan kolomme en interpretasie voordat jy omskakel

Kontroleer die werkblad, opskrifry, karakterkodering en skeidingsteken. ’n Produkkode met voorloopnulle is ’n identifiseerder, nie bloot ’n getal vir berekening nie. Bepaal die bron se datumvolgorde en desimale konvensie sodat dubbelsinnige waardes nie volgens ’n toevallige plaaslike gebruik gelees word nie.

As jy vergelyk, koppel of duplikate verwyder, kies sleutels en lêervolgorde volgens die betekenis van ’n rekord. Dieselfde sleutel kan elders verskillende besonderhede hê. As jy spasies of hoofletters ignoreer, kan regmatige verskille saamgevoeg word; kies die behoue voorkoms op grond van die bron.

By kolomkartering kontroleer watter bronwaarde elke doelveld ontvang. By etikette en tabelbeelde kontroleer name, kodes, eenhede en vertoonvolgorde. Toets QR- en strepieskodes met ’n leser. Hierdie take ken nie nuwe produkkodes toe of verander meeteenhede wanneer ’n groottekaart uitgevoer word nie.

Rekonsilieer rye en lees verslae oor uitsonderings

Vergelyk die aantal rye, kolomvolgorde en gekose identifiseerders met die oorspronklike. Uitbreiding van veelvuldige waardes kan meer rye lewer, terwyl ’n koppeling ongematchte rekords kan weglaat. Lees verslae oor verwyderde, ongeldige en onopgeloste waardes voor verdere gebruik.

Formaatwisseling behou nie altyd die hele datamodel nie. CSV kan nie alle geneste JSON- of XML-strukture uitdruk nie, en gewone teks dra nie ’n sigblad se visuele uitleg nie. Base64 is omkeerbare kodering, nie enkripsie nie. Minifisering is ook nie dieselfde as ZIP-komprimering nie.

By foute kontroleer presiese kolomname, karteerrigting, sintaksis en vereiste datatipes. Somme en gemiddeldes vereis getalle; ’n telling tel die rekords. Verkeerde kodering of reeds verlore syfers kan nie deur raaiwerk herstel word nie. Toets invoer in die ontvangende program en behou die bron vir vergelyking.

Voorbeeld van insette en uitsette

herhaalde bestelling IDs → CSV met bewaarde rekords

Voorbeelde beskryf die werkvloei. Resultate hang af van die bronlêer en instellings.

Gaan die resultaat na voordat jy stoor

Vir elke herhaalde sleutel, kyk die bewaarde datum en waarde. Inspekteer witruimte of gevalle variante wat ekvivalent word onder die breder matching, en kyk die bewaarde volgorde voor die gebruik van die sigblad.

As die resultaat anders is as wat jy verwag het

Onbekende kolomopskrifte of ongeldige aanhalingstekens kan verwerking verhinder. Die verwydering van witspasie vir vergelyking beteken nie dat witspasie ook uit elke gestoorde sel verwyder is nie.

Perke om in gedagte te hou

  • Gaan karakterkodering, skeiers en kolomname na. Groot getalle kan akkuraatheid in JavaScript verloor; CSV bewaar nie alle tipes en geneste strukture nie.
  • Ignoreer spasies of hooflettergevoeligheid kan verskillende waardes opsom.

Gaan voort met verwante hulpmiddels

Skakel CSV om na JSON

Die eerste CSV reeks verskaf die sleutels vir elke data reeks se JSON objek. Cell-waarde word opgespeer as stringe, so inspekteer hul type voordat die resultate na 'n stelsel wat getalle of boolean-waarde verwag.

Kies die bron-kodeer en gebruik die automatische delimiter-deteksie of kies die werklike delimiter. Bespreek leë of duplikatiewe heads en maak seker dat elke reeks dieselfde aantal kolonne as die header het.

Maak die hulpmiddel oop

Skakel JSON om na CSV

Hierdie sigblad omgekeer vereis 'n array waarvan die invoer objekte is. Besluit of nested objekte moet 'n gescheide kolonne word of bly JSON stringe in die celle, want die resulterende sigblad word anders lees in elke geval.

Laat flatteer om nested objek eienskappe te verander in hoofde wat met punte aangesloten is. Arrays word nie uitgestrek in verskeie rande nie, so kyk hierdie cells afzonderlik as jy van plan is om elke array item te analiseer.

Maak die hulpmiddel oop
CovertonVerwyder duplikaat CSV-rye
Maak die hulpmiddel oop

Hierdie gids verduidelik die hulpmiddel wat in die blaaier beskikbaar is. Hou ’n kopie van die oorspronklike en gaan die resultaat na voordat jy dit deel.

Hierdie vertaling is met sagteware-bystand voorberei. Jy kan ook die Engelse weergawe lees. Lees in Engels