Przejdź do treści
Coverton Bloga
W tym artykule
Tabele i dane

Usuń zduplikowane wiersze CSV: nagłówki i wartości

Dwa rekordy dzielące ten sam kod zamówienia mogą nadal różnić się innymi wartościami. Zdefiniuj pasujące kolumny i które wystąpienie zachować przed oceną wierszy usuniętych przez deduplikację.

Otwórz narzędzieJak korzystać z tego narzędzia ↓
Usuń zduplikowane wiersze CSV
Ilustracja pokazuje sposób korzystania z narzędzia. Nie przedstawia wyniku przetwarzania przesłanego pliku.

Jak korzystać z tego narzędzia

  1. Wybierz pliki w formacie CSV. Maksymalna liczba plików na partię: 1.
  2. Przejrzyj Kluczowe kolumny (puste dla pełnego wiersza), Zduplikowane wiersze do zachowania, Przytnij spacje początkowe i końcowe, Ignoruj różnice między wielkimi i małymi literami, a następnie rozpocznij przetwarzanie.
  3. Pobierz wynik CSV i sprawdź jego zawartość i jakość.

Wybierz odpowiednie ustawienia

Wprowadź nazwy kolumn kluczy oddzielonych przecinkami lub pozostaw je puste, aby porównać całe wiersze. Wybierz pierwsze lub ostatnie przechowywanie oraz opcje przycinania lub rozróżniania wielkości liter, zgodnie z zamierzoną regułą dopasowywania.

Obsługiwane wejście
  • CSV
Wyjście
  • CSV
Dostępne ustawienia
  • Kluczowe kolumny (puste dla pełnego wiersza)
  • Zduplikowane wiersze do zachowania
  • Przytnij spacje początkowe i końcowe
  • Ignoruj różnice między wielkimi i małymi literami

Przed rozpoczęciem

Ustal znaczenie danych wejściowych

Przed przekształceniem ustal, co oznacza wiersz lub wartość, i zachowaj kopię źródła. W tabelach sprawdź nagłówki, separatory i kodowanie, a w plikach strukturalnych wymagane obiekty lub tablice. Sam sposób wyświetlania w arkuszu nie wyjaśnia znaczenia identyfikatorów, dat i kwot.

Dobierz dostępne kolumny dopasowania, reguły typów i pola wyjściowe do wymagań odbiorcy. Wypróbuj próbkę z pustą wartością, powtórzeniem i interpunkcją. Dla etykiet, wykresów lub dokumentów spersonalizowanych sprawdź kolumny źródłowe, jednostki i brzmienie tekstu.

Ustal kontrole przed przetwarzaniem: identyfikator z zachowaną pisownią, wartość o znanym znaczeniu i oczekiwaną relację między rekordami. Przy regułach typu lub dopasowania odróżnij wartość źródłową od jej wyświetlania. Sprawdź niejednoznaczne daty i różnie zapisane klucze przed użyciem ogólnej reguły. Zachowaj reguły i wymagania z wynikiem, aby rozpoznać, czy różnica wynika z wejścia, interpretacji czy przekształcenia.

Zweryfikuj wartości i wyjątki

Otwórz lub zaimportuj wynik zgodnie z ustawieniami programu docelowego. Porównaj nagłówki, liczbę rekordów i próbki wartości. Podsumowanie, podział lub usuwanie duplikatów mogą celowo zmienić liczbę wierszy; sprawdź powód zmiany zamiast oczekiwać niezmiennego wyniku każdej operacji.

Przeczytaj raport wyjątków lub walidacji przed dalszą pracą. Przy przesuniętych kolumnach, błędnych znakach albo brakującym kluczu sprawdź separator, kodowanie i dokładne nazwy nagłówków. Kodowanie nie jest szyfrowaniem, a formatowanie nie potwierdza znaczenia. Przetestuj wydrukowane kody lub etykiety przed wykonaniem całej serii.

Przykładowe wejście i wyjście

powtarzane identyfikatory zamówienia → CSV z zapisami zapisanymi

Przykłady opisują przepływ pracy. Wyniki zależą od pliku źródłowego i ustawień.

Sprawdź wynik przed zapisaniem

W przypadku każdego powtarzającego się klucza sprawdź zachowane daty i wartości. sprawdź witespace lub warianty przypadków, które stają się równoważne pod szerszym dopasowaniem, a następnie sprawdź zachowane porządek kolejności przed użyciem arkusza.

Jeśli wynik różni się od oczekiwanego

Nieznane nazwy nagłówków lub nieprawidłowe cytowanie mogą uniemożliwić przetwarzanie. Opcja przycinania używana do porównania nie oznacza, że ​​białe znaki w każdej zapisanej komórce również zostały wyczyszczone.

Ograniczenia, o których należy pamiętać

  • Sprawdź kodowanie znaków, separatory i nazwy kolumn. Duże liczby mogą spowodować utratę precyzji w JavaScript; CSV nie zachowuje wszystkich typów i struktur zagnieżdżonych.
  • Ignorowanie spacji lub rozróżniania wielkości liter może prowadzić do podsumowania różnych wartości.

Przejdź do powiązanych narzędzi

Konwertuj CSV na JSON

Pierwszy wiersz CSV dostarcza klucze dla obiektu JSON każdego wiersza danych. Wartości komórek są przechowywane jako ciągi znaków, dlatego przed przekazaniem wyniku do systemu, który oczekuje liczb lub wartości logicznych, sprawdź ich typ.

Wybierz kodowanie źródłowe i użyj automatycznej detekcji delimiter lub wybierz prawdziwy delimiter. Rozwiąż pusty lub podwójne nagłówki i upewnij się, że każda kolejka ma taką samą liczbę kolumn jak nagłówek.

Otwórz narzędzie

Konwertuj JSON na CSV

Konwersja wymaga tablicy, której elementami są obiekty. Zdecyduj, czy zagnieżdżone obiekty mają tworzyć osobne kolumny, czy pozostać ciągami JSON w komórkach. W każdym przypadku tabelę odczytuje się inaczej.

Włącz spłaszczanie, aby nazwy właściwości zagnieżdżonych obiektów tworzyły nagłówki połączone kropkami. Tablice nie są rozwijane na wiele wierszy. Sprawdź te komórki osobno, jeśli chcesz analizować każdy element tablicy.

Otwórz narzędzie
CovertonUsuń zduplikowane wiersze CSV
Otwórz narzędzie

Ten przewodnik opisuje publicznie dostępne narzędzie działające w przeglądarce. Zachowaj kopię oryginału i sprawdź wynik przed udostępnieniem.

To tłumaczenie zostało przygotowane przy pomocy oprogramowania. Możesz przeczytać także wersję angielską. Przeczytaj po angielsku