Перейти к содержимому
Coverton Блог
В этой статье
Таблицы и данные

Удалить повторяющиеся строки CSV: заголовки и значения

Две записи, имеющие общий код заказа, могут различаться другими значениями. Определите соответствующие столбцы и укажите, какое вхождение следует сохранить, прежде чем оценивать строки, удаленные в результате дедупликации.

Откройте инструментКак использовать этот инструмент ↓
Удалить повторяющиеся строки CSV
Иллюстрация рабочего процесса этого инструмента; это не результат загруженного файла.

Как использовать этот инструмент

  1. Выбирайте файлы в формате CSV. Максимальное количество файлов в пакете: 1.
  2. Просмотрите Ключевые столбцы (пустые для полной строки), Дублировать строки, чтобы сохранить, Обрезать начальные и конечные пробелы, Игнорировать различия в верхнем и нижнем регистре, затем начните обработку.
  3. Загрузите результат CSV и проверьте его содержимое и качество.

Выбирайте правильные настройки

Введите имена ключевых столбцов, разделенные запятыми, или оставьте их пустыми, чтобы сравнить целые строки. Выберите первое или последнее сохранение, а также параметры обрезки или учета регистра в соответствии с предполагаемым правилом сопоставления.

Поддерживаемый ввод
  • CSV
Результат
  • CSV
Доступные настройки
  • Ключевые столбцы (пустые для полной строки)
  • Дублировать строки, чтобы сохранить
  • Обрезать начальные и конечные пробелы
  • Игнорировать различия в верхнем и нижнем регистре

Перед началом

Уточните смысл входных данных

До преобразования определите, что означает строка или значение, и сохраните исходную копию. В таблице проверьте заголовки, разделители и кодировку, в структурированном файле — требуемые объекты или массивы. Отображение в электронной таблице само по себе не определяет смысл кодов, дат и сумм.

Подбирайте доступные ключевые столбцы, правила типов и выходные поля по требованиям получателя. Испытайте образец с пустым значением, повтором и пунктуацией. Для этикеток, диаграмм и персонализированных документов проверьте исходные столбцы, единицы и формулировки.

Заранее задайте проверки: идентификатор с неизменным написанием, значение с понятным смыслом и ожидаемую связь записей. При правилах типов или сопоставления отличайте исходное значение от его отображения. Проверьте неоднозначные даты и по-разному записанные ключи до применения общего правила. Сохраните правила и требования вместе с результатом, чтобы отнести расхождение к вводу, интерпретации или преобразованию.

Сверьте значения и исключения

Откройте или импортируйте результат с настройками целевой программы. Сравните заголовки, число записей и образцы значений с исходником. Сводка, разделение или удаление дублей могут намеренно менять количество строк; проверяйте причину изменения вместо требования одинакового числа после любой операции.

Прочитайте отчёты об исключениях или проверках перед продолжением. Если столбцы сместились, символы искажены или ключ не найден, сначала проверьте разделитель, кодировку и точное написание заголовков. Кодирование не шифрует данные, оформление не подтверждает смысл. Испытайте напечатанные коды и этикетки до изготовления всей серии.

Пример ввода и вывода

Повторные идентификаторы заказа → CSV с сохранением записей

Примеры описывают рабочий процесс. Результаты зависят от исходного файла и настроек.

Проверьте результат перед сохранением

Для каждого повторяемого ключа проверяйте сохранившиеся даты и значения. проверяйте белый пространство или варианты случая, которые становятся эквивалентными при более широком совпадении, и проверяйте сохранившийся порядок последовательности перед использованием шины.

Если результат отличается от ожидаемого

Неизвестные имена заголовков или неверные кавычки могут помешать обработке. Опция обрезки, используемая для сравнения, не означает, что пробелы в каждой сохраненной ячейке также были удалены.

Ограничения, о которых следует помнить

  • Проверьте кодировку символов, разделители и имена столбцов. Большие числа могут потерять точность в JavaScript; CSV не сохраняет все типы и вложенные структуры.
  • Игнорирование пробелов или чувствительности к регистру может суммировать разные значения.

Продолжить с похожими инструментами

Преобразовать CSV в JSON

Первая строка CSV предоставляет ключи для объекта JSON каждой строки данных. Значения ячеек хранятся в виде строк, поэтому проверьте их типы перед передачей результата в систему, которая ожидает числа или логические значения.

Выберите кодирование источника и используйте автоматическое детектирование делимитера или выберите фактический делимитер. Решите пустые или дублируемые заголовки и убедитесь, что каждая строка имеет то же количество колонн, что и заголовка.

Откройте инструмент

Преобразовать JSON в CSV

Для преобразования нужен массив объектов. Решите, должны ли вложенные объекты стать отдельными столбцами или остаться строками JSON в ячейках: от этого зависит способ чтения таблицы.

Включите развёртывание вложенных объектов, чтобы имена их свойств стали заголовками, соединёнными точками. Массивы не разворачиваются в несколько строк; проверьте такие ячейки отдельно, если нужно анализировать каждый элемент массива.

Откройте инструмент
CovertonУдалить повторяющиеся строки CSV
Откройте инструмент

Руководство описывает общедоступный инструмент, который работает в браузере. Сохраните копию оригинала и проверьте результат перед отправкой.

Этот перевод был подготовлен с помощью программного обеспечения. Вы также можете прочитать английскую версию. Читать на английском