Перейти к содержимому
Coverton Блог
В этой статье
Документы и текст

Нормализация Юникода: пропуски текста и порядок

Символы с акцентом или текст на корейском языке могут выглядеть одинаково при использовании разных последовательностей символов. Нормализация может привести в порядок их представление, но имена и значимые символы по-прежнему требуют тщательного сравнения с источником.

Откройте инструментКак использовать этот инструмент ↓
Нормализация Юникода
Иллюстрация рабочего процесса этого инструмента; это не результат загруженного файла.

Как использовать этот инструмент

  1. Введите текст или добавьте исходный текстовый файл.
  2. Выберите необходимую форму нормализации.
  3. Запустите и сравните имена и специальные символы.
  4. Загрузите нормализованный текст.

Выбирайте правильные настройки

Выберите NFC или NFD в соответствии с составом символов, необходимым для вашего рабочего процесса. NFKC и NFKD также меняют символы совместимости, поэтому просмотрите полноширинные формы и специальные символы, прежде чем применять их к конфиденциальным идентификаторам.

Поддерживаемый ввод
  • TXT,MD
Доступные настройки
  • Форма нормализации

Перед началом

Разделите работу с текстом и файлами

Уточните, относится ли задача к словам, структуре, скрытым сведениям или именам файлов. Сохраните оригинал и проверьте поддерживаемый ввод. Обычный текст помогает читать формулировки, но не обязательно воспроизводит все изображения, шрифты, формулы и расположение страниц.

Доступные разделители, нормализацию или очистку испытайте на фрагменте с заголовками, особыми символами и значимыми переносами. Для инспекции или сравнения добавьте все нужные источники. При переименовании копий проверьте порядок и сохраните соответствие старых и новых имён.

Перед очисткой текста решите, какие пробелы, повторы или символы значимы; разное написание может быть намеренным. При инспекции и организации запишите файлы и буквальные правила именования или сравнения. Проверьте короткий исходный фрагмент или известную пару файлов. Промежуточную копию сравнивайте отдельно: прежнее извлечение, нормализация или переименование могут объяснять расхождение.

Проверьте смысл и соответствие

Прочитайте начало, конец и переходы между разделами. Сверьте имена, табличные значения и специальные символы с источником. В отчёте найдите несколько указанных сведений в оригинале: инспекция помогает проверке, но не удаляет обнаруженную информацию автоматически.

У скачанных копий проверьте имена, расширения и связь с оригиналами. Пропавший или перемешанный текст может быть связан с неподдерживаемым вложенным содержимым, кодировкой или порядком чтения. Новое имя не меняет формат; одинаковый вид не означает, что байты двух файлов совпадают.

Пример ввода и вывода

Излученный текст + NFC → составный текст

Примеры описывают рабочий процесс. Результаты зависят от исходного файла и настроек.

Проверьте результат перед сохранением

Проверяйте строки, содержащие корейские знаки, диакритические знаки, полноразмерные символы и символы, рядом с их оригиналами. Если визуальный результат кажется неизменным, проверьте поиск или сравнение строк в программе, которая будет использовать нормализованный текст.

Если результат отличается от ожидаемого

Нормализация не может восстановить символы, уже поврежденные в результате неправильного декодирования файла или поврежденного источника. Если текст явно поврежден, изучите исходный файл и его кодировку, прежде чем изменять представление Unicode.

Ограничения, о которых следует помнить

  • NFC подходит для обычного составленного текста. NFKC/NFKD также меняют символы совместимости. Просмотрите результат.

Продолжить с похожими инструментами

Преобразовать DOCX в Текст

Извлекайте основной текст DOCX и поддерживаемые верхние и нижние колонтитулы, когда вам нужно просмотреть формулировку. Результат TXT не воспроизводит шрифты или макет страницы, поэтому сравнивайте его содержимое отдельно от печатного вида документа.

Выберите пустые строки, однострочное разделение или маркеры разделов для извлеченных частей. Эти маркеры описывают извлеченные разделы и не воссоздают физические номера печатных страниц DOCX.

Откройте инструмент

Преобразовать PPTX в Текст

Отрывок TXT полезен для просмотра формулировок презентации слайд за слайдом. Не думайте, что извлеченная последовательность соответствует визуальному расположению на холсте; проверьте, как заголовки и пояснения связаны в выводе.

Выберите режим маркера слайда, чтобы добавить метку СЛАЙД к каждому извлеченному разделу. Используйте пустую строку или разделение в одну строку, если эти метки не нужны для текста, который вы будете редактировать.

Откройте инструмент
CovertonНормализация Юникода
Откройте инструмент

Руководство описывает общедоступный инструмент, который работает в браузере. Сохраните копию оригинала и проверьте результат перед отправкой.

Этот перевод был подготовлен с помощью программного обеспечения. Вы также можете прочитать английскую версию. Читать на английском