Перейти до вмісту
Coverton Блог
У цій статті
Документи і текст

Нормалізація Unicode: пропуски тексту та порядок

Символи з діакритичними знаками або корейський текст можуть виглядати однаково, якщо використовуються різні послідовності символів, що лежать в основі. Нормалізація може вирівняти їх представлення, але імена та значущі символи все одно потребують ретельного порівняння з джерелом.

Відкрийте інструментЯк користуватися цим інструментом ↓
Нормалізація Unicode
Ілюстрація робочого процесу цього інструменту; це не результат завантаженого файлу.

Як користуватися цим інструментом

  1. Введіть текст або додайте вихідний текстовий файл.
  2. Виберіть необхідну форму нормалізації.
  3. Запустіть і порівняйте імена та спеціальні символи.
  4. Завантажте нормалізований текст.

Виберіть правильні налаштування

Виберіть NFC або NFD відповідно до складу символів, необхідних для вашого робочого процесу. NFKC і NFKD також змінюють символи сумісності, тому перевірте повноширинні форми та спеціальні символи, перш ніж застосовувати їх до конфіденційних ідентифікаторів.

Підтримувані вхідні дані
  • TXT,MD
Доступні налаштування
  • Форма нормалізації

Перед початком

Розмежуйте текст і впорядкування файлів

Уточніть, чи завдання стосується слів, структури, прихованих відомостей або назв файлів. Збережіть оригінал і перевірте підтримуваний формат. Звичайний текст допомагає перечитати слова, але не обов’язково відтворює всі зображення, шрифти, рівняння й розташування сторінок.

Доступні роздільники, нормалізацію або очищення випробуйте на уривку із заголовками, особливими символами та значущими переносами. Для інспекції чи порівняння додайте всі потрібні джерела. Перейменовуючи копії, перевірте порядок і збережіть відповідність старих і нових назв.

Перед очищенням вирішіть, які пробіли, повтори чи символи значущі; інше написання може бути навмисним. Для інспекції й упорядкування запишіть файли та буквальні правила назв або порівняння. Перевірте короткий уривок чи відому пару файлів. Проміжну копію порівнюйте окремо: попереднє витягування, нормалізація або перейменування можуть пояснювати різницю.

Перевірте зміст і відповідність

Прочитайте початок, кінець і переходи між розділами. Звірте імена, табличні значення й спеціальні символи із джерелом. У звіті знайдіть кілька зазначених відомостей в оригіналі: інспекція допомагає перевірці, але не видаляє виявлену інформацію автоматично.

У завантажених копіях перевірте назви, розширення та зв’язок з оригіналами. Пропущений чи перемішаний текст може пояснюватися непідтримуваним вбудованим вмістом, кодуванням або порядком читання. Нова назва не змінює формат; однаковий вигляд не означає тотожності байтів двох файлів.

Приклад введення та виведення

Створений текст + NFC → Створений текст

Приклади описують робочий процес. Результати залежать від вихідного файлу та налаштувань.

Перед збереженням перевірте результат

Перевірте рядки, що містять корейські наголоси, символи повної ширини та символи поряд із їхніми оригіналами. Коли візуальний результат виглядає незмінним, перевірте пошук або порівняння рядків у програмі, яка використовуватиме нормалізований текст.

Якщо результат відрізняється від очікуваного

Нормалізація не може відновити символи, уже пошкоджені неправильним декодуванням файлу або пошкодженим джерелом. Якщо текст помітно розірваний, перевірте оригінальний файл і його кодування, перш ніж змінювати подання Unicode.

Пам’ятайте про обмеження

  • NFC підходить для звичайного складеного тексту. NFKC/NFKD також змінюють символи сумісності. Перегляньте результат.

Продовжити з пов’язаними інструментами

Перетворіть DOCX на текст

Витягніть основний текст DOCX і підтримувані колонтитули, коли вам потрібно переглянути формулювання. Результат TXT не відтворює шрифти чи макет сторінки, тому порівняйте його вміст окремо від друкованого вигляду документа.

Виберіть порожні рядки, розділення одним рядком або маркери розділів для вилучених частин. Ці маркери описують витягнуті розділи та не відтворюють номери фізичних друкованих сторінок DOCX.

Відкрийте інструмент

Перетворіть PPTX на текст

Екстракт TXT корисний для перегляду тексту презентації слайд за слайдом. Не припускайте, що витягнута послідовність відповідає візуальному розміщенню на полотні; перевірте, як заголовки та пояснення пов’язані у вихідних даних.

Виберіть режим маркера слайда, щоб додати мітку СЛАЙД до кожного вилученого розділу. Використовуйте розділення порожнім або одним рядком, якщо ці мітки непотрібні для тексту, який ви редагуєте.

Відкрийте інструмент
CovertonНормалізація Unicode
Відкрийте інструмент

Цей посібник описує загальнодоступний інструмент, що працює в браузері. Збережіть копію оригіналу та перевірте результат перед поширенням.

Цей переклад було підготовлено за допомогою програмного забезпечення. Ви також можете прочитати англійську версію. Читайте англійською