Детектор і видалення невидимих символів
Текст
Підсумок
Невидимих символів не знайдено.
Візуалізовано
Видалити категорії
Очищений результат
Технічні деталі
Як працює детектор невидимих символів
Що робить детектор невидимих символів
Інструмент сканує текст на наявність кодових точок Unicode, які не відображають видимого гліфа, і перелічує кожну з її кодом U+, офіційною назвою, позицією та кількістю за типом. Він виявляє пробіл нульової ширини (U+200B), нульової ширини незʼєднувач і зʼєднувач (U+200C, U+200D), word joiner (U+2060), позначку порядку байтів (U+FEFF), м’який перенос (U+00AD), нерозривні та інші екзотичні пробіли (U+00A0, U+2007, U+202F), роздільники рядків і абзаців та двонапрямні керівні символи (U+202A–U+202E, U+2066–U+2069). Їх можна показати прямо в тексті та видалити всі або лише вибрані категорії. Обробка відбувається локально у браузері.
Поширені сценарії використання
Розробники використовують його, щоб знайти пробіл нульової ширини, через який не вдається порівняння рядків, API-ключ або пароль, що не збігається, файл JSON із BOM, який не розбирається, чи заголовок CSV, що виглядає однаково, але не є таким. Автори та редактори очищають текст, скопійований із вебсторінок, PDF і чат-інструментів. Фахівці з безпеки скануюють вихідний код і pull request на двонапрямні керівні символи Trojan Source (CVE-2021-42574) та хитрощі з гомогліфами. Також його застосовують для очищення тексту від ШІ-асистентів, що містить випадкові символи нульової ширини або нерозривні пробіли, перед вставленням у CMS, електронну таблицю чи термінал.
Категорії символів
Символи належать до таких груп: символи нульової ширини (U+200B–U+200D, U+2060, U+FEFF), варіанти пробілів (NBSP U+00A0, пробіли en та em U+2000–U+200A, вузький NBSP U+202F, ідеографічний пробіл U+3000), керівні символи форматування (м’який перенос U+00AD, невидимі роздільники U+2061–U+2064), двонапрямні керівні символи (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) і недруковані керівні символи з діапазонів C0 і C1. Деякі мають значення: ZWJ поєднує послідовності емодзі, а ZWNJ необхідний у перській та гінді орфографії.
Підводні камені та обмеження
Видаляти все не завжди правильно: видалення ZWJ ламає емодзі, як-от родини чи прапори, а видалення ZWNJ змінює слова в перському, арабському та індійських письмах. Замінюйте NBSP звичайним пробілом, а не видаляйте його, інакше слова зіллються. BOM на початку файлу часто краще видаляти на рівні файлу. Інструменти обрізання та нормалізації не видаляють символи нульової ширини, а гомогліфи (кириличний символ замість латинського a) є видимими символами, тому потребують окремої перевірки. Про екранування тексту дивіться Text Escape, про підрахунок — Text Analyzer.