DevToys Web Pro iconDevToys Web ProБлог
Оцініть нас:
Спробуйте розширення для браузера:

Детектор і видалення невидимих символів

Текст

Підсумок

Невидимих символів не знайдено.

Візуалізовано

Видалити категорії

Очищений результат

  • Технічні деталі

    Як працює детектор невидимих символів

    Що робить детектор невидимих символів

    Інструмент сканує текст на наявність кодових точок Unicode, які не відображають видимого гліфа, і перелічує кожну з її кодом U+, офіційною назвою, позицією та кількістю за типом. Він виявляє пробіл нульової ширини (U+200B), нульової ширини незʼєднувач і зʼєднувач (U+200C, U+200D), word joiner (U+2060), позначку порядку байтів (U+FEFF), м’який перенос (U+00AD), нерозривні та інші екзотичні пробіли (U+00A0, U+2007, U+202F), роздільники рядків і абзаців та двонапрямні керівні символи (U+202A–U+202E, U+2066–U+2069). Їх можна показати прямо в тексті та видалити всі або лише вибрані категорії. Обробка відбувається локально у браузері.

    Поширені сценарії використання

    Розробники використовують його, щоб знайти пробіл нульової ширини, через який не вдається порівняння рядків, API-ключ або пароль, що не збігається, файл JSON із BOM, який не розбирається, чи заголовок CSV, що виглядає однаково, але не є таким. Автори та редактори очищають текст, скопійований із вебсторінок, PDF і чат-інструментів. Фахівці з безпеки скануюють вихідний код і pull request на двонапрямні керівні символи Trojan Source (CVE-2021-42574) та хитрощі з гомогліфами. Також його застосовують для очищення тексту від ШІ-асистентів, що містить випадкові символи нульової ширини або нерозривні пробіли, перед вставленням у CMS, електронну таблицю чи термінал.

    Категорії символів

    Символи належать до таких груп: символи нульової ширини (U+200B–U+200D, U+2060, U+FEFF), варіанти пробілів (NBSP U+00A0, пробіли en та em U+2000–U+200A, вузький NBSP U+202F, ідеографічний пробіл U+3000), керівні символи форматування (м’який перенос U+00AD, невидимі роздільники U+2061–U+2064), двонапрямні керівні символи (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) і недруковані керівні символи з діапазонів C0 і C1. Деякі мають значення: ZWJ поєднує послідовності емодзі, а ZWNJ необхідний у перській та гінді орфографії.

    Підводні камені та обмеження

    Видаляти все не завжди правильно: видалення ZWJ ламає емодзі, як-от родини чи прапори, а видалення ZWNJ змінює слова в перському, арабському та індійських письмах. Замінюйте NBSP звичайним пробілом, а не видаляйте його, інакше слова зіллються. BOM на початку файлу часто краще видаляти на рівні файлу. Інструменти обрізання та нормалізації не видаляють символи нульової ширини, а гомогліфи (кириличний символ замість латинського a) є видимими символами, тому потребують окремої перевірки. Про екранування тексту дивіться Text Escape, про підрахунок — Text Analyzer.