DevToys Web Pro iconDevToys Web ProБлог
Оцените нас:
Попробуйте расширение для браузера:

Детектор и удаление невидимых символов

Текст

Сводка

Невидимые символы не найдены.

Визуализация

Удалить категории

Очищенный вывод

  • Технические детали

    Как работает детектор невидимых символов

    Что делает детектор невидимых символов

    Инструмент сканирует текст в поисках кодовых точек Unicode, которые не отображаются видимым глифом, и перечисляет каждую с её кодом U+, официальным названием, позицией и количеством по типам. Он обнаруживает пробел нулевой ширины (U+200B), неразрывник и соединитель нулевой ширины (U+200C, U+200D), соединитель слов (U+2060), метку порядка байтов (U+FEFF), мягкий перенос (U+00AD), неразрывные и другие необычные пробелы (U+00A0, U+2007, U+202F), разделители строк и абзацев, а также двунаправленные управляющие символы (U+202A–U+202E, U+2066–U+2069). Вы можете показать их прямо в тексте и удалить все или только выбранные категории. Обработка выполняется локально в браузере.

    Распространённые сценарии использования

    Разработчики используют его, чтобы найти пробел нулевой ширины, из-за которого не срабатывает сравнение строк, API-ключ или пароль, которые не совпадают, JSON-файл, который не разбирается из-за BOM, или заголовок CSV, который выглядит одинаково, но на самом деле другой. Авторы и редакторы очищают текст, скопированный с веб-страниц, из PDF и мессенджеров. Специалисты по безопасности проверяют исходный код и pull request’ы на наличие двунаправленных управляющих символов Trojan Source (CVE-2021-42574) и трюков с омоглифами. Его также применяют для очистки текста от ИИ-ассистентов, содержащего случайные символы нулевой ширины или неразрывные пробелы, перед вставкой в CMS, электронную таблицу или терминал.

    Категории символов

    Символы делятся на группы: символы нулевой ширины (U+200B–U+200D, U+2060, U+FEFF), варианты пробелов (NBSP U+00A0, пробелы en и em U+2000–U+200A, узкий NBSP U+202F, идеографический пробел U+3000), управляющие символы форматирования (мягкий перенос U+00AD, невидимые разделители U+2061–U+2064), двунаправленные управляющие символы (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) и непечатаемые управляющие символы из диапазонов C0 и C1. Некоторые из них имеют смысл: ZWJ соединяет последовательности эмодзи, а ZWNJ необходим в персидской орфографии и хинди.

    Подводные камни и ограничения

    Удалять всё подряд не всегда правильно: удаление ZWJ ломает эмодзи, например семейные или флаговые последовательности, а удаление ZWNJ меняет слова в персидской, арабской и индийской письменности. Заменяйте NBSP обычным пробелом, а не удаляйте его, иначе слова склеятся. BOM в начале файла часто лучше удалять на уровне файла. Инструменты обрезки и нормализации не удаляют символы нулевой ширины, а омоглифы (кириллическая а вместо латинской a) — видимые символы, поэтому их нужно проверять отдельно. Об экранировании текста см. «Экранирование / снятие экранирования текста», о подсчётах — «Анализатор текста и утилиты».