Wykrywanie i usuwanie niewidocznych znaków
Tekst
Podsumowanie
Nie znaleziono niewidocznych znaków.
Wizualizacja
Usuń kategorie
Wyczyszczone wyjście
Szczegóły techniczne
Jak działa detektor niewidocznych znaków
Co robi detektor niewidocznych znaków
Narzędzie skanuje tekst w poszukiwaniu punktów kodowych Unicode, które nie wyświetlają widocznego glifu, i wypisuje każdy z nich wraz z kodem U+, oficjalną nazwą, pozycją i liczbą według typu. Wykrywa spację o zerowej szerokości (U+200B), łącznik i rozłącznik o zerowej szerokości (U+200C, U+200D), łącznik słów (U+2060), znacznik kolejności bajtów (U+FEFF), miękki łącznik (U+00AD), twarde i inne egzotyczne spacje (U+00A0, U+2007, U+202F), separatory wierszy i akapitów oraz znaki sterujące dwukierunkowe (U+202A–U+202E, U+2066–U+2069). Możesz je ujawnić w tekście i usunąć wszystkie lub tylko wybrane kategorie. Przetwarzanie odbywa się lokalnie w przeglądarce.
Typowe zastosowania
Programiści używają go do znalezienia spacji o zerowej szerokości, przez którą porównanie ciągów zawodzi, klucza API lub hasła, które się nie zgadza, pliku JSON, którego BOM uniemożliwia parsowanie, lub nagłówka CSV, który wygląda identycznie, ale nie jest. Autorzy i redaktorzy czyszczą tekst skopiowany ze stron internetowych, plików PDF i komunikatorów. Osoby przeglądające bezpieczeństwo skanują kod źródłowy i pull requesty pod kątem znaków sterujących bidi typu Trojan Source (CVE-2021-42574) i sztuczek z homoglifami. Służy także do czyszczenia tekstu z asystentów AI, który zawiera zbłąkane znaki o zerowej szerokości lub twarde spacje, przed wklejeniem do CMS, arkusza kalkulacyjnego lub terminala.
Kategorie znaków
Znaki dzielą się na grupy: znaki o zerowej szerokości (U+200B–U+200D, U+2060, U+FEFF), warianty spacji (NBSP U+00A0, spacje en i em U+2000–U+200A, wąska NBSP U+202F, spacja ideograficzna U+3000), znaki sterujące formatowaniem (miękki łącznik U+00AD, niewidoczne separatory U+2061–U+2064), znaki sterujące dwukierunkowe (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) oraz niedrukowalne znaki sterujące z zakresów C0 i C1. Niektóre mają znaczenie: ZWJ łączy sekwencje emoji, a ZWNJ jest wymagany w ortografii perskiej i hindi.
Pułapki i ograniczenia
Usunięcie wszystkiego nie zawsze jest właściwe: usunięcie ZWJ psuje emoji, takie jak sekwencje rodzin czy flag, a usunięcie ZWNJ zmienia słowa w piśmie perskim, arabskim i indyjskim. Zastąp NBSP zwykłą spacją zamiast go usuwać, bo inaczej słowa się zleją. BOM na początku pliku często lepiej usunąć na poziomie pliku. Narzędzia do przycinania i normalizacji nie usuwają znaków o zerowej szerokości, a homoglify (cyrylicka а zamiast łacińskiej a) to widoczne znaki, więc wymagają osobnej kontroli. Informacje o escapowaniu tekstu znajdziesz w narzędziu Escapowanie / od-escapowanie tekstu, a o zliczaniu w Analizatorze tekstu i narzędziach.