Detektor a odstraňovač neviditelných znaků
Text
Souhrn
Nebyly nalezeny žádné neviditelné znaky.
Vizualizace
Odebrat kategorie
Vyčištěný výstup
Technické detaily
Jak funguje detektor neviditelných znaků
Co nástroj dělá
Nástroj prohledá text a najde body kódu Unicode, které nezobrazují žádný viditelný glyf, a každý vypíše s kódem U+, oficiálním názvem, pozicí a počtem podle typu. Rozpozná mezeru nulové šířky (U+200B), nespojovač a spojovač nulové šířky (U+200C, U+200D), word joiner (U+2060), značku pořadí bajtů (U+FEFF), měkký spojovník (U+00AD), nezalomitelné a další exotické mezery (U+00A0, U+2007, U+202F), oddělovače řádků a odstavců a obousměrné řídicí znaky (U+202A–U+202E, U+2066–U+2069). Můžete je zobrazit přímo v textu a odstranit všechny nebo jen vybrané kategorie. Zpracování probíhá lokálně v prohlížeči.
Běžné případy použití pro vývojáře
Vývojáři jej používají k nalezení mezery nulové šířky, kvůli které selhává porovnání řetězců, API klíče nebo hesla, které se neshoduje, souboru JSON, který kvůli BOM nejde naparsovat, nebo hlavičky CSV, která vypadá stejně, ale není. Autoři a redaktoři čistí text zkopírovaný z webových stránek, PDF a chatovacích nástrojů. Bezpečnostní revizoři prohledávají zdrojový kód a pull requesty kvůli bidi řídicím znakům z útoku Trojan Source (CVE-2021-42574) a trikům s homoglyfy. Používá se také k čištění textu od AI asistentů, který obsahuje zbloudilé znaky nulové šířky nebo nezalomitelné mezery, před vložením do CMS, tabulky nebo terminálu.
Kategorie znaků
Znaky se dělí do skupin: znaky nulové šířky (U+200B–U+200D, U+2060, U+FEFF), varianty mezer (NBSP U+00A0, mezery en a em U+2000 až U+200A, úzká NBSP U+202F, ideografická mezera U+3000), formátovací řídicí znaky (měkký spojovník U+00AD, neviditelné oddělovače U+2061 až U+2064), obousměrné řídicí znaky (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) a netisknutelné řídicí znaky z rozsahů C0 a C1. Některé mají smysl: ZWJ spojuje sekvence emoji a ZWNJ je nutný v perském a hindském pravopisu.
Běžné nástrahy a okrajové případy
Odstranit vše není vždy správné: odebrání ZWJ rozbije emoji, například rodiny nebo vlajky, a odebrání ZWNJ změní slova v perštině, arabštině a indických písmech. NBSP nahraďte běžnou mezerou místo smazání, jinak se slova slijí. BOM na začátku souboru je často lepší odstranit na úrovni souboru. Nástroje pro ořezání a normalizaci znaky nulové šířky neodstraňují a homoglyfy (cyrilice místo latinského a) jsou viditelné znaky, takže vyžadují samostatnou kontrolu. K escapování textu viz Text Escape; k počítání viz Text Analyzer.