Detektor a odstraňovač neviditeľných znakov
Text
Zhrnutie
Nenašli sa žiadne neviditeľné znaky.
Vizualizácia
Odstrániť kategórie
Vyčistený výstup
Technické podrobnosti
Ako funguje detektor neviditeľných znakov
Čo robí detektor neviditeľných znakov
Nástroj skenuje text a hľadá kódové body Unicode, ktoré nezobrazujú viditeľný glyf, a vypisuje každý s jeho kódom U+, oficiálnym názvom, pozíciou a počtom podľa typu. Zisťuje medzeru nulovej šírky (U+200B), nespájač a spájač nulovej šírky (U+200C, U+200D), spájač slov (U+2060), značku poradia bajtov (U+FEFF), mäkký spojovník (U+00AD), pevné a iné exotické medzery (U+00A0, U+2007, U+202F), oddeľovače riadkov a odsekov a obojsmerné riadiace znaky (U+202A–U+202E, U+2066–U+2069). Môžete ich zobraziť priamo v texte a odstrániť všetky alebo len vybrané kategórie. Spracovanie prebieha lokálne vo vašom prehliadači.
Bežné prípady použitia
Vývojári ho používajú na nájdenie medzery nulovej šírky, kvôli ktorej zlyháva porovnanie reťazcov, API kľúča alebo hesla, ktoré sa nezhoduje, súboru JSON, ktorého BOM bráni parsovaniu, alebo hlavičky CSV, ktorá vyzerá rovnako, ale nie je. Pisatelia a redaktori čistia text skopírovaný z webových stránok, PDF a chatovacích nástrojov. Bezpečnostní kontrolóri skenujú zdrojový kód a pull requesty kvôli obojsmerným riadiacim znakom Trojan Source (CVE-2021-42574) a trikom s homoglyfmi. Používa sa aj na čistenie textu od AI asistentov, ktorý obsahuje zatúlané znaky nulovej šírky alebo pevné medzery, pred vložením do CMS, tabuľky alebo terminálu.
Kategórie znakov
Znaky sa delia do skupín: znaky nulovej šírky (U+200B–U+200D, U+2060, U+FEFF), varianty medzier (NBSP U+00A0, medzery en a em U+2000–U+200A, úzky NBSP U+202F, ideografická medzera U+3000), formátovacie riadiace znaky (mäkký spojovník U+00AD, neviditeľné oddeľovače U+2061–U+2064), obojsmerné riadiace znaky (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) a netlačiteľné riadiace znaky z rozsahov C0 a C1. Niektoré majú význam: ZWJ spája sekvencie emoji a ZWNJ je potrebný v perzskom a hindskom pravopise.
Úskalia a limity
Odstrániť všetko nie je vždy správne: odstránenie ZWJ pokazí emoji, ako sú rodinné alebo vlajkové sekvencie, a odstránenie ZWNJ mení slová v perzskom, arabskom a indických písmach. NBSP nahraďte bežnou medzerou namiesto jeho vymazania, inak sa slová zlepia. BOM na začiatku súboru je často lepšie odstrániť na úrovni súboru. Nástroje na orezanie a normalizáciu neodstraňujú znaky nulovej šírky a homoglyfy (cyrilské а namiesto latinského a) sú viditeľné znaky, takže potrebujú samostatnú kontrolu. Escapovanie textu nájdete v nástroji Escapovanie / unescapovanie textu, počty v nástroji Analyzátor textu a nástroje.