DevToys Web Pro iconDevToys Web ProБлог
Ocenite nas:
Isprobajte ekstenziju za pregledač:

Detektor i uklanjanje nevidljivih znakova

Tekst

Sažetak

Nisu pronađeni nevidljivi znakovi.

Vizuelizovano

Ukloni kategorije

Očišćeni izlaz

  • Tehnički detalji

    Kako radi detektor nevidljivih karaktera

    Šta radi detektor nevidljivih karaktera

    Alat skenira tekst u potrazi za Unicode kodnim tačkama koje ne prikazuju vidljiv glif i navodi svaku sa njenim U+ kodom, zvaničnim imenom, pozicijom i brojem po tipu. Detektuje razmak nulte širine (U+200B), nespajač i spajač nulte širine (U+200C, U+200D), word joiner (U+2060), oznaku redosleda bajtova (U+FEFF), meki crtica (U+00AD), nerazdvojive i druge egzotične razmake (U+00A0, U+2007, U+202F), separatore linija i pasusa i dvosmerne kontrolne karaktere (U+202A–U+202E, U+2066–U+2069). Možete ih prikazati direktno u tekstu i ukloniti sve ili samo izabrane kategorije. Obrada se odvija lokalno u pregledaču.

    Uobičajeni slučajevi upotrebe

    Programeri ga koriste da pronađu razmak nulte širine zbog kog poređenje stringova ne uspeva, API ključ ili lozinku koja se ne poklapa, JSON fajl sa BOM-om koji se ne parsira ili CSV zaglavlje koje izgleda isto, a nije. Autori i urednici čiste tekst kopiran sa veb-stranica, iz PDF-ova i alata za ćaskanje. Bezbednosni pregledači skeniraju izvorni kod i pull request-ove u potrazi za Trojan Source dvosmernim kontrolnim karakterima (CVE-2021-42574) i trikovima sa homoglifima. Koristi se i za čišćenje teksta AI asistenata koji sadrži zalutale karaktere nulte širine ili nerazdvojive razmake pre lepljenja u CMS, tabelu ili terminal.

    Kategorije karaktera

    Karakteri spadaju u grupe: karakteri nulte širine (U+200B–U+200D, U+2060, U+FEFF), varijante razmaka (NBSP U+00A0, en i em razmaci U+2000 do U+200A, uski NBSP U+202F, ideografski razmak U+3000), kontrole formatiranja (meki crtica U+00AD, nevidljivi separatori U+2061 do U+2064), dvosmerne kontrole (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) i neštampajući kontrolni karakteri iz opsega C0 i C1. Neki imaju značenje: ZWJ spaja emodži sekvence, a ZWNJ je obavezan u persijskom i hindi pravopisu.

    Zamke i ograničenja

    Uklanjanje svega nije uvek ispravno: uklanjanje ZWJ-a kvari emodžije kao što su porodice ili zastave, a uklanjanje ZWNJ-a menja reči u persijskom, arapskom i indijskim pismima. NBSP zamenite običnim razmakom umesto da ga brišete, inače se reči spajaju. BOM na početku fajla često je bolje ukloniti na nivou fajla. Alati za skraćivanje i normalizaciju ne uklanjaju karaktere nulte širine, a homoglifi (ćirilično slovo umesto latiničnog a) su vidljivi karakteri, pa zahtevaju posebnu proveru. Za escape teksta pogledajte Text Escape, a za brojanje Text Analyzer.