DevToys Web Pro iconDevToys Web ProBlog
Ocijenite nas:
Isprobajte proširenje preglednika:

Detektor i uklanjanje nevidljivih znakova

Tekst

Sažetak

Nisu pronađeni nevidljivi znakovi.

Vizualizirano

Ukloni kategorije

Očišćeni izlaz

  • Tehnički detalji

    Kako radi detektor nevidljivih znakova

    Što radi detektor nevidljivih znakova

    Alat skenira tekst u potrazi za Unicode kodnim točkama koje ne prikazuju vidljiv glif i navodi svaku s njezinim U+ kodom, službenim nazivom, položajem i brojem po vrsti. Otkriva razmak nulte širine (U+200B), spajač i razdvajač nulte širine (U+200C, U+200D), spajač riječi (U+2060), oznaku redoslijeda bajtova (U+FEFF), meki spojnik (U+00AD), nerazdvojive i druge neobične razmake (U+00A0, U+2007, U+202F), razdjelnike redaka i odlomaka te dvosmjerne kontrole (U+202A do U+202E, U+2066 do U+2069). Možete ih prikazati unutar teksta i ukloniti sve ili samo odabrane kategorije. Obrada se odvija lokalno u vašem pregledniku.

    Uobičajeni slučajevi upotrebe

    Razvojni programeri koriste ga za pronalaženje razmaka nulte širine zbog kojeg usporedba nizova ne uspijeva, API ključa ili lozinke koja se ne podudara, JSON datoteke s BOM-om koja se ne može parsirati ili CSV zaglavlja koje izgleda isto, a nije. Pisci i urednici čiste tekst kopiran s web stranica, PDF-ova i alata za chat. Sigurnosni recenzenti skeniraju izvorni kod i pull requestove u potrazi za bidi kontrolama tipa Trojan Source (CVE-2021-42574) i trikovima s homoglifima. Koristi se i za čišćenje teksta AI asistenata koji sadrži zalutale znakove nulte širine ili nerazdvojive razmake prije lijepljenja u CMS, proračunsku tablicu ili terminal.

    Kategorije znakova

    Znakovi se dijele u nekoliko skupina: znakovi nulte širine (U+200B do U+200D, U+2060, U+FEFF), varijante razmaka (NBSP U+00A0, en i em razmaci U+2000 do U+200A, uski NBSP U+202F, ideografski razmak U+3000), kontrole oblikovanja (meki spojnik U+00AD, nevidljivi razdjelnici U+2061 do U+2064), dvosmjerne kontrole (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) i znakovi kontrole koji se ne ispisuju iz raspona C0 i C1. Neki imaju značenje: ZWJ spaja emotikone u nizove, a ZWNJ je nužan u perzijskom i hindskom pravopisu.

    Zamke i ograničenja

    Uklanjanje svega nije uvijek ispravno: uklanjanje ZWJ-a kvari emotikone poput obiteljskih ili zastavnih nizova, a uklanjanje ZWNJ-a mijenja riječi u perzijskom, arapskom i indijskim pismima. NBSP zamijenite običnim razmakom umjesto da ga brišete, inače će se riječi spojiti. BOM na početku datoteke često je bolje ukloniti na razini datoteke. Alati za trim i normalizaciju ne uklanjaju znakove nulte širine, a homoglifi (ćirilično a umjesto latiničnog a) vidljivi su znakovi pa zahtijevaju zasebnu provjeru. Za escapeanje teksta pogledajte Text Escape, a za brojanje Text Analyzer.