Zaznavanje in odstranjevanje nevidnih znakov
Besedilo
Povzetek
Nevidnih znakov ni bilo najdenih.
Vizualizirano
Odstrani kategorije
Očiščen izpis
Tehnične podrobnosti
Kako deluje zaznavalnik nevidnih znakov
Kaj zaznavalnik nevidnih znakov počne
Orodje pregleda besedilo za Unicode kodne točke, ki ne prikažejo vidnega glifa, in izpiše vsako z njeno kodo U+, uradnim imenom, položajem in številom po vrstah. Zazna presledek ničelne širine (U+200B), nevezalnik in veznik ničelne širine (U+200C, U+200D), veznik besed (U+2060), oznako vrstnega reda bajtov (U+FEFF), mehki vezaj (U+00AD), nedeljive in druge eksotične presledke (U+00A0, U+2007, U+202F), ločila vrstic in odstavkov ter dvosmerne kontrole (U+202A–U+202E, U+2066–U+2069). Nevidne znake lahko prikažete sproti ter odstranite vse ali samo izbrane kategorije. Obdelava poteka lokalno v brskalniku.
Pogosti primeri uporabe
Razvijalci orodje uporabljajo za iskanje presledka ničelne širine, zaradi katerega primerjava nizov ne uspe, ključa API ali gesla, ki se ne ujema, datoteke JSON z BOM, ki je ni mogoče razčleniti, ali glave CSV, ki je videti enaka, a ni. Pisci in uredniki z njim očistijo besedilo, kopirano s spletnih strani, iz PDF-jev in klepetalnih orodij. Varnostni pregledovalniki z njim pregledujejo izvorno kodo in pull requeste za dvosmernimi kontrolami Trojan Source (CVE-2021-42574) in triki s homoglifi. Uporablja se tudi za čiščenje besedila AI pomočnikov, ki vsebuje zablodele znake ničelne širine ali nedeljive presledke, preden ga prilepite v CMS, preglednico ali terminal.
Kategorije znakov
Znaki spadajo v skupine: znaki ničelne širine (U+200B–U+200D, U+2060, U+FEFF), različice presledkov (NBSP U+00A0, presledka en in em U+2000 do U+200A, ozki NBSP U+202F, ideografski presledek U+3000), oblikovalne kontrole (mehki vezaj U+00AD, nevidni ločevalniki U+2061 do U+2064), dvosmerne kontrole (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) in netiskalni kontrolni znaki iz obsegov C0 in C1. Nekateri imajo pomen: ZWJ povezuje zaporedja emojijev, ZWNJ pa je obvezen v perzijskem in hindijskem pravopisu.
Pasti in omejitve
Odstranitev vsega ni vedno pravilna: odstranitev ZWJ pokvari emojije, kot so družine ali zastave, odstranitev ZWNJ pa spremeni besede v perzijskih, arabskih in indijskih pisavah. NBSP raje zamenjajte z navadnim presledkom, kot da ga izbrišete, sicer se besede zlepijo. BOM na začetku datoteke je pogosto bolje odstraniti na ravni datoteke. Orodja za obrezovanje in normalizacijo ne odstranijo znakov ničelne širine, homoglifi (cirilična črka namesto latinske a) pa so vidni znaki, zato potrebujejo ločen pregled. Za ubežanje besedila glejte Text Escape, za štetje pa Text Analyzer.