Nähtamatute märkide tuvastaja ja eemaldaja
Tekst
Kokkuvõte
Nähtamatuid märke ei leitud.
Visualiseeritud
Eemalda kategooriad
Puhastatud väljund
Tehnilised üksikasjad
Kuidas nähtamatute märkide tuvastaja töötab
Mida tööriist teeb
Tööriist skannib teksti Unicode'i koodipunktide suhtes, mis ei kuva nähtavat glüüfi, ja loetleb igaühe koos U+ koodi, ametliku nime, asukoha ja tüübipõhise arvuga. See tuvastab nullilaiusega tühiku (U+200B), nullilaiusega mitteühendaja ja ühendaja (U+200C, U+200D), word joineri (U+2060), baidijärjekorra märgi (U+FEFF), pehme sidekriipsu (U+00AD), mittekatkestatavad ja muud eksootilised tühikud (U+00A0, U+2007, U+202F), rea- ja lõigueraldajad ning kahesuunalised juhtmärgid (U+202A–U+202E, U+2066–U+2069). Saate need tekstis nähtavaks teha ning eemaldada kõik või ainult valitud kategooriad. Töötlus toimub lokaalselt brauseris.
Levinud kasutusjuhtumid arendajatele
Arendajad kasutavad seda, et leida nullilaiusega tühik, mis põhjustab stringivõrdluse ebaõnnestumise, API võti või parool, mis ei kattu, JSON-fail, mida BOM-i tõttu ei saa parsida, või CSV päis, mis näeb identne välja, kuid ei ole. Kirjutajad ja toimetajad puhastavad veebilehtedelt, PDF-idest ja vestlusvahenditest kopeeritud teksti. Turvaülevaatajad skannivad lähtekoodi ja pull request'e Trojan Source'i bidi-juhtmärkide (CVE-2021-42574) ja homoglüüfitrikkide suhtes. Seda kasutatakse ka tehisintellekti assistentide teksti puhastamiseks, mis sisaldab eksinud nullilaiusega märke või mittekatkestatavaid tühikuid, enne CMS-i, tabelarvutusse või terminali kleepimist.
Märkide kategooriad
Märgid jagunevad rühmadesse: nullilaiusega märgid (U+200B–U+200D, U+2060, U+FEFF), tühikuvariandid (NBSP U+00A0, en- ja em-tühikud U+2000 kuni U+200A, kitsas NBSP U+202F, ideograafiline tühik U+3000), vormindusjuhtmärgid (pehme sidekriips U+00AD, nähtamatud eraldajad U+2061 kuni U+2064), kahesuunalised juhtmärgid (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) ning mittetrükitavad juhtmärgid C0 ja C1 vahemikest. Mõnel on tähendus: ZWJ ühendab emoji jadasid ja ZWNJ on vajalik pärsia ja hindi õigekirjas.
Levinud komistuskivid ja erijuhud
Kõige eemaldamine ei ole alati õige: ZWJ eemaldamine rikub emojisid, näiteks pere- või lipujadasid, ning ZWNJ eemaldamine muudab sõnu pärsia, araabia ja india kirjades. Asendage NBSP tavalise tühikuga, mitte ei kustuta seda, muidu sõnad sulavad kokku. Faili alguses olevat BOM-i on sageli parem eemaldada failitasemel. Trimmimise ja normaliseerimise tööriistad ei eemalda nullilaiusega märke ning homoglüüfid (kirillitsa asemel ladina a) on nähtavad märgid, mistõttu vajavad nad eraldi kontrolli. Teksti paojadade jaoks vaadake Text Escape; loendamiseks vaadake Text Analyzer.