Näkymättömien merkkien tunnistin ja poistaja
Teksti
Yhteenveto
Näkymättömiä merkkejä ei löytynyt.
Visualisoitu
Poistettavat luokat
Puhdistettu tuloste
Tekniset tiedot
Miten näkymättömien merkkien tunnistin toimii
Mitä näkymättömien merkkien tunnistin tekee
Työkalu skannaa tekstistä Unicode-koodipisteet, joilla ei ole näkyvää glyfiä, ja listaa jokaisen U+-koodin, virallisen nimen, sijainnin ja tyyppikohtaisen määrän kanssa. Se tunnistaa nollaleveyksisen välilyönnin (U+200B), nollaleveyksisen ei-liittäjän ja liittäjän (U+200C, U+200D), sanaliittäjän (U+2060), tavujärjestysmerkin (U+FEFF), tavuviivan (U+00AD), tavuttoman ja muut poikkeukselliset välilyönnit (U+00A0, U+2007, U+202F), rivi- ja kappale-erottimet sekä kaksisuuntaiset ohjausmerkit (U+202A–U+202E, U+2066–U+2069). Voit paljastaa ne tekstin seassa ja poistaa kaikki tai vain valitut luokat. Käsittely tapahtuu paikallisesti selaimessasi.
Yleiset käyttötapaukset
Kehittäjät käyttävät työkalua löytääkseen nollaleveyksisen välilyönnin, joka saa merkkijonovertailun epäonnistumaan, API-avaimen tai salasanan, joka ei täsmää, JSON-tiedoston BOM-merkin, joka estää jäsennyksen, tai CSV-otsikon, joka näyttää samalta mutta ei ole. Kirjoittajat ja toimittajat siivoavat verkkosivuilta, PDF-tiedostoista ja chat-työkaluista kopioitua tekstiä. Tietoturvatarkastajat skannaavat lähdekoodia ja pull requesteja Trojan Source -tyyppisten bidi-ohjausmerkkien (CVE-2021-42574) ja homoglyfitemppujen varalta. Työkalua käytetään myös tekoälyavustajien tekstin siivoamiseen, kun siinä on ylimääräisiä nollaleveyksisiä merkkejä tai sitomattomia välilyöntejä, ennen kuin teksti liitetään CMS-järjestelmään, taulukkolaskentaan tai terminaaliin.
Merkkiluokat
Merkit jakautuvat useisiin ryhmiin: nollaleveyksiset merkit (U+200B–U+200D, U+2060, U+FEFF), välilyöntivariantit (NBSP U+00A0, en- ja em-välilyönnit U+2000–U+200A, kapea NBSP U+202F, ideografinen välilyönti U+3000), muotoiluohjausmerkit (tavuviiva U+00AD, näkymättömät erottimet U+2061–U+2064), kaksisuuntaiset ohjausmerkit (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) sekä tulostumattomat ohjausmerkit C0- ja C1-alueilta. Jotkin niistä ovat merkityksellisiä: ZWJ yhdistää emoji-sekvenssejä ja ZWNJ on pakollinen persian ja hindin oikeinkirjoituksessa.
Sudenkuopat ja rajoitukset
Kaiken poistaminen ei aina ole oikein: ZWJ:n poisto rikkoo emojit, kuten perhe- tai lippusekvenssit, ja ZWNJ:n poisto muuttaa sanoja persian, arabian ja intialaisissa kirjoitusjärjestelmissä. Korvaa NBSP tavallisella välilyönnillä sen poistamisen sijaan, tai sanat yhdistyvät. Tiedoston alussa oleva BOM kannattaa usein poistaa tiedostotasolla. Trim- ja normalisointityökalut eivät poista nollaleveyksisiä merkkejä, ja homoglyfit (kyrillinen a latinalaisen a:n tilalla) ovat näkyviä merkkejä, joten ne vaativat erillisen tarkistuksen. Tekstin escapetukseen katso Text Escape, laskentaan Text Analyzer.