DevToys Web Pro iconDevToys Web ProBlogi
Arvostele meidät:
Kokeile selainlaajennusta:

Näkymättömien merkkien tunnistin ja poistaja

Teksti

Yhteenveto

Näkymättömiä merkkejä ei löytynyt.

Visualisoitu

Poistettavat luokat

Puhdistettu tuloste

  • Tekniset tiedot

    Miten näkymättömien merkkien tunnistin toimii

    Mitä näkymättömien merkkien tunnistin tekee

    Työkalu skannaa tekstistä Unicode-koodipisteet, joilla ei ole näkyvää glyfiä, ja listaa jokaisen U+-koodin, virallisen nimen, sijainnin ja tyyppikohtaisen määrän kanssa. Se tunnistaa nollaleveyksisen välilyönnin (U+200B), nollaleveyksisen ei-liittäjän ja liittäjän (U+200C, U+200D), sanaliittäjän (U+2060), tavujärjestysmerkin (U+FEFF), tavuviivan (U+00AD), tavuttoman ja muut poikkeukselliset välilyönnit (U+00A0, U+2007, U+202F), rivi- ja kappale-erottimet sekä kaksisuuntaiset ohjausmerkit (U+202A–U+202E, U+2066–U+2069). Voit paljastaa ne tekstin seassa ja poistaa kaikki tai vain valitut luokat. Käsittely tapahtuu paikallisesti selaimessasi.

    Yleiset käyttötapaukset

    Kehittäjät käyttävät työkalua löytääkseen nollaleveyksisen välilyönnin, joka saa merkkijonovertailun epäonnistumaan, API-avaimen tai salasanan, joka ei täsmää, JSON-tiedoston BOM-merkin, joka estää jäsennyksen, tai CSV-otsikon, joka näyttää samalta mutta ei ole. Kirjoittajat ja toimittajat siivoavat verkkosivuilta, PDF-tiedostoista ja chat-työkaluista kopioitua tekstiä. Tietoturvatarkastajat skannaavat lähdekoodia ja pull requesteja Trojan Source -tyyppisten bidi-ohjausmerkkien (CVE-2021-42574) ja homoglyfitemppujen varalta. Työkalua käytetään myös tekoälyavustajien tekstin siivoamiseen, kun siinä on ylimääräisiä nollaleveyksisiä merkkejä tai sitomattomia välilyöntejä, ennen kuin teksti liitetään CMS-järjestelmään, taulukkolaskentaan tai terminaaliin.

    Merkkiluokat

    Merkit jakautuvat useisiin ryhmiin: nollaleveyksiset merkit (U+200B–U+200D, U+2060, U+FEFF), välilyöntivariantit (NBSP U+00A0, en- ja em-välilyönnit U+2000–U+200A, kapea NBSP U+202F, ideografinen välilyönti U+3000), muotoiluohjausmerkit (tavuviiva U+00AD, näkymättömät erottimet U+2061–U+2064), kaksisuuntaiset ohjausmerkit (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) sekä tulostumattomat ohjausmerkit C0- ja C1-alueilta. Jotkin niistä ovat merkityksellisiä: ZWJ yhdistää emoji-sekvenssejä ja ZWNJ on pakollinen persian ja hindin oikeinkirjoituksessa.

    Sudenkuopat ja rajoitukset

    Kaiken poistaminen ei aina ole oikein: ZWJ:n poisto rikkoo emojit, kuten perhe- tai lippusekvenssit, ja ZWNJ:n poisto muuttaa sanoja persian, arabian ja intialaisissa kirjoitusjärjestelmissä. Korvaa NBSP tavallisella välilyönnillä sen poistamisen sijaan, tai sanat yhdistyvät. Tiedoston alussa oleva BOM kannattaa usein poistaa tiedostotasolla. Trim- ja normalisointityökalut eivät poista nollaleveyksisiä merkkejä, ja homoglyfit (kyrillinen a latinalaisen a:n tilalla) ovat näkyviä merkkejä, joten ne vaativat erillisen tarkistuksen. Tekstin escapetukseen katso Text Escape, laskentaan Text Analyzer.