DevToys Web Pro iconDevToys Web ProBlogg
Vurder oss:
Prøv nettleserutvidelsen:

Detektor og fjerner for usynlige tegn

Tekst

Oppsummering

Ingen usynlige tegn funnet.

Visualisert

Fjern kategorier

Renset utdata

  • Tekniske detaljer

    Slik fungerer detektoren for usynlige tegn

    Hva detektoren for usynlige tegn gjør

    Verktøyet skanner tekst etter Unicode-kodepunkter som ikke viser noen synlig glyf, og lister hvert enkelt med U+-kode, offisielt navn, posisjon og antall per type. Det oppdager nullbreddemellomrom (U+200B), nullbredde ikke-binder og binder (U+200C, U+200D), ordbinder (U+2060), byte-rekkefølgemerke (U+FEFF), myk bindestrek (U+00AD), hardt og andre eksotiske mellomrom (U+00A0, U+2007, U+202F), linje- og avsnittsskilletegn og toveis kontrolltegn (U+202A–U+202E, U+2066–U+2069). Du kan vise dem i teksten og fjerne alle eller bare valgte kategorier. Behandlingen skjer lokalt i nettleseren.

    Vanlige bruksområder

    Utviklere bruker det til å finne et nullbreddemellomrom som får en strengsammenligning til å feile, en API-nøkkel eller et passord som ikke stemmer, en JSON-fil der BOM hindrer parsing, eller en CSV-header som ser identisk ut, men ikke er det. Skribenter og redaktører renser tekst kopiert fra nettsider, PDF-er og chatverktøy. Sikkerhetsgranskere skanner kildekode og pull requests etter Trojan Source bidi-kontrolltegn (CVE-2021-42574) og homoglyf-triks. Det brukes også til å rense tekst fra AI-assistenter som inneholder løsrevne nullbreddetegn eller harde mellomrom før du limer den inn i et CMS, regneark eller terminal.

    Tegnkategorier

    Tegn deles inn i grupper: nullbreddetegn (U+200B–U+200D, U+2060, U+FEFF), mellomromsvarianter (NBSP U+00A0, en- og em-mellomrom U+2000–U+200A, smalt NBSP U+202F, ideografisk mellomrom U+3000), formateringskontroller (myk bindestrek U+00AD, usynlige skilletegn U+2061–U+2064), toveis kontrolltegn (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) og ikke-utskrivbare kontrolltegn fra C0- og C1-områdene. Noen har betydning: ZWJ binder sammen emoji-sekvenser, og ZWNJ kreves i persisk og hindi ortografi.

    Fallgruver og begrensninger

    Å fjerne alt er ikke alltid riktig: fjerning av ZWJ ødelegger emoji som familie- eller flaggsekvenser, og fjerning av ZWNJ endrer ord på persisk, arabisk og indiske skrifter. Erstatt NBSP med et vanlig mellomrom i stedet for å slette det, ellers smelter ordene sammen. En BOM i starten av en fil er ofte bedre å fjerne på filnivå. Verktøy for trimming og normalisering fjerner ikke nullbreddetegn, og homoglyfer (kyrillisk а i stedet for latinsk a) er synlige tegn, så de trenger en egen sjekk. For escaping av tekst, se Tekst-escaping / unescaping; for antall, se Tekstanalyse og verktøy.