Detektor og fjerner af usynlige tegn
Tekst
Oversigt
Ingen usynlige tegn fundet.
Visualiseret
Fjern kategorier
Renset output
Tekniske detaljer
Sådan fungerer detektoren for usynlige tegn
Hvad værktøjet gør
Værktøjet scanner tekst for Unicode-kodepunkter, der ikke viser noget synligt glyf, og viser hver enkelt med sin U+-kode, officielle navn, position og antal pr. type. Det registrerer nulbredde-mellemrum (U+200B), nulbredde non-joiner og joiner (U+200C, U+200D), word joiner (U+2060), byte order mark (U+FEFF), blød bindestreg (U+00AD), hårde og andre eksotiske mellemrum (U+00A0, U+2007, U+202F), linje- og afsnitsseparatorer samt tovejskontroltegn (U+202A–U+202E, U+2066–U+2069). Du kan afsløre dem inline og fjerne dem alle eller kun udvalgte kategorier. Behandlingen sker lokalt i browseren.
Almindelige anvendelsestilfælde for udviklere
Udviklere bruger det til at finde et nulbredde-mellemrum, der får en strengsammenligning til at fejle, en API-nøgle eller adgangskode, der ikke matcher, en JSON-fil, der ikke kan parses på grund af BOM, eller en CSV-header, der ser identisk ud, men ikke er det. Skribenter og redaktører renser tekst kopieret fra websider, PDF'er og chatværktøjer. Sikkerhedsreviewere scanner kildekode og pull requests for Trojan Source bidi-kontroltegn (CVE-2021-42574) og homoglyf-tricks. Det bruges også til at rense tekst fra AI-assistenter, der indeholder vildfarne nulbreddetegn eller hårde mellemrum, før den indsættes i et CMS, et regneark eller en terminal.
Tegnkategorier
Tegnene falder i grupper: nulbreddetegn (U+200B–U+200D, U+2060, U+FEFF), mellemrumsvarianter (NBSP U+00A0, en- og em-mellemrum U+2000 til U+200A, smal NBSP U+202F, ideografisk mellemrum U+3000), formateringskontroltegn (blød bindestreg U+00AD, usynlige separatorer U+2061 til U+2064), tovejskontroltegn (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) og ikke-udskrivbare kontroltegn fra C0- og C1-områderne. Nogle har betydning: ZWJ forbinder emoji-sekvenser, og ZWNJ er påkrævet i persisk og hindi ortografi.
Almindelige faldgruber og kanttilfælde
At fjerne alt er ikke altid korrekt: fjernes ZWJ, ødelægges emoji som familie- eller flagsekvenser, og fjernes ZWNJ, ændres ord på persisk, arabisk og indiske skriftsystemer. Erstat NBSP med et almindeligt mellemrum i stedet for at slette det, ellers smelter ordene sammen. En BOM i starten af en fil er ofte bedre at fjerne på filniveau. Værktøjer til trimning og normalisering fjerner ikke nulbreddetegn, og homoglyffer (kyrillisk i stedet for latinsk a) er synlige tegn, så de kræver en separat kontrol. Til escaping af tekst, se Text Escape; til optælling, se Text Analyzer.