DevToys Web Pro iconDevToys Web ProBlog
Bedøm os:
Prøv browserudvidelsen:

Detektor og fjerner af usynlige tegn

Tekst

Oversigt

Ingen usynlige tegn fundet.

Visualiseret

Fjern kategorier

Renset output

  • Tekniske detaljer

    Sådan fungerer detektoren for usynlige tegn

    Hvad værktøjet gør

    Værktøjet scanner tekst for Unicode-kodepunkter, der ikke viser noget synligt glyf, og viser hver enkelt med sin U+-kode, officielle navn, position og antal pr. type. Det registrerer nulbredde-mellemrum (U+200B), nulbredde non-joiner og joiner (U+200C, U+200D), word joiner (U+2060), byte order mark (U+FEFF), blød bindestreg (U+00AD), hårde og andre eksotiske mellemrum (U+00A0, U+2007, U+202F), linje- og afsnitsseparatorer samt tovejskontroltegn (U+202A–U+202E, U+2066–U+2069). Du kan afsløre dem inline og fjerne dem alle eller kun udvalgte kategorier. Behandlingen sker lokalt i browseren.

    Almindelige anvendelsestilfælde for udviklere

    Udviklere bruger det til at finde et nulbredde-mellemrum, der får en strengsammenligning til at fejle, en API-nøgle eller adgangskode, der ikke matcher, en JSON-fil, der ikke kan parses på grund af BOM, eller en CSV-header, der ser identisk ud, men ikke er det. Skribenter og redaktører renser tekst kopieret fra websider, PDF'er og chatværktøjer. Sikkerhedsreviewere scanner kildekode og pull requests for Trojan Source bidi-kontroltegn (CVE-2021-42574) og homoglyf-tricks. Det bruges også til at rense tekst fra AI-assistenter, der indeholder vildfarne nulbreddetegn eller hårde mellemrum, før den indsættes i et CMS, et regneark eller en terminal.

    Tegnkategorier

    Tegnene falder i grupper: nulbreddetegn (U+200B–U+200D, U+2060, U+FEFF), mellemrumsvarianter (NBSP U+00A0, en- og em-mellemrum U+2000 til U+200A, smal NBSP U+202F, ideografisk mellemrum U+3000), formateringskontroltegn (blød bindestreg U+00AD, usynlige separatorer U+2061 til U+2064), tovejskontroltegn (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) og ikke-udskrivbare kontroltegn fra C0- og C1-områderne. Nogle har betydning: ZWJ forbinder emoji-sekvenser, og ZWNJ er påkrævet i persisk og hindi ortografi.

    Almindelige faldgruber og kanttilfælde

    At fjerne alt er ikke altid korrekt: fjernes ZWJ, ødelægges emoji som familie- eller flagsekvenser, og fjernes ZWNJ, ændres ord på persisk, arabisk og indiske skriftsystemer. Erstat NBSP med et almindeligt mellemrum i stedet for at slette det, ellers smelter ordene sammen. En BOM i starten af en fil er ofte bedre at fjerne på filniveau. Værktøjer til trimning og normalisering fjerner ikke nulbreddetegn, og homoglyffer (kyrillisk i stedet for latinsk a) er synlige tegn, så de kræver en separat kontrol. Til escaping af tekst, se Text Escape; til optælling, se Text Analyzer.