DevToys Web Pro iconDevToys Web ProBlog
Beoordeel ons:
Probeer de browserextensie:

Detector en verwijderaar van onzichtbare tekens

Tekst

Samenvatting

Geen onzichtbare tekens gevonden.

Gevisualiseerd

Categorieën verwijderen

Opgeschoonde uitvoer

  • Technische details

    Hoe de detector voor onzichtbare tekens werkt

    Wat de detector voor onzichtbare tekens doet

    De tool scant tekst op Unicode-codepunten die geen zichtbaar glyph tonen en toont elk punt met zijn U+-code, officiële naam, positie en aantal per type. Hij detecteert de zero-width space (U+200B), zero-width non-joiner en joiner (U+200C, U+200D), word joiner (U+2060), byte order mark (U+FEFF), soft hyphen (U+00AD), niet-afbrekende en andere exotische spaties (U+00A0, U+2007, U+202F), regel- en alinea-scheidingstekens en bidirectionele besturingstekens (U+202A–U+202E, U+2066–U+2069). Je kunt ze inline zichtbaar maken en alle of alleen gekozen categorieën verwijderen. De verwerking gebeurt lokaal in je browser.

    Veelvoorkomende use-cases

    Ontwikkelaars gebruiken het om een zero-width space te vinden waardoor een stringvergelijking mislukt, een API-sleutel of wachtwoord dat niet overeenkomt, een JSON-bestand waarvan de BOM niet kan worden geparsed, of een CSV-header die er identiek uitziet maar dat niet is. Schrijvers en redacteuren maken tekst schoon die is gekopieerd van webpagina's, pdf's en chattools. Beveiligingsreviewers scannen broncode en pull requests op Trojan Source bidi-besturingstekens (CVE-2021-42574) en homoglief-trucs. Het wordt ook gebruikt om tekst van AI-assistenten op te schonen die verdwaalde zero-width tekens of niet-afbrekende spaties bevat voordat je die in een CMS, spreadsheet of terminal plakt.

    Tekencategorieën

    Tekens vallen in groepen uiteen: zero-width tekens (U+200B–U+200D, U+2060, U+FEFF), spatievarianten (NBSP U+00A0, en- en em-spaties U+2000–U+200A, smalle NBSP U+202F, ideografische spatie U+3000), opmaakbesturingstekens (soft hyphen U+00AD, onzichtbare scheidingstekens U+2061–U+2064), bidirectionele besturingstekens (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) en niet-afdrukbare besturingstekens uit de C0- en C1-bereiken. Sommige zijn zinvol: ZWJ verbindt emoji-reeksen en ZWNJ is vereist in de Perzische en Hindi-spelling.

    Valkuilen en beperkingen

    Alles verwijderen is niet altijd juist: ZWJ verwijderen breekt emoji zoals familie- of vlagreeksen en ZWNJ verwijderen verandert woorden in Perzische, Arabische en Indische schriften. Vervang NBSP door een gewone spatie in plaats van te verwijderen, anders smelten woorden samen. Een BOM aan het begin van een bestand kun je vaak beter op bestandsniveau verwijderen. Trim- en normalisatietools verwijderen geen zero-width tekens en homoglyfen (Cyrillische а in plaats van Latijnse a) zijn zichtbare tekens, dus die vragen om een aparte controle. Zie Tekst escapen / unescapen voor het escapen van tekst en Tekstanalyse en hulpprogramma's voor tellingen.