DevToys Web Pro iconDevToys Web ProBlog
Értékeljen minket:
Próbáld ki a böngészőbővítményt:

Láthatatlan karakterek felismerője és eltávolítója

Szöveg

Összegzés

Nem található láthatatlan karakter.

Vizualizált

Eltávolítandó kategóriák

Megtisztított kimenet

  • Technikai részletek

    Hogyan működik a láthatatlan karakterek detektora

    Mit csinál a láthatatlan karakterek detektora

    Az eszköz olyan Unicode kódpontokat keres a szövegben, amelyek nem jelenítenek meg látható glifet, és mindegyiket felsorolja az U+ kódjával, hivatalos nevével, pozíciójával és típusonkénti darabszámával. Felismeri a nulla szélességű szóközt (U+200B), a nulla szélességű nem-összekötőt és összekötőt (U+200C, U+200D), a szóösszekötőt (U+2060), a bájtsorrend-jelet (U+FEFF), a feltételes kötőjelet (U+00AD), a nem törhető és más szokatlan szóközöket (U+00A0, U+2007, U+202F), a sor- és bekezdéselválasztókat, valamint a kétirányú vezérlőket (U+202A–U+202E, U+2066–U+2069). A szövegben megjelenítheti őket, és eltávolíthatja az összeset vagy csak a kiválasztott kategóriákat. A feldolgozás helyben, a böngészőben történik.

    Gyakori felhasználási esetek

    A fejlesztők azt a nulla szélességű szóközt keresik vele, amely miatt a karakterlánc-összehasonlítás meghiúsul, az egyező nem API-kulcsot vagy jelszót, a BOM-mal ellátott, nem elemezhető JSON-fájlt, vagy az azonosnak tűnő, de eltérő CSV-fejlécet. Az írók és szerkesztők weboldalakról, PDF-ekből és csevegőeszközökből másolt szöveget tisztítanak. A biztonsági átvizsgálók forráskódot és pull requesteket vizsgálnak Trojan Source típusú bidi vezérlők (CVE-2021-42574) és homoglifa-trükkök után kutatva. Arra is használják, hogy az MI-asszisztensek szövegéből eltávolítsák a kósza nulla szélességű karaktereket vagy nem törhető szóközöket, mielőtt CMS-be, táblázatba vagy terminálba illesztenék.

    Karakterkategóriák

    A karakterek több csoportba tartoznak: nulla szélességű karakterek (U+200B–U+200D, U+2060, U+FEFF), szóközváltozatok (NBSP U+00A0, en és em szóközök U+2000–U+200A, keskeny NBSP U+202F, ideografikus szóköz U+3000), formázó vezérlők (feltételes kötőjel U+00AD, láthatatlan elválasztók U+2061–U+2064), kétirányú vezérlők (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI), valamint a C0 és C1 tartomány nem nyomtatható vezérlőkarakterei. Némelyiknek jelentése van: a ZWJ emojisorozatokat köt össze, a ZWNJ pedig a perzsa és hindi helyesírásban szükséges.

    Buktatók és korlátok

    Nem mindig helyes mindent eltávolítani: a ZWJ törlése tönkreteszi az olyan emojikat, mint a család- vagy zászlósorozatok, a ZWNJ eltávolítása pedig megváltoztatja a szavakat a perzsa, arab és indiai írásrendszerekben. Az NBSP-t cserélje normál szóközre a törlés helyett, különben a szavak összeolvadnak. A fájl elején lévő BOM-ot gyakran jobb fájlszinten eltávolítani. A trim és normalizáló eszközök nem távolítják el a nulla szélességű karaktereket, a homoglifák (cirill a a latin a helyett) pedig látható karakterek, ezért külön ellenőrzést igényelnek. Szöveg escape-eléséhez lásd a Text Escape eszközt; számlálásokhoz a Text Analyzert.