DevToys Web Pro iconDevToys Web ProBlog
Oceń nas:
Wypróbuj rozszerzenie przeglądarki:

Wykrywanie i usuwanie niewidocznych znaków

Tekst

Podsumowanie

Nie znaleziono niewidocznych znaków.

Wizualizacja

Usuń kategorie

Wyczyszczone wyjście

  • Szczegóły techniczne

    Jak działa detektor niewidocznych znaków

    Co robi detektor niewidocznych znaków

    Narzędzie skanuje tekst w poszukiwaniu punktów kodowych Unicode, które nie wyświetlają widocznego glifu, i wypisuje każdy z nich wraz z kodem U+, oficjalną nazwą, pozycją i liczbą według typu. Wykrywa spację o zerowej szerokości (U+200B), łącznik i rozłącznik o zerowej szerokości (U+200C, U+200D), łącznik słów (U+2060), znacznik kolejności bajtów (U+FEFF), miękki łącznik (U+00AD), twarde i inne egzotyczne spacje (U+00A0, U+2007, U+202F), separatory wierszy i akapitów oraz znaki sterujące dwukierunkowe (U+202A–U+202E, U+2066–U+2069). Możesz je ujawnić w tekście i usunąć wszystkie lub tylko wybrane kategorie. Przetwarzanie odbywa się lokalnie w przeglądarce.

    Typowe zastosowania

    Programiści używają go do znalezienia spacji o zerowej szerokości, przez którą porównanie ciągów zawodzi, klucza API lub hasła, które się nie zgadza, pliku JSON, którego BOM uniemożliwia parsowanie, lub nagłówka CSV, który wygląda identycznie, ale nie jest. Autorzy i redaktorzy czyszczą tekst skopiowany ze stron internetowych, plików PDF i komunikatorów. Osoby przeglądające bezpieczeństwo skanują kod źródłowy i pull requesty pod kątem znaków sterujących bidi typu Trojan Source (CVE-2021-42574) i sztuczek z homoglifami. Służy także do czyszczenia tekstu z asystentów AI, który zawiera zbłąkane znaki o zerowej szerokości lub twarde spacje, przed wklejeniem do CMS, arkusza kalkulacyjnego lub terminala.

    Kategorie znaków

    Znaki dzielą się na grupy: znaki o zerowej szerokości (U+200B–U+200D, U+2060, U+FEFF), warianty spacji (NBSP U+00A0, spacje en i em U+2000–U+200A, wąska NBSP U+202F, spacja ideograficzna U+3000), znaki sterujące formatowaniem (miękki łącznik U+00AD, niewidoczne separatory U+2061–U+2064), znaki sterujące dwukierunkowe (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) oraz niedrukowalne znaki sterujące z zakresów C0 i C1. Niektóre mają znaczenie: ZWJ łączy sekwencje emoji, a ZWNJ jest wymagany w ortografii perskiej i hindi.

    Pułapki i ograniczenia

    Usunięcie wszystkiego nie zawsze jest właściwe: usunięcie ZWJ psuje emoji, takie jak sekwencje rodzin czy flag, a usunięcie ZWNJ zmienia słowa w piśmie perskim, arabskim i indyjskim. Zastąp NBSP zwykłą spacją zamiast go usuwać, bo inaczej słowa się zleją. BOM na początku pliku często lepiej usunąć na poziomie pliku. Narzędzia do przycinania i normalizacji nie usuwają znaków o zerowej szerokości, a homoglify (cyrylicka а zamiast łacińskiej a) to widoczne znaki, więc wymagają osobnej kontroli. Informacje o escapowaniu tekstu znajdziesz w narzędziu Escapowanie / od-escapowanie tekstu, a o zliczaniu w Analizatorze tekstu i narzędziach.