DevToys Web Pro iconDevToys Web ProTinklaraštis
Įvertinkite mus:
Išbandykite naršyklės plėtinį:

Nematomų simbolių detektorius ir šalintuvas

Tekstas

Santrauka

Nematomų simbolių nerasta.

Vizualizuota

Šalinti kategorijas

Išvalyta išvestis

  • Techninė informacija

    Kaip veikia nematomų simbolių detektorius

    Ką daro nematomų simbolių detektorius

    Įrankis nuskaito tekstą ieškodamas Unicode kodo taškų, kurie nerodo matomo simbolio, ir išvardija kiekvieną su jo U+ kodu, oficialiu pavadinimu, pozicija ir kiekiu pagal tipą. Jis aptinka nulinio pločio tarpą (U+200B), nulinio pločio nejungiklį ir jungiklį (U+200C, U+200D), žodžių jungiklį (U+2060), baitų tvarkos ženklą (U+FEFF), minkštąjį brūkšnelį (U+00AD), nepertraukiamus ir kitus egzotiškus tarpus (U+00A0, U+2007, U+202F), eilučių ir pastraipų skyriklius bei dvikryptes valdymo žymes (U+202A–U+202E, U+2066–U+2069). Galite juos parodyti tekste ir pašalinti visus arba tik pasirinktas kategorijas. Apdorojimas vyksta vietoje, naršyklėje.

    Dažni naudojimo atvejai

    Kūrėjai jį naudoja ieškodami nulinio pločio tarpo, dėl kurio nepavyksta palyginti eilučių, API rakto ar slaptažodžio, kuris nesutampa, JSON failo su BOM, kurio nepavyksta išanalizuoti, arba CSV antraštės, kuri atrodo identiška, bet tokia nėra. Rašytojai ir redaktoriai valo tekstą, nukopijuotą iš tinklalapių, PDF ir pokalbių įrankių. Saugumo peržiūrėtojai tikrina šaltinio kodą ir pull request’us dėl Trojan Source bidi valdymo simbolių (CVE-2021-42574) ir homoglifų gudrybių. Taip pat jis naudojamas valyti dirbtinio intelekto asistentų tekstą, kuriame yra pasimetusių nulinio pločio simbolių ar nepertraukiamų tarpų, prieš įklijuojant į CMS, skaičiuoklę ar terminalą.

    Simbolių kategorijos

    Simboliai skirstomi į grupes: nulinio pločio simboliai (U+200B–U+200D, U+2060, U+FEFF), tarpų variantai (NBSP U+00A0, en ir em tarpai U+2000–U+200A, siauras NBSP U+202F, ideografinis tarpas U+3000), formatavimo valdikliai (minkštasis brūkšnelis U+00AD, nematomi skyrikliai U+2061–U+2064), dvikrypčiai valdikliai (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) ir nespausdinami valdymo simboliai iš C0 ir C1 intervalų. Kai kurie turi prasmę: ZWJ jungia jaustukų sekas, o ZWNJ būtinas persų ir hindi rašybai.

    Spąstai ir apribojimai

    Pašalinti viską ne visada teisinga: pašalinus ZWJ sugenda jaustukai, pvz., šeimos ar vėliavų sekos, o pašalinus ZWNJ pasikeičia žodžiai persų, arabų ir indų kalbų rašmenimis. NBSP pakeiskite įprastu tarpu, o ne trinkite, kitaip žodžiai susilies. BOM failo pradžioje dažnai geriau šalinti failo lygmeniu. Apkarpymo ir normalizavimo įrankiai nešalina nulinio pločio simbolių, o homoglifai (kirilicos „а“ vietoje lotyniškos „a“) yra matomi simboliai, todėl jiems reikia atskiro patikrinimo. Teksto „escape“ žr. Teksto „escape“ įrankį, skaičiams – Teksto analizatorių.