Nematomų simbolių detektorius ir šalintuvas
Tekstas
Santrauka
Nematomų simbolių nerasta.
Vizualizuota
Šalinti kategorijas
Išvalyta išvestis
Techninė informacija
Kaip veikia nematomų simbolių detektorius
Ką daro nematomų simbolių detektorius
Įrankis nuskaito tekstą ieškodamas Unicode kodo taškų, kurie nerodo matomo simbolio, ir išvardija kiekvieną su jo U+ kodu, oficialiu pavadinimu, pozicija ir kiekiu pagal tipą. Jis aptinka nulinio pločio tarpą (U+200B), nulinio pločio nejungiklį ir jungiklį (U+200C, U+200D), žodžių jungiklį (U+2060), baitų tvarkos ženklą (U+FEFF), minkštąjį brūkšnelį (U+00AD), nepertraukiamus ir kitus egzotiškus tarpus (U+00A0, U+2007, U+202F), eilučių ir pastraipų skyriklius bei dvikryptes valdymo žymes (U+202A–U+202E, U+2066–U+2069). Galite juos parodyti tekste ir pašalinti visus arba tik pasirinktas kategorijas. Apdorojimas vyksta vietoje, naršyklėje.
Dažni naudojimo atvejai
Kūrėjai jį naudoja ieškodami nulinio pločio tarpo, dėl kurio nepavyksta palyginti eilučių, API rakto ar slaptažodžio, kuris nesutampa, JSON failo su BOM, kurio nepavyksta išanalizuoti, arba CSV antraštės, kuri atrodo identiška, bet tokia nėra. Rašytojai ir redaktoriai valo tekstą, nukopijuotą iš tinklalapių, PDF ir pokalbių įrankių. Saugumo peržiūrėtojai tikrina šaltinio kodą ir pull request’us dėl Trojan Source bidi valdymo simbolių (CVE-2021-42574) ir homoglifų gudrybių. Taip pat jis naudojamas valyti dirbtinio intelekto asistentų tekstą, kuriame yra pasimetusių nulinio pločio simbolių ar nepertraukiamų tarpų, prieš įklijuojant į CMS, skaičiuoklę ar terminalą.
Simbolių kategorijos
Simboliai skirstomi į grupes: nulinio pločio simboliai (U+200B–U+200D, U+2060, U+FEFF), tarpų variantai (NBSP U+00A0, en ir em tarpai U+2000–U+200A, siauras NBSP U+202F, ideografinis tarpas U+3000), formatavimo valdikliai (minkštasis brūkšnelis U+00AD, nematomi skyrikliai U+2061–U+2064), dvikrypčiai valdikliai (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI) ir nespausdinami valdymo simboliai iš C0 ir C1 intervalų. Kai kurie turi prasmę: ZWJ jungia jaustukų sekas, o ZWNJ būtinas persų ir hindi rašybai.
Spąstai ir apribojimai
Pašalinti viską ne visada teisinga: pašalinus ZWJ sugenda jaustukai, pvz., šeimos ar vėliavų sekos, o pašalinus ZWNJ pasikeičia žodžiai persų, arabų ir indų kalbų rašmenimis. NBSP pakeiskite įprastu tarpu, o ne trinkite, kitaip žodžiai susilies. BOM failo pradžioje dažnai geriau šalinti failo lygmeniu. Apkarpymo ir normalizavimo įrankiai nešalina nulinio pločio simbolių, o homoglifai (kirilicos „а“ vietoje lotyniškos „a“) yra matomi simboliai, todėl jiems reikia atskiro patikrinimo. Teksto „escape“ žr. Teksto „escape“ įrankį, skaičiams – Teksto analizatorių.