மறைந்த எழுத்து கண்டறிதல் & நீக்கி
உரை
சுருக்கம்
மறைந்த எழுத்துகள் எதுவும் கிடைக்கவில்லை.
காட்சிப்படுத்தப்பட்டது
வகைகளை நீக்கு
சுத்தம் செய்யப்பட்ட வெளியீடு
தொழில்நுட்ப விவரங்கள்
கண்ணுக்குத் தெரியாத எழுத்து கண்டறியி எப்படி செயல்படுகிறது
கண்ணுக்குத் தெரியாத எழுத்து கண்டறியி என்ன செய்கிறது
இந்த கருவி உரையில் காணக்கூடிய glyph காட்டாத Unicode code points-ஐ ஸ்கேன் செய்து, ஒவ்வொன்றையும் அதன் U+ குறியீடு, அதிகாரப்பூர்வ பெயர், இடம் மற்றும் வகைவாரி எண்ணிக்கையுடன் பட்டியலிடுகிறது. இது zero-width space (U+200B), zero-width non-joiner மற்றும் joiner (U+200C, U+200D), word joiner (U+2060), byte order mark (U+FEFF), soft hyphen (U+00AD), non-breaking மற்றும் பிற அரிய இடைவெளிகள் (U+00A0, U+2007, U+202F), வரி மற்றும் பத்தி பிரிப்பான்கள், மற்றும் இருதிசை கட்டுப்பாடுகள் (U+202A–U+202E, U+2066–U+2069) ஆகியவற்றைக் கண்டறிகிறது. அவற்றை உரைக்குள்ளேயே வெளிப்படுத்தலாம்; அனைத்தையும் அல்லது தேர்ந்தெடுத்த வகைகளை மட்டும் அகற்றலாம். செயலாக்கம் உலாவியிலேயே உள்ளூராக நடக்கிறது.
பொதுவான பயன்பாட்டு நிலைகள்
string ஒப்பீடு தோல்வியடையக் காரணமான zero-width space, பொருந்தாத API key அல்லது கடவுச்சொல், parse ஆகாத BOM உள்ள JSON கோப்பு, அல்லது ஒரே மாதிரி தோன்றினாலும் வேறுபடும் CSV header ஆகியவற்றைக் கண்டறிய டெவலப்பர்கள் இதைப் பயன்படுத்துகின்றனர். எழுத்தாளர்களும் ஆசிரியர்களும் வலைப்பக்கங்கள், PDF-கள் மற்றும் chat கருவிகளிலிருந்து நகலெடுத்த உரையைச் சுத்தம் செய்கின்றனர். பாதுகாப்பு மதிப்பாய்வாளர்கள் மூலக் குறியீடு மற்றும் pull requests-ஐ Trojan Source இருதிசை கட்டுப்பாடுகள் (CVE-2021-42574) மற்றும் homoglyph தந்திரங்களுக்காக ஸ்கேன் செய்கின்றனர். CMS, spreadsheet அல்லது terminal-இல் ஒட்டும் முன், AI உதவியாளர்களின் உரையில் உள்ள தேவையற்ற zero-width எழுத்துகள் அல்லது non-breaking spaces-ஐ சுத்தம் செய்யவும் இது பயன்படுகிறது.
எழுத்து வகைகள்
எழுத்துகள் பின்வரும் குழுக்களாகப் பிரிகின்றன: zero-width எழுத்துகள் (U+200B–U+200D, U+2060, U+FEFF), இடைவெளி வகைகள் (NBSP U+00A0, en மற்றும் em இடைவெளிகள் U+2000 முதல் U+200A, narrow NBSP U+202F, ideographic space U+3000), வடிவமைப்பு கட்டுப்பாடுகள் (soft hyphen U+00AD, கண்ணுக்குத் தெரியாத பிரிப்பான்கள் U+2061 முதல் U+2064), இருதிசை கட்டுப்பாடுகள் (LRE, RLE, PDF, LRO, RLO, LRI, RLI, FSI, PDI), மற்றும் C0, C1 வரம்புகளிலிருந்து அச்சிடப்படாத கட்டுப்பாட்டு எழுத்துகள். சில அர்த்தமுள்ளவை: ZWJ emoji வரிசைகளை இணைக்கிறது; பாரசீக மற்றும் இந்தி எழுத்துமுறையில் ZWNJ தேவைப்படுகிறது.
சிக்கல்களும் வரம்புகளும்
அனைத்தையும் அகற்றுவது எப்போதும் சரியல்ல: ZWJ-ஐ அகற்றினால் குடும்பம் அல்லது கொடி போன்ற emoji உடைந்துவிடும்; ZWNJ-ஐ அகற்றினால் பாரசீகம், அரபு மற்றும் இந்திய எழுத்துமுறைகளில் சொற்கள் மாறிவிடும். NBSP-ஐ நீக்குவதற்குப் பதிலாக சாதாரண இடைவெளியால் மாற்றவும்; இல்லையெனில் சொற்கள் ஒன்றாக இணைந்துவிடும். கோப்பின் தொடக்கத்திலுள்ள BOM-ஐ கோப்பு அளவில் அகற்றுவது பெரும்பாலும் சிறந்தது. Trim மற்றும் normalization கருவிகள் zero-width எழுத்துகளை அகற்றாது; homoglyphs (லத்தீன் a-க்குப் பதிலாக சிரிலிக் எழுத்து) கண்ணுக்குத் தெரியும் எழுத்துகள் என்பதால் தனி சோதனை தேவை. உரையை escape செய்ய Text Escape-ஐயும், எண்ணிக்கைக்கு Text Analyzer-ஐயும் பார்க்கவும்.