DevToys Web Pro iconDevToys Web Pro部落格
為我們評分:
試用瀏覽器擴充功能:

不可見字元偵測與移除

文字

摘要

未發現不可見字元。

視覺化

移除類別

清理後的輸出

  • 技術細節

    不可見字元偵測器如何運作

    不可見字元偵測器的功能

    此工具會掃描文字中不顯示可見字形的 Unicode 碼位,並逐一列出其 U+ 碼位、官方名稱、位置,以及每種類型的數量。它可偵測零寬空格(U+200B)、零寬非連接符與連接符(U+200C、U+200D)、詞連接符(U+2060)、位元組順序標記(U+FEFF)、軟連字號(U+00AD)、不換行空格及其他特殊空格(U+00A0、U+2007、U+202F)、行分隔符與段落分隔符,以及雙向控制字元(U+202A–U+202E、U+2066–U+2069)。您可以在文字中直接顯示它們,並移除全部字元或僅移除所選類別。所有處理都在您的瀏覽器中於本機完成。

    常見使用情境

    開發者用它來找出導致字串比較失敗的零寬空格、不相符的 API 金鑰或密碼、帶有 BOM 而無法解析的 JSON 檔案,或看起來相同實則不同的 CSV 標頭。寫作者與編輯用它清理從網頁、PDF 與聊天工具複製的文字。資安審查人員用它掃描原始碼與 pull request 中的 Trojan Source 雙向控制字元(CVE-2021-42574)以及同形字(homoglyph)手法。在將 AI 助理產生的文字貼到 CMS、試算表或終端機之前,也可以用它清除其中多餘的零寬字元或不換行空格。

    字元類別

    這些字元分為幾類:零寬字元(U+200B–U+200D、U+2060、U+FEFF)、空格變體(NBSP U+00A0、en 與 em 空格 U+2000 至 U+200A、窄 NBSP U+202F、表意空格 U+3000)、格式控制字元(軟連字號 U+00AD、不可見分隔符 U+2061 至 U+2064)、雙向控制字元(LRE、RLE、PDF、LRO、RLO、LRI、RLI、FSI、PDI),以及 C0 與 C1 範圍內的不可列印控制字元。其中有些具有實際意義:ZWJ 用於連接 emoji 序列,而 ZWNJ 在波斯語與印地語正字法中是必要的。

    陷阱與限制

    移除所有字元並不一定正確:刪除 ZWJ 會破壞家庭或旗幟等 emoji,刪除 ZWNJ 會改變波斯語、阿拉伯語與印度系文字中的詞語。應將 NBSP 取代為一般空格而非直接刪除,否則單字會黏在一起。檔案開頭的 BOM 通常更適合在檔案層級移除。修剪與正規化工具不會移除零寬字元,而同形字(以西里爾字母取代拉丁字母 a)屬於可見字元,需要另外檢查。如需跳脫文字,請參閱 Text Escape;如需統計,請參閱 Text Analyzer。