DevToys Web Pro iconDevToys Web Pro博客
为我们评分:
试用浏览器扩展:

不可见字符检测与移除

文本

摘要

未发现不可见字符。

可视化

移除类别

清理后的输出

  • 技术详情

    不可见字符检测器如何工作

    不可见字符检测器的功能

    该工具会扫描文本中不显示可见字形的 Unicode 码位,并逐一列出其 U+ 码位、官方名称、位置以及每种类型的数量。它可以检测零宽空格(U+200B)、零宽非连接符和连接符(U+200C、U+200D)、词连接符(U+2060)、字节顺序标记(U+FEFF)、软连字符(U+00AD)、不间断空格及其他特殊空格(U+00A0、U+2007、U+202F)、行分隔符与段落分隔符,以及双向控制字符(U+202A–U+202E、U+2066–U+2069)。您可以在文本中直接显示它们,并移除全部字符或仅移除选定类别。所有处理都在您的浏览器中本地完成。

    常见使用场景

    开发者用它来查找导致字符串比较失败的零宽空格、不匹配的 API 密钥或密码、带 BOM 而无法解析的 JSON 文件,或看起来相同实则不同的 CSV 表头。写作者和编辑用它清理从网页、PDF 和聊天工具复制的文本。安全审查人员用它扫描源代码和 pull request 中的 Trojan Source 双向控制字符(CVE-2021-42574)以及同形字(homoglyph)伎俩。在将 AI 助手生成的文本粘贴到 CMS、电子表格或终端之前,也可以用它清除其中多余的零宽字符或不间断空格。

    字符类别

    这些字符分为几类:零宽字符(U+200B–U+200D、U+2060、U+FEFF)、空格变体(NBSP U+00A0、en 和 em 空格 U+2000 至 U+200A、窄 NBSP U+202F、表意空格 U+3000)、格式控制字符(软连字符 U+00AD、不可见分隔符 U+2061 至 U+2064)、双向控制字符(LRE、RLE、PDF、LRO、RLO、LRI、RLI、FSI、PDI),以及 C0 和 C1 范围内的不可打印控制字符。其中一些具有实际意义:ZWJ 用于连接 emoji 序列,而 ZWNJ 在波斯语和印地语正字法中是必需的。

    陷阱与限制

    移除所有字符并不总是正确的:删除 ZWJ 会破坏家庭或旗帜等 emoji,删除 ZWNJ 会改变波斯语、阿拉伯语和印度系文字中的词语。应将 NBSP 替换为普通空格而不是直接删除,否则单词会粘连在一起。文件开头的 BOM 通常更适合在文件层面移除。修剪和规范化工具不会移除零宽字符,而同形字(用西里尔字母代替拉丁字母 a)属于可见字符,需要单独检查。如需转义文本,请参阅 Text Escape;如需统计,请参阅 Text Analyzer。