不可視文字の検出・削除ツール
テキスト
概要
不可視文字は見つかりませんでした。
可視化
削除するカテゴリ
クリーニング後の出力
技術的な詳細
不可視文字検出ツールの仕組み
不可視文字検出ツールでできること
このツールはテキストをスキャンして、目に見えるグリフを表示しないUnicodeコードポイントを探し、それぞれをU+コード、正式名称、位置、種類ごとの件数とともに一覧表示します。ゼロ幅スペース(U+200B)、ゼロ幅非接合子と接合子(U+200C、U+200D)、ワードジョイナー(U+2060)、バイトオーダーマーク(U+FEFF)、ソフトハイフン(U+00AD)、ノーブレークスペースなどの特殊なスペース(U+00A0、U+2007、U+202F)、行区切りと段落区切り、双方向制御文字(U+202AからU+202E、U+2066からU+2069)を検出します。テキスト内でそれらを可視化し、すべて、または選択したカテゴリーのみを削除できます。処理はブラウザ内でローカルに行われます。
よくある利用シーン
開発者は、文字列比較を失敗させるゼロ幅スペース、一致しないAPIキーやパスワード、パースできないBOM付きのJSONファイル、同じに見えるのに違うCSVヘッダーを見つけるために使います。ライターや編集者は、Webページ、PDF、チャットツールからコピーしたテキストをクリーンアップします。セキュリティレビュー担当者は、Trojan Source型のbidi制御文字(CVE-2021-42574)やホモグリフを使った手口を、ソースコードやプルリクエストから検出します。また、AIアシスタントの出力に紛れ込んだゼロ幅文字やノーブレークスペースを、CMS、スプレッドシート、ターミナルに貼り付ける前に取り除く用途にも使われます。
文字カテゴリー
文字はいくつかのグループに分かれます。ゼロ幅文字(U+200BからU+200D、U+2060、U+FEFF)、スペースの種類(NBSP U+00A0、enスペースとemスペース U+2000からU+200A、狭いNBSP U+202F、全角スペース U+3000)、書式制御文字(ソフトハイフン U+00AD、不可視セパレーター U+2061からU+2064)、双方向制御文字(LRE、RLE、PDF、LRO、RLO、LRI、RLI、FSI、PDI)、そしてC0とC1の範囲にある印字されない制御文字です。意味を持つものもあります。ZWJは絵文字シーケンスを結合し、ZWNJはペルシア語やヒンディー語の正書法で必要です。
落とし穴と制限
すべてを削除するのが常に正しいとは限りません。ZWJを削除すると家族や国旗のシーケンスなどの絵文字が壊れ、ZWNJを削除するとペルシア語、アラビア語、インド系文字の単語が変わります。NBSPは削除せず通常のスペースに置き換えてください。そうしないと単語がくっついてしまいます。ファイル先頭のBOMは、ファイル単位で削除する方が適切なことが多いです。トリムや正規化のツールはゼロ幅文字を削除せず、ホモグリフ(ラテン文字のaの代わりのキリル文字のa)は見える文字なので、別途チェックが必要です。テキストのエスケープについてはText Escape、文字数のカウントについてはText Analyzerを参照してください。