DevToys Web Pro iconDevToys Web Proブログ
評価:
ブラウザ拡張機能を試す:

不可視文字の検出・削除ツール

テキスト

概要

不可視文字は見つかりませんでした。

可視化

削除するカテゴリ

クリーニング後の出力

  • 技術的な詳細

    不可視文字検出ツールの仕組み

    不可視文字検出ツールでできること

    このツールはテキストをスキャンして、目に見えるグリフを表示しないUnicodeコードポイントを探し、それぞれをU+コード、正式名称、位置、種類ごとの件数とともに一覧表示します。ゼロ幅スペース(U+200B)、ゼロ幅非接合子と接合子(U+200C、U+200D)、ワードジョイナー(U+2060)、バイトオーダーマーク(U+FEFF)、ソフトハイフン(U+00AD)、ノーブレークスペースなどの特殊なスペース(U+00A0、U+2007、U+202F)、行区切りと段落区切り、双方向制御文字(U+202AからU+202E、U+2066からU+2069)を検出します。テキスト内でそれらを可視化し、すべて、または選択したカテゴリーのみを削除できます。処理はブラウザ内でローカルに行われます。

    よくある利用シーン

    開発者は、文字列比較を失敗させるゼロ幅スペース、一致しないAPIキーやパスワード、パースできないBOM付きのJSONファイル、同じに見えるのに違うCSVヘッダーを見つけるために使います。ライターや編集者は、Webページ、PDF、チャットツールからコピーしたテキストをクリーンアップします。セキュリティレビュー担当者は、Trojan Source型のbidi制御文字(CVE-2021-42574)やホモグリフを使った手口を、ソースコードやプルリクエストから検出します。また、AIアシスタントの出力に紛れ込んだゼロ幅文字やノーブレークスペースを、CMS、スプレッドシート、ターミナルに貼り付ける前に取り除く用途にも使われます。

    文字カテゴリー

    文字はいくつかのグループに分かれます。ゼロ幅文字(U+200BからU+200D、U+2060、U+FEFF)、スペースの種類(NBSP U+00A0、enスペースとemスペース U+2000からU+200A、狭いNBSP U+202F、全角スペース U+3000)、書式制御文字(ソフトハイフン U+00AD、不可視セパレーター U+2061からU+2064)、双方向制御文字(LRE、RLE、PDF、LRO、RLO、LRI、RLI、FSI、PDI)、そしてC0とC1の範囲にある印字されない制御文字です。意味を持つものもあります。ZWJは絵文字シーケンスを結合し、ZWNJはペルシア語やヒンディー語の正書法で必要です。

    落とし穴と制限

    すべてを削除するのが常に正しいとは限りません。ZWJを削除すると家族や国旗のシーケンスなどの絵文字が壊れ、ZWNJを削除するとペルシア語、アラビア語、インド系文字の単語が変わります。NBSPは削除せず通常のスペースに置き換えてください。そうしないと単語がくっついてしまいます。ファイル先頭のBOMは、ファイル単位で削除する方が適切なことが多いです。トリムや正規化のツールはゼロ幅文字を削除せず、ホモグリフ(ラテン文字のaの代わりのキリル文字のa)は見える文字なので、別途チェックが必要です。テキストのエスケープについてはText Escape、文字数のカウントについてはText Analyzerを参照してください。