DevToys Web Pro iconDevToys Web ProBlog
Bewerten Sie uns:
Browser-Erweiterung ausprobieren:

Mojibake-Reparatur: Fehlerhaften Text korrigieren

Fehlerhafter Text

Korrigierter Text

  • Manuelle Umwandlung

    Kodieren als
    Dekodieren als

    Einbyte-Zeichensätze und UTF-8 können auf beiden Seiten verwendet werden. Shift_JIS, GB18030 und Big5 sind nur zum Dekodieren verfügbar.

    Technische Details

    So funktioniert die Mojibake-Reparatur

    Was die Mojibake-Reparatur macht

    Mojibake ist Text, der in einer Zeichenkodierung geschrieben und in einer anderen gelesen wurde, sodass „é“ als „é“ und ein typografischer Apostroph als „’“ erscheint. Das Tool macht den Fehler rückgängig: Es kodiert Ihren Text mit dem Zeichensatz neu, als der er fälschlich gelesen wurde, um die ursprünglichen Bytes zurückzugewinnen, und dekodiert diese Bytes dann mit dem Zeichensatz, in dem sie tatsächlich vorlagen. Es probiert jede Kombination aus UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 und Big5, bewertet jedes Ergebnis und zeigt die beste Korrektur mit einer sortierten Liste von Alternativen.

    Typische Anwendungsfälle

    Entwickler nutzen es, um Datenbankexporte, CSV-Dateien, E-Mail-Betreffzeilen, Logzeilen und API-Antworten zu reparieren, in denen Umlaute und Akzente zu Ã-Folgen wurden, um Text zu bereinigen, der von einer Seite mit falschem Charset-Header kopiert wurde, und um herauszufinden, welche Ebene einer Pipeline UTF-8 als Latin-1 dekodiert hat. Es stellt auch russischen Text wieder her, der als Привет angezeigt wird, und hilft zu prüfen, ob eine Korrektur im Code tatsächlich die gewünschten Zeichen erzeugt.

    Unterstützte Kodierungen und Muster

    Der häufigste Fall ist UTF-8, das als Windows-1252 oder Latin-1 gelesen wurde: é, ü, ’, “ und Emojis wie 😀. UTF-8, das als Windows-1251 gelesen wurde, erzeugt kyrillische Paare wie Р und С, gefolgt von Symbolen. Doppelt kodierter Text, bei dem der Schaden zweimal entstanden ist, wird durch bis zu dreimaliges Wiederholen des UTF-8-Schritts repariert. Die manuellen Auswahlfelder „Kodieren als“ und „Dekodieren als“ decken Einbyte-Zeichensätze in beide Richtungen ab; Shift_JIS, GB18030 und Big5 können nur zum Dekodieren verwendet werden.

    Fallstricke und Grenzen

    Die Reparatur funktioniert nur, wenn keine Bytes verloren gegangen sind. Fragezeichen und U+FFFD-Ersatzzeichen im fehlerhaften Text lassen sich nicht wiederherstellen, und Text, der irgendwann verlustbehaftet konvertiert wurde, bleibt beschädigt. Die automatische Auswahl ist eine Heuristik auf Basis von Buchstaben, häufigen Wörtern und typischen Mojibake-Sequenzen, daher können sehr kurze Strings mehrdeutig sein: Prüfen Sie die Alternativen-Tabelle oder nutzen Sie die manuellen Auswahlfelder. Korrekter Text bleibt unverändert, und die Eingabe ist auf 1.000.000 Zeichen begrenzt.