Oprava mojibake: oprava poškodeného textu
Poškodený text
Opravený text
Manuálna konverzia
Jednobajtové znakové sady a UTF-8 možno použiť na oboch stranách. Shift_JIS, GB18030 a Big5 sú iba na dekódovanie.
Technické podrobnosti
Ako funguje oprava mojibake
Čo robí oprava mojibake
Mojibake je text zapísaný v jednom kódovaní znakov a prečítaný v inom, takže sa „é“ zobrazí ako „é“ a zakrivený apostrof ako „’“. Nástroj túto chybu zvráti: znova zakóduje text do znakovej sady, v ktorej bol omylom prečítaný, aby obnovil pôvodné bajty, a potom ich dekóduje v znakovej sade, v ktorej boli skutočne zapísané. Vyskúša všetky kombinácie UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 a Big5, ohodnotí každý výsledok a ukáže najlepšiu opravu spolu so zoradeným zoznamom alternatív.
Bežné prípady použitia
Vývojári ho používajú na opravu exportov databáz, súborov CSV, predmetov e-mailov, riadkov logov a odpovedí API, kde sa diakritika zmenila na sekvencie Ã, na čistenie textu skopírovaného zo stránky s nesprávnou hlavičkou znakovej sady a na zistenie vrstvy v pipeline, ktorá dekódovala UTF-8 ako Latin-1. Obnoví aj ruský text zobrazený ako Привет a pomáha overiť, že oprava v kóde naozaj vytvára zamýšľané znaky.
Podporované kódovania a vzory
Najčastejší prípad je UTF-8 prečítané ako Windows-1252 alebo Latin-1: é, ü, ’, “ a emoji ako 😀. UTF-8 prečítané ako Windows-1251 vytvára cyrilské dvojice ako Р a С nasledované symbolmi. Dvojito zakódovaný text, kde k poškodeniu došlo dvakrát, sa opraví opakovaním kroku UTF-8 až trikrát. Manuálne voľby Kódovať ako a Dekódovať ako pokrývajú jednobajtové znakové sady v oboch smeroch; Shift_JIS, GB18030 a Big5 možno použiť iba na dekódovanie.
Úskalia a limity
Oprava funguje, iba ak sa nestratili žiadne bajty. Otázniky a náhradné znaky U+FFFD v poškodenom texte sa obnoviť nedajú a text, ktorý bol v niektorej fáze skonvertovaný so stratou, zostane poškodený. Automatický výber je heuristika založená na písmenách, bežných slovách a typických sekvenciách mojibake, takže veľmi krátke reťazce môžu byť nejednoznačné: skontrolujte tabuľku alternatív alebo použite manuálne voľby. Správny text sa nechá bez zmeny a vstup je obmedzený na 1 000 000 znakov.