Oprava mojibake: oprava poškozeného textu
Poškozený text
Opravený text
Ruční převod
Jednobajtové znakové sady a UTF-8 lze použít na obou stranách. Shift_JIS, GB18030 a Big5 slouží jen k dekódování.
Technické detaily
Jak funguje oprava mojibake
Co oprava mojibake dělá
Mojibake je text, který byl zapsán v jednom kódování znaků a přečten v jiném, takže se „é“ zobrazí jako „é“ a typografický apostrof jako „’“. Nástroj chybu vrací zpět: zakóduje váš text znakovou sadou, ve které byl omylem přečten, aby získal původní bajty, a poté tyto bajty dekóduje znakovou sadou, ve které skutečně byly. Vyzkouší každou kombinaci UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 a Big5, každý výsledek ohodnotí a zobrazí nejlepší opravu spolu s seřazeným seznamem alternativ.
Typické případy použití
Vývojáři ho používají k opravě exportů databází, souborů CSV, předmětů e-mailů, řádků logů a odpovědí API, kde se z diakritiky staly sekvence s Ã, k vyčištění textu zkopírovaného ze stránky s chybnou hlavičkou charsetu a k diagnostice, která vrstva pipeline dekódovala UTF-8 jako Latin-1. Obnoví také ruský text zobrazený jako Привет a pomůže ověřit, že oprava v kódu skutečně vytváří zamýšlené znaky.
Podporovaná kódování a vzory
Nejčastější případ je UTF-8 čtené jako Windows-1252 nebo Latin-1: é, ü, ’, “ a emoji jako 😀. UTF-8 čtené jako Windows-1251 vytváří cyrilské dvojice jako Р a С následované symboly. Dvojitě zakódovaný text, kde k poškození došlo dvakrát, se opraví opakováním kroku UTF-8 až třikrát. Ruční selektory Zakódovat jako a Dekódovat jako pokrývají jednobajtové znakové sady v obou směrech; Shift_JIS, GB18030 a Big5 lze použít jen k dekódování.
Úskalí a omezení
Oprava funguje, jen pokud se neztratily žádné bajty. Otazníky a náhradní znaky U+FFFD v poškozeném textu nelze obnovit a text, který byl v některé fázi převeden se ztrátou, zůstane poškozený. Automatická volba je heuristika založená na písmenech, běžných slovech a typických sekvencích mojibake, takže velmi krátké řetězce mohou být nejednoznačné: zkontrolujte tabulku alternativ nebo použijte ruční selektory. Správný text zůstane beze změny a vstup je omezen na 1 000 000 znaků.