DevToys Web Pro iconDevToys Web ProBlog
Ohodnoťte nás:
Vyzkoušejte rozšíření pro prohlížeč:

Oprava mojibake: oprava poškozeného textu

Poškozený text

Opravený text

  • Ruční převod

    Zakódovat jako
    Dekódovat jako

    Jednobajtové znakové sady a UTF-8 lze použít na obou stranách. Shift_JIS, GB18030 a Big5 slouží jen k dekódování.

    Technické detaily

    Jak funguje oprava mojibake

    Co oprava mojibake dělá

    Mojibake je text, který byl zapsán v jednom kódování znaků a přečten v jiném, takže se „é“ zobrazí jako „é“ a typografický apostrof jako „’“. Nástroj chybu vrací zpět: zakóduje váš text znakovou sadou, ve které byl omylem přečten, aby získal původní bajty, a poté tyto bajty dekóduje znakovou sadou, ve které skutečně byly. Vyzkouší každou kombinaci UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 a Big5, každý výsledek ohodnotí a zobrazí nejlepší opravu spolu s seřazeným seznamem alternativ.

    Typické případy použití

    Vývojáři ho používají k opravě exportů databází, souborů CSV, předmětů e-mailů, řádků logů a odpovědí API, kde se z diakritiky staly sekvence s Ã, k vyčištění textu zkopírovaného ze stránky s chybnou hlavičkou charsetu a k diagnostice, která vrstva pipeline dekódovala UTF-8 jako Latin-1. Obnoví také ruský text zobrazený jako Привет a pomůže ověřit, že oprava v kódu skutečně vytváří zamýšlené znaky.

    Podporovaná kódování a vzory

    Nejčastější případ je UTF-8 čtené jako Windows-1252 nebo Latin-1: é, ü, ’, “ a emoji jako 😀. UTF-8 čtené jako Windows-1251 vytváří cyrilské dvojice jako Р a С následované symboly. Dvojitě zakódovaný text, kde k poškození došlo dvakrát, se opraví opakováním kroku UTF-8 až třikrát. Ruční selektory Zakódovat jako a Dekódovat jako pokrývají jednobajtové znakové sady v obou směrech; Shift_JIS, GB18030 a Big5 lze použít jen k dekódování.

    Úskalí a omezení

    Oprava funguje, jen pokud se neztratily žádné bajty. Otazníky a náhradní znaky U+FFFD v poškozeném textu nelze obnovit a text, který byl v některé fázi převeden se ztrátou, zůstane poškozený. Automatická volba je heuristika založená na písmenech, běžných slovech a typických sekvencích mojibake, takže velmi krátké řetězce mohou být nejednoznačné: zkontrolujte tabulku alternativ nebo použijte ruční selektory. Správný text zůstane beze změny a vstup je omezen na 1 000 000 znaků.