DevToys Web Pro iconDevToys Web ProBlog
Oceń nas:
Wypróbuj rozszerzenie przeglądarki:

Naprawa mojibake: naprawianie uszkodzonego tekstu

Uszkodzony tekst

Naprawiony tekst

  • Konwersja ręczna

    Zakoduj jako
    Zdekoduj jako

    Jednobajtowe zestawy znaków i UTF-8 mogą być używane po obu stronach. Shift_JIS, GB18030 i Big5 służą tylko do dekodowania.

    Szczegóły techniczne

    Jak działa naprawa mojibake

    Co robi naprawa mojibake

    Mojibake to tekst zapisany w jednym kodowaniu znaków i odczytany w innym, przez co „é” wyświetla się jako „é”, a zakrzywiony apostrof jako „’”. Narzędzie odwraca ten błąd: koduje tekst ponownie w zestawie znaków, w którym został błędnie odczytany, aby odzyskać oryginalne bajty, a następnie dekoduje je w zestawie znaków, w którym naprawdę zostały zapisane. Próbuje wszystkich kombinacji UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 i Big5, ocenia każdy wynik i pokazuje najlepszą naprawę wraz z uszeregowaną listą alternatyw.

    Typowe zastosowania

    Programiści używają go do naprawy eksportów baz danych, plików CSV, tematów e-maili, linii logów i odpowiedzi API, w których akcenty zamieniły się w sekwencje Ã, do czyszczenia tekstu skopiowanego ze strony serwowanej z błędnym nagłówkiem zestawu znaków oraz do diagnozowania warstwy w potoku, która zdekodowała UTF-8 jako Latin-1. Przywraca też rosyjski tekst wyświetlany jako Привет i pomaga sprawdzić, czy poprawka w kodzie naprawdę daje zamierzone znaki.

    Obsługiwane kodowania i wzorce

    Najczęstszy przypadek to UTF-8 odczytany jako Windows-1252 lub Latin-1: é, ü, ’, “ oraz emoji, takie jak 😀. UTF-8 odczytany jako Windows-1251 daje pary cyrylicy, takie jak Р i С, po których następują symbole. Podwójnie zakodowany tekst, w którym uszkodzenie wystąpiło dwa razy, jest naprawiany przez powtórzenie kroku UTF-8 do trzech razy. Ręczne selektory Zakoduj jako i Zdekoduj jako obejmują jednobajtowe zestawy znaków w obu kierunkach; Shift_JIS, GB18030 i Big5 mogą być używane tylko do dekodowania.

    Pułapki i ograniczenia

    Naprawa działa tylko wtedy, gdy nie utracono bajtów. Znaków zapytania i znaków zastępczych U+FFFD w uszkodzonym tekście nie da się odzyskać, a tekst, który na jakimś etapie został skonwertowany ze stratami, pozostaje uszkodzony. Wybór automatyczny to heurystyka oparta na literach, popularnych słowach i typowych sekwencjach mojibake, więc bardzo krótkie ciągi mogą być niejednoznaczne: sprawdź tabelę alternatyw lub użyj selektorów ręcznych. Poprawny tekst pozostaje bez zmian, a dane wejściowe są ograniczone do 1 000 000 znaków.