DevToys Web Pro iconDevToys Web ProBlog
Evaluează-ne:
Încearcă extensia de browser:

Reparator mojibake: repară textul deteriorat

Text deteriorat

Text reparat

  • Conversie manuală

    Codifică ca
    Decodifică ca

    Seturile de caractere pe un octet și UTF-8 pot fi folosite pe ambele părți. Shift_JIS, GB18030 și Big5 sunt doar pentru decodificare.

    Detalii tehnice

    Cum funcționează reparatorul mojibake

    Ce face reparatorul mojibake

    Mojibake este text scris într-o codificare de caractere și citit în alta, astfel încât „é” apare ca „é”, iar un apostrof curbat ca „’”. Instrumentul inversează greșeala: recodifică textul cu setul de caractere în care a fost citit greșit pentru a recupera octeții originali, apoi decodifică acești octeți cu setul de caractere în care au fost scriși de fapt. Încearcă fiecare combinație de UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 și Big5, punctează fiecare rezultat și arată cea mai bună reparație împreună cu o listă ordonată de alternative.

    Cazuri de utilizare frecvente

    Dezvoltatorii îl folosesc pentru a repara exporturi de baze de date, fișiere CSV, subiecte de e-mail, linii de log și răspunsuri API în care diacriticele s-au transformat în secvențe Ã, pentru a curăța text copiat dintr-o pagină servită cu un antet de set de caractere greșit și pentru a diagnostica stratul dintr-un pipeline care a decodificat UTF-8 ca Latin-1. Restaurează și textul rusesc afișat ca Привет și ajută la verificarea faptului că o corecție din cod produce cu adevărat caracterele dorite.

    Codificări și tipare acceptate

    Cel mai frecvent caz este UTF-8 citit ca Windows-1252 sau Latin-1: é, ü, ’, “ și emoji precum 😀. UTF-8 citit ca Windows-1251 produce perechi chirilice precum Р și С urmate de simboluri. Textul dublu codificat, în care deteriorarea a avut loc de două ori, este reparat repetând pasul UTF-8 de până la trei ori. Selectoarele manuale Codifică ca și Decodifică ca acoperă seturile de caractere pe un octet în ambele direcții; Shift_JIS, GB18030 și Big5 pot fi folosite doar pentru decodificare.

    Capcane și limite

    Repararea funcționează doar dacă nu s-au pierdut octeți. Semnele de întrebare și caracterele de înlocuire U+FFFD din textul deteriorat nu pot fi recuperate, iar textul care a fost convertit cu pierderi într-o etapă rămâne deteriorat. Alegerea automată este o euristică bazată pe litere, cuvinte comune și secvențe tipice de mojibake, deci șirurile foarte scurte pot fi ambigue: verificați tabelul de alternative sau folosiți selectoarele manuale. Textul corect este lăsat neschimbat, iar intrarea este limitată la 1.000.000 de caractere.