Mojibake taisyklė: sugadinto teksto taisymas
Sugadintas tekstas
Ištaisytas tekstas
Rankinis konvertavimas
Vienbaičius ženklų rinkinius ir UTF-8 galima naudoti abiejose pusėse. Shift_JIS, GB18030 ir Big5 skirti tik dekodavimui.
Techninė informacija
Kaip veikia mojibake taisyklė
Ką daro mojibake taisyklė
Mojibake yra tekstas, užrašytas viena simbolių koduote ir perskaitytas kita, todėl „é“ virsta „é“, o lenktas apostrofas – „’“. Įrankis ištaiso klaidą: perkoduoja tekstą ženklų rinkiniu, kuriuo jis buvo klaidingai perskaitytas, kad atkurtų pradinius baitus, tada dekoduoja baitus ženklų rinkiniu, kuriuo jie iš tikrųjų buvo užrašyti. Jis išbando visus UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 ir Big5 derinius, įvertina rezultatą ir parodo geriausią taisymą su alternatyvų sąrašu pagal įvertį.
Dažniausi naudojimo atvejai
Programuotojai naudoja jį duomenų bazių eksportams, CSV failams, el. laiškų temoms, žurnalo eilutėms ir API atsakymams taisyti, kai kirčiuotos raidės virto à sekomis, išvalyti tekstą, nukopijuotą iš puslapio su neteisinga ženklų rinkinio antrašte, ir nustatyti sluoksnį, kuris konvejeryje UTF-8 dekodavo kaip Latin-1. Jis taip pat atkuria rusišką tekstą, rodomą kaip Привет, ir padeda patikrinti, ar kodo taisymas tikrai sukuria numatytus simbolius.
Palaikomos koduotės ir šablonai
Dažniausias atvejis yra UTF-8, perskaitytas kaip Windows-1252 ar Latin-1: é, ü, ’, “ ir jaustukai, pvz., 😀. UTF-8, perskaitytas kaip Windows-1251, sukuria kirilicos poras, pvz., Р ir С, po kurių eina simboliai. Dvigubai užkoduotas tekstas, kai žala atsirado du kartus, taisomas kartojant UTF-8 žingsnį iki trijų kartų. Rankiniai koduoti kaip ir dekoduoti kaip pasirinkikliai apima vienbaičius ženklų rinkinius abiem kryptimis; Shift_JIS, GB18030 ir Big5 galima naudoti tik dekodavimui.
Spąstai ir apribojimai
Taisymas veikia tik tada, kai nebuvo prarasta baitų. Klaustukų ir U+FFFD pakeitimo simbolių sugadintame tekste atkurti neįmanoma, o tekstas, kuris kuriame nors etape buvo konvertuotas su nuostoliais, lieka pažeistas. Automatinis pasirinkimas yra euristika, pagrįsta raidėmis, dažnais žodžiais ir tipinėmis mojibake sekomis, todėl labai trumpos eilutės gali būti dviprasmiškos: patikrinkite alternatyvų lentelę arba naudokite rankinius pasirinkiklius. Teisingas tekstas paliekamas nepakeistas, o įvestis ribojama iki 1 000 000 simbolių.