Mojibake parandaja: paranda rikutud tekst
Rikutud tekst
Parandatud tekst
Käsitsi teisendamine
Ühebaidised märgistikud ja UTF-8 sobivad kasutamiseks mõlemal poolel. Shift_JIS, GB18030 ja Big5 sobivad ainult dekodeerimiseks.
Tehnilised üksikasjad
Kuidas mojibake parandaja töötab
Mida mojibake parandaja teeb
Mojibake on tekst, mis kirjutati ühes märgikodeeringus ja loeti teises, nii et „é“ kuvatakse kui „é“ ja tüpograafiline apostroof kui „’“. Tööriist pöörab vea tagasi: kodeerib sinu teksti ümber märgistikuga, mida ekslikult loeti, et taastada algsed baidid, ning dekodeerib need baidid seejärel märgistikuga, milles need tegelikult olid. See proovib kõiki UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 ja Big5 kombinatsioone, hindab iga tulemust ja näitab parimat parandust koos järjestatud alternatiivide loendiga.
Levinumad kasutusjuhud
Arendajad kasutavad seda andmebaasiekspordi, CSV-failide, e-kirja teemade, logiridade ja API vastuste parandamiseks, kus täpitähed muutusid Ã-järjenditeks, vale charset-päisega lehelt kopeeritud teksti puhastamiseks ning selle tuvastamiseks, milline konveieri kiht dekodeeris UTF-8 kui Latin-1. See taastab ka vene teksti, mis kuvatakse kujul Привет, ning aitab kontrollida, et koodiparandus annab tõesti soovitud märgid.
Toetatud kodeeringud ja mustrid
Kõige levinum juhtum on UTF-8, mida loeti kui Windows-1252 või Latin-1: é, ü, ’, “ ja emojid nagu 😀. UTF-8, mida loeti kui Windows-1251, annab kirillitsa paarid nagu Р ja С, millele järgnevad sümbolid. Topeltkodeeritud tekst, kus kahju tekkis kaks korda, parandatakse UTF-8 sammu kuni kolm korda kordamisega. Käsitsi valijad Kodeeri kui ja Dekodeeri kui katavad ühebaidised märgistikud mõlemas suunas; Shift_JIS, GB18030 ja Big5 sobivad ainult dekodeerimiseks.
Lõksud ja piirangud
Parandus töötab ainult siis, kui ühtegi baiti pole kaotsi läinud. Rikutud tekstis olevaid küsimärke ja U+FFFD asendusmärke ei saa taastada ning tekst, mis konverteeriti mingil etapil kadudega, jääb kahjustatuks. Automaatne valik on heuristika, mis põhineb tähtedel, levinud sõnadel ja tüüpilistel mojibake'i järjenditel, seega võivad väga lühikesed stringid olla mitmetähenduslikud: kontrolli alternatiivide tabelit või kasuta käsitsi valijaid. Õige tekst jäetakse muutmata ja sisend on piiratud 1 000 000 tähemärgiga.