Popravljač mojibakea: popravak oštećenog teksta
Oštećeni tekst
Popravljeni tekst
Ručna pretvorba
Jednobajtni skupovi znakova i UTF-8 mogu se koristiti na obje strane. Shift_JIS, GB18030 i Big5 služe samo za dekodiranje.
Tehnički detalji
Kako radi popravljač mojibakea
Što radi popravljač mojibakea
Mojibake je tekst zapisan u jednom kodiranju znakova, a pročitan u drugom, pa se „é” prikazuje kao „é”, a tipografski apostrof kao „’”. Alat poništava pogrešku: ponovno kodira vaš tekst skupom znakova kojim je pogrešno pročitan kako bi vratio izvorne bajtove, a zatim te bajtove dekodira skupom znakova u kojem su doista bili. Isprobava sve kombinacije UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 i Big5, ocjenjuje svaki rezultat i prikazuje najbolji popravak s poredanim popisom alternativa.
Uobičajeni slučajevi upotrebe
Programeri ga koriste za popravak izvoza baza podataka, CSV datoteka, predmeta e-pošte, redaka logova i API odgovora u kojima su se naglasci pretvorili u à nizove, za čišćenje teksta kopiranog sa stranice poslužene s pogrešnim charset zaglavljem te za dijagnosticiranje koji je sloj pipelinea dekodirao UTF-8 kao Latin-1. Vraća i ruski tekst prikazan kao Привет te pomaže provjeriti stvara li ispravak u kodu doista željene znakove.
Podržana kodiranja i obrasci
Najčešći slučaj je UTF-8 pročitan kao Windows-1252 ili Latin-1: é, ü, ’, “ i emojiji poput 😀. UTF-8 pročitan kao Windows-1251 daje ćirilične parove poput Р i С iza kojih slijede simboli. Dvostruko kodirani tekst, u kojem se oštećenje dogodilo dvaput, popravlja se ponavljanjem UTF-8 koraka do tri puta. Ručni birači Kodiraj kao i Dekodiraj kao pokrivaju jednobajtne skupove znakova u oba smjera; Shift_JIS, GB18030 i Big5 mogu se koristiti samo za dekodiranje.
Zamke i ograničenja
Popravak radi samo ako nijedan bajt nije izgubljen. Upitnici i zamjenski znakovi U+FFFD u oštećenom tekstu ne mogu se povratiti, a tekst koji je u nekom koraku pretvoren s gubitkom ostaje oštećen. Automatski odabir je heuristika temeljena na slovima, uobičajenim riječima i tipičnim mojibake nizovima, pa vrlo kratki nizovi mogu biti dvosmisleni: provjerite tablicu alternativa ili koristite ručne birače. Ispravan tekst ostaje nepromijenjen, a ulaz je ograničen na 1.000.000 znakova.