Mojibake-reparation: ret ødelagt tekst
Ødelagt tekst
Rettet tekst
Manuel konvertering
Enkeltbyte-tegnsæt og UTF-8 kan bruges på begge sider. Shift_JIS, GB18030 og Big5 kan kun bruges til afkodning.
Tekniske detaljer
Sådan fungerer mojibake-reparationen
Hvad mojibake-reparationen gør
Mojibake er tekst, der blev skrevet i én tegnkodning og læst i en anden, så „é“ vises som „é“ og en typografisk apostrof som „’“. Værktøjet vender fejlen om: Det genkoder din tekst med det tegnsæt, den fejlagtigt blev læst som, for at genskabe de oprindelige bytes, og afkoder derefter disse bytes med det tegnsæt, de egentlig var i. Det prøver alle kombinationer af UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 og Big5, scorer hvert resultat og viser den bedste rettelse med en rangeret liste over alternativer.
Almindelige anvendelser
Udviklere bruger det til at reparere databaseeksport, CSV-filer, e-mailemner, loglinjer og API-svar, hvor æ, ø og å blev til Ã-sekvenser, til at rense tekst kopieret fra en side leveret med forkert charset-header og til at diagnosticere, hvilket lag i en pipeline der afkodede UTF-8 som Latin-1. Det genskaber også russisk tekst vist som Привет og hjælper med at bekræfte, at en rettelse i koden faktisk giver de ønskede tegn.
Understøttede kodninger og mønstre
Det mest almindelige tilfælde er UTF-8 læst som Windows-1252 eller Latin-1: é, ü, ’, “ og emoji som 😀. UTF-8 læst som Windows-1251 giver kyrilliske par som Р og С efterfulgt af symboler. Dobbeltkodet tekst, hvor skaden skete to gange, repareres ved at gentage UTF-8-trinnet op til tre gange. De manuelle vælgere Kod som og Afkod som dækker enkeltbyte-tegnsæt i begge retninger; Shift_JIS, GB18030 og Big5 kan kun bruges til afkodning.
Faldgruber og grænser
Reparation virker kun, når ingen bytes er gået tabt. Spørgsmålstegn og U+FFFD-erstatningstegn i den ødelagte tekst kan ikke genskabes, og tekst, der på et tidspunkt blev konverteret med tab, forbliver beskadiget. Det automatiske valg er en heuristik baseret på bogstaver, almindelige ord og typiske mojibake-sekvenser, så meget korte strenge kan være tvetydige: tjek alternativtabellen, eller brug de manuelle vælgere. Korrekt tekst efterlades uændret, og input er begrænset til 1.000.000 tegn.