Mojibake-reparasjon: reparer ødelagt tekst
Ødelagt tekst
Reparert tekst
Manuell konvertering
Enkeltbyte-tegnsett og UTF-8 kan brukes på begge sider. Shift_JIS, GB18030 og Big5 kan bare brukes til dekoding.
Tekniske detaljer
Slik fungerer mojibake-reparasjonen
Hva mojibake-reparasjonen gjør
Mojibake er tekst som ble skrevet i én tegnkoding og lest i en annen, slik at «é» vises som «Ã©» og en krøllet apostrof som «â€™». Verktøyet reverserer feilen: det koder teksten på nytt med tegnsettet den feilaktig ble lest som for å gjenopprette de opprinnelige bytene, og dekoder deretter bytene med tegnsettet de egentlig ble skrevet i. Det prøver alle kombinasjoner av UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 og Big5, gir hvert resultat en poengsum og viser den beste reparasjonen med en rangert liste over alternativer.
Vanlige bruksområder
Utviklere bruker det til å reparere databaseeksporter, CSV-filer, e-postemner, loggrader og API-svar der aksenter er blitt til Ã-sekvenser, rense tekst kopiert fra en side servert med feil tegnsett-header, og finne laget i en pipeline som dekodet UTF-8 som Latin-1. Det gjenoppretter også russisk tekst som vises som Привет, og hjelper med å bekrefte at en rettelse i kode faktisk gir de tiltenkte tegnene.
Støttede kodinger og mønstre
Det vanligste tilfellet er UTF-8 lest som Windows-1252 eller Latin-1: é, ü, ’, “ og emojier som 😀. UTF-8 lest som Windows-1251 gir kyrilliske par som Р og С etterfulgt av symboler. Dobbeltkodet tekst, der skaden skjedde to ganger, repareres ved å gjenta UTF-8-trinnet opptil tre ganger. De manuelle valgene Kod som og Dekod som dekker enkeltbyte-tegnsett i begge retninger; Shift_JIS, GB18030 og Big5 kan bare brukes til dekoding.
Fallgruver og begrensninger
Reparasjon fungerer bare når ingen byte gikk tapt. Spørsmålstegn og U+FFFD-erstatningstegn i den ødelagte teksten kan ikke gjenopprettes, og tekst som ble konvertert med tap på et tidspunkt, forblir skadet. Det automatiske valget er en heuristikk basert på bokstaver, vanlige ord og typiske mojibake-sekvenser, så svært korte strenger kan være tvetydige: sjekk alternativtabellen eller bruk de manuelle valgene. Riktig tekst blir stående uendret, og inndata er begrenset til 1 000 000 tegn.