DevToys Web Pro iconDevToys Web ProBlog
Beoordeel ons:
Probeer de browserextensie:

Mojibake-reparatie: onleesbare tekst repareren

Onleesbare tekst

Gerepareerde tekst

  • Handmatige conversie

    Coderen als
    Decoderen als

    Single-byte-tekensets en UTF-8 kunnen aan beide kanten worden gebruikt. Shift_JIS, GB18030 en Big5 zijn alleen voor decoderen.

    Technische details

    Hoe de mojibake-reparatie werkt

    Wat de mojibake-reparatie doet

    Mojibake is tekst die in de ene tekencodering is geschreven en in een andere is gelezen, waardoor "é" als "é" verschijnt en een gekrulde apostrof als "’". De tool maakt die fout ongedaan: hij codeert de tekst opnieuw met de tekenset waarmee hij ten onrechte is gelezen om de oorspronkelijke bytes terug te krijgen, en decodeert die bytes dan met de tekenset waarin ze echt zijn geschreven. Hij probeert elke combinatie van UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 en Big5, scoort elk resultaat en toont de beste reparatie met een gerangschikte lijst alternatieven.

    Veelvoorkomende toepassingen

    Ontwikkelaars gebruiken het om database-exports, CSV-bestanden, e-mailonderwerpen, logregels en API-antwoorden te repareren waarin accenten in Ã-reeksen zijn veranderd, om tekst op te schonen die is gekopieerd van een pagina met een verkeerde charset-header, en om de laag in een pipeline te vinden die UTF-8 als Latin-1 decodeerde. Het herstelt ook Russische tekst die als Привет wordt getoond en helpt controleren of een fix in code echt de bedoelde tekens oplevert.

    Ondersteunde coderingen en patronen

    Het meest voorkomende geval is UTF-8 gelezen als Windows-1252 of Latin-1: é, ü, ’, “ en emoji zoals 😀. UTF-8 gelezen als Windows-1251 levert Cyrillische paren op zoals Р en С gevolgd door symbolen. Dubbel gecodeerde tekst, waarbij de schade twee keer is opgetreden, wordt hersteld door de UTF-8-stap tot drie keer te herhalen. De handmatige keuzes Coderen als en Decoderen als dekken single-byte-tekensets in beide richtingen; Shift_JIS, GB18030 en Big5 kunnen alleen voor decoderen worden gebruikt.

    Valkuilen en beperkingen

    Reparatie werkt alleen als er geen bytes verloren zijn gegaan. Vraagtekens en U+FFFD-vervangingstekens in de onleesbare tekst kunnen niet worden hersteld, en tekst die in een of andere fase verliesgevend is geconverteerd, blijft beschadigd. De automatische keuze is een heuristiek op basis van letters, veelvoorkomende woorden en typische mojibake-reeksen, dus zeer korte strings kunnen dubbelzinnig zijn: controleer de tabel met alternatieven of gebruik de handmatige keuzes. Correcte tekst blijft ongewijzigd en de invoer is beperkt tot 1.000.000 tekens.