DevToys Web Pro iconDevToys Web ProБлог
Оценете ни:
Изпробвайте разширението за браузър:

Поправка на mojibake: възстановяване на повреден текст

Повреден текст

Поправен текст

  • Ръчно преобразуване

    Кодирай като
    Декодирай като

    Еднобайтовите набори от знаци и UTF-8 могат да се използват и от двете страни. Shift_JIS, GB18030 и Big5 са само за декодиране.

    Технически подробности

    Как работи поправката на mojibake

    Какво прави поправката на mojibake

    Mojibake е текст, който е записан в едно кодиране на знаци и прочетен в друго, така че „é“ се показва като „Ã©“, а типографският апостроф като „â€™“. Инструментът обръща грешката: прекодира текста ви с набора от знаци, с който погрешно е бил прочетен, за да възстанови оригиналните байтове, и после декодира тези байтове с набора от знаци, в който действително са били. Опитва всяка комбинация от UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 и Big5, оценява всеки резултат и показва най-добрата поправка със списък от алтернативи по ред на оценката.

    Често срещани случаи на употреба

    Разработчиците го използват за поправяне на експорти от бази данни, CSV файлове, теми на имейли, редове от логове и API отговори, в които акцентите са се превърнали в последователности с Ã, за почистване на текст, копиран от страница със сгрешен charset хедър, и за откриване кой слой в pipeline е декодирал UTF-8 като Latin-1. Възстановява и руски текст, показан като Привет, и помага да се провери, че поправка в кода наистина дава желаните знаци.

    Поддържани кодирания и модели

    Най-честият случай е UTF-8, прочетен като Windows-1252 или Latin-1: é, ü, ’, “ и емоджита като 😀. UTF-8, прочетен като Windows-1251, дава кирилски двойки като Р и С, следвани от символи. Двойно кодираният текст, при който повредата е станала два пъти, се поправя чрез повтаряне на стъпката UTF-8 до три пъти. Ръчните селектори Кодирай като и Декодирай като покриват еднобайтови набори от знаци в двете посоки; Shift_JIS, GB18030 и Big5 могат да се използват само за декодиране.

    Клопки и ограничения

    Поправката работи само когато няма загубени байтове. Въпросителните знаци и заместващите знаци U+FFFD в повредения текст не могат да се възстановят, а текст, преобразуван със загуби на някой етап, остава повреден. Автоматичният избор е евристика, базирана на букви, често срещани думи и типични последователности на mojibake, така че много къси низове може да са двусмислени: проверете таблицата с алтернативи или използвайте ръчните селектори. Правилният текст се оставя непроменен, а входът е ограничен до 1 000 000 знака.