Mojibake: исправление кракозябр в тексте
Испорченный текст
Исправленный текст
Ручное преобразование
Однобайтовые кодировки и UTF-8 можно использовать с обеих сторон. Shift_JIS, GB18030 и Big5 доступны только для декодирования.
Технические детали
Как работает исправление mojibake
Что делает исправление mojibake
Mojibake («кракозябры») — это текст, записанный в одной кодировке и прочитанный в другой, из-за чего «é» превращается в «Ã©», а изогнутый апостроф — в «â€™». Инструмент исправляет эту ошибку: перекодирует текст в кодировку, в которой он был ошибочно прочитан, чтобы вернуть исходные байты, а затем декодирует байты в кодировке, в которой они были записаны на самом деле. Он перебирает все сочетания UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 и Big5, оценивает каждый результат и показывает лучший вариант исправления вместе с ранжированным списком альтернатив.
Типичные сценарии
Разработчики используют его для исправления экспортов баз данных, CSV-файлов, тем писем, строк логов и ответов API, где буквы с диакритикой превратились в последовательности с Ã, для очистки текста, скопированного со страницы с неверным заголовком кодировки, и для поиска слоя в конвейере, который декодировал UTF-8 как Latin-1. Он также восстанавливает русский текст, отображаемый как Привет, и помогает убедиться, что исправление в коде действительно даёт нужные символы.
Поддерживаемые кодировки и шаблоны
Самый частый случай — UTF-8, прочитанный как Windows-1252 или Latin-1: é, ü, ’, “ и эмодзи вроде 😀. UTF-8, прочитанный как Windows-1251, даёт кириллические пары вроде Р и С, за которыми следуют символы. Дважды закодированный текст, когда повреждение произошло дважды, исправляется повторением шага UTF-8 до трёх раз. Ручные селекторы «Кодировать как» и «Декодировать как» охватывают однобайтовые кодировки в обоих направлениях; Shift_JIS, GB18030 и Big5 можно использовать только для декодирования.
Ловушки и ограничения
Исправление работает, только если ни один байт не был потерян. Вопросительные знаки и символы замены U+FFFD в испорченном тексте восстановить нельзя, а текст, на каком-то этапе преобразованный с потерями, остаётся повреждённым. Автоматический выбор — это эвристика, основанная на буквах, частых словах и типичных последовательностях mojibake, поэтому очень короткие строки могут быть неоднозначными: проверьте таблицу альтернатив или используйте ручные селекторы. Корректный текст остаётся без изменений, а ввод ограничен 1 000 000 символов.