Виправлення кракозябрів: відновлення спотвореного тексту
Спотворений текст
Виправлений текст
Ручне перетворення
Однобайтові кодування та UTF-8 можна використовувати з обох боків. Shift_JIS, GB18030 і Big5 підтримують лише декодування.
Технічні деталі
Як працює виправлення кракозябрів
Що робить виправлення кракозябрів
Mojibake (кракозябри) — це текст, записаний в одному кодуванні, а прочитаний в іншому, через що «é» перетворюється на «Ã©», а типографський апостроф — на «â€™». Інструмент відтворює помилку навпаки: перекодовує ваш текст кодуванням, яким його помилково прочитали, щоб відновити початкові байти, а потім декодує ці байти кодуванням, у якому вони були насправді. Він пробує всі комбінації UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 і Big5, оцінює кожен результат і показує найкраще виправлення разом зі списком альтернатив за рейтингом.
Типові сценарії використання
Розробники використовують його, щоб виправляти експорти баз даних, файли CSV, теми листів, рядки логів і відповіді API, де літери з діакритикою перетворилися на послідовності Ã, очищати текст, скопійований зі сторінки з неправильним заголовком кодування, і з’ясовувати, який шар конвеєра декодував UTF-8 як Latin-1. Він також відновлює російський текст, що відображається як Привет, і допомагає перевірити, що виправлення в коді справді дає потрібні символи.
Підтримувані кодування та шаблони
Найпоширеніший випадок — UTF-8, прочитаний як Windows-1252 або Latin-1: é, ü, ’, “ та емодзі на кшталт 😀. UTF-8, прочитаний як Windows-1251, дає кириличні пари на кшталт Р і С, за якими йдуть символи. Текст із подвійним кодуванням, де пошкодження сталося двічі, відновлюється повторенням кроку UTF-8 до трьох разів. Ручні селектори «Кодувати як» і «Декодувати як» охоплюють однобайтові кодування в обох напрямках; Shift_JIS, GB18030 і Big5 можна використовувати лише для декодування.
Підводні камені та обмеження
Відновлення працює лише тоді, коли жодні байти не втрачено. Знаки питання та символи заміни U+FFFD у спотвореному тексті відновити неможливо, а текст, перетворений із втратами на якомусь етапі, залишається пошкодженим. Автоматичний вибір — це евристика на основі літер, поширених слів і типових послідовностей mojibake, тому дуже короткі рядки можуть бути неоднозначними: перегляньте таблицю альтернатив або скористайтеся ручними селекторами. Правильний текст залишається без змін, а вхідні дані обмежено 1 000 000 символів.