DevToys Web Pro iconDevToys Web ProБлог
Оцініть нас:
Спробуйте розширення для браузера:

Виправлення кракозябрів: відновлення спотвореного тексту

Спотворений текст

Виправлений текст

  • Ручне перетворення

    Кодувати як
    Декодувати як

    Однобайтові кодування та UTF-8 можна використовувати з обох боків. Shift_JIS, GB18030 і Big5 підтримують лише декодування.

    Технічні деталі

    Як працює виправлення кракозябрів

    Що робить виправлення кракозябрів

    Mojibake (кракозябри) — це текст, записаний в одному кодуванні, а прочитаний в іншому, через що «é» перетворюється на «Ã©», а типографський апостроф — на «â€™». Інструмент відтворює помилку навпаки: перекодовує ваш текст кодуванням, яким його помилково прочитали, щоб відновити початкові байти, а потім декодує ці байти кодуванням, у якому вони були насправді. Він пробує всі комбінації UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 і Big5, оцінює кожен результат і показує найкраще виправлення разом зі списком альтернатив за рейтингом.

    Типові сценарії використання

    Розробники використовують його, щоб виправляти експорти баз даних, файли CSV, теми листів, рядки логів і відповіді API, де літери з діакритикою перетворилися на послідовності Ã, очищати текст, скопійований зі сторінки з неправильним заголовком кодування, і з’ясовувати, який шар конвеєра декодував UTF-8 як Latin-1. Він також відновлює російський текст, що відображається як Привет, і допомагає перевірити, що виправлення в коді справді дає потрібні символи.

    Підтримувані кодування та шаблони

    Найпоширеніший випадок — UTF-8, прочитаний як Windows-1252 або Latin-1: é, ü, ’, “ та емодзі на кшталт 😀. UTF-8, прочитаний як Windows-1251, дає кириличні пари на кшталт Р і С, за якими йдуть символи. Текст із подвійним кодуванням, де пошкодження сталося двічі, відновлюється повторенням кроку UTF-8 до трьох разів. Ручні селектори «Кодувати як» і «Декодувати як» охоплюють однобайтові кодування в обох напрямках; Shift_JIS, GB18030 і Big5 можна використовувати лише для декодування.

    Підводні камені та обмеження

    Відновлення працює лише тоді, коли жодні байти не втрачено. Знаки питання та символи заміни U+FFFD у спотвореному тексті відновити неможливо, а текст, перетворений із втратами на якомусь етапі, залишається пошкодженим. Автоматичний вибір — це евристика на основі літер, поширених слів і типових послідовностей mojibake, тому дуже короткі рядки можуть бути неоднозначними: перегляньте таблицю альтернатив або скористайтеся ручними селекторами. Правильний текст залишається без змін, а вхідні дані обмежено 1 000 000 символів.