اصلاحکننده Mojibake: ترمیم متن خراب
متن خراب
متن اصلاحشده
تبدیل دستی
مجموعه نویسههای تکبایتی و UTF-8 را میتوان در هر دو طرف استفاده کرد. Shift_JIS، GB18030 و Big5 فقط برای رمزگشایی هستند.
جزئیات فنی
اصلاحکننده Mojibake چگونه کار میکند
اصلاحکننده Mojibake چه کاری انجام میدهد
Mojibake متنی است که با یک کدگذاری نویسه نوشته و با کدگذاری دیگری خوانده شده است، بهطوری که «é» بهصورت «Ã©» و آپوستروف تایپوگرافیک بهصورت «â€™» نمایش داده میشود. این ابزار اشتباه را معکوس میکند: متن شما را با مجموعه نویسهای که به اشتباه با آن خوانده شده دوباره کدگذاری میکند تا بایتهای اصلی بازیابی شوند و سپس آن بایتها را با مجموعه نویسهای که واقعاً در آن بودهاند رمزگشایی میکند. همه ترکیبهای UTF-8، Windows-1252، ISO-8859-1، Windows-1251، KOI8-R، ISO-8859-2، Shift_JIS، GB18030 و Big5 را امتحان میکند، هر نتیجه را امتیاز میدهد و بهترین اصلاح را همراه با فهرستی رتبهبندیشده از جایگزینها نشان میدهد.
موارد استفاده رایج
توسعهدهندگان از آن برای ترمیم خروجیهای پایگاه داده، فایلهای CSV، موضوع ایمیلها، خطوط لاگ و پاسخهای API که در آنها حروف تلفظدار به دنبالههای à تبدیل شدهاند، برای پاکسازی متنی که از صفحهای با هدر charset اشتباه کپی شده و برای تشخیص اینکه کدام لایه در یک پایپلاین UTF-8 را بهصورت Latin-1 رمزگشایی کرده استفاده میکنند. همچنین متن روسی نمایشدادهشده بهصورت Привет را بازیابی میکند و به تأیید اینکه اصلاحی در کد واقعاً نویسههای موردنظر را تولید میکند کمک میکند.
کدگذاریها و الگوهای پشتیبانیشده
رایجترین حالت UTF-8 است که بهصورت Windows-1252 یا Latin-1 خوانده شده: é، ü، ’، “ و ایموجیهایی مانند 😀. UTF-8 که بهصورت Windows-1251 خوانده شود، جفتهای سیریلیک مانند Р و С را به دنبال نمادها تولید میکند. متن دوباره کدگذاریشده، که آسیب دو بار رخ داده، با تکرار گام UTF-8 تا سه بار ترمیم میشود. انتخابگرهای دستی کدگذاری بهصورت و رمزگشایی بهصورت مجموعه نویسههای تکبایتی را در هر دو جهت پوشش میدهند؛ Shift_JIS، GB18030 و Big5 فقط برای رمزگشایی قابل استفادهاند.
نکات احتیاطی و محدودیتها
ترمیم فقط وقتی کار میکند که هیچ بایتی از دست نرفته باشد. علامتهای سؤال و نویسههای جایگزین U+FFFD در متن خراب قابل بازیابی نیستند و متنی که در مرحلهای با افت تبدیل شده آسیبدیده باقی میماند. انتخاب خودکار یک روش اکتشافی بر پایه حروف، واژههای رایج و دنبالههای معمول mojibake است، بنابراین رشتههای بسیار کوتاه ممکن است مبهم باشند: جدول جایگزینها را بررسی کنید یا از انتخابگرهای دستی استفاده کنید. متن درست بدون تغییر میماند و ورودی به ۱٬۰۰۰٬۰۰۰ نویسه محدود است.