DevToys Web Pro iconDevToys Web Proבלוג
דרגו אותנו:
נסו את תוסף הדפדפן:

מתקן Mojibake: תיקון טקסט משובש

טקסט משובש

טקסט מתוקן

  • המרה ידנית

    קודד כ
    פענח כ

    ערכות תווים של בייט יחיד ו-UTF-8 ניתנות לשימוש בשני הצדדים. Shift_JIS, GB18030 ו-Big5 מיועדות לפענוח בלבד.

    פרטים טכניים

    איך פועל מתקן Mojibake

    מה עושה מתקן Mojibake

    Mojibake הוא טקסט שנכתב בקידוד תווים אחד ונקרא באחר, כך ש-"é" מופיע כ-"é" וגרש מעוקל מופיע כ-"’". הכלי הופך את הטעות: הוא מקודד מחדש את הטקסט בערכת התווים שבה נקרא בטעות כדי לשחזר את הבתים המקוריים, ואז מפענח את הבתים בערכת התווים שבה היו באמת. הוא מנסה כל שילוב של UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 ו-Big5, מדרג כל תוצאה ומציג את התיקון הטוב ביותר עם רשימה מדורגת של חלופות.

    מקרי שימוש נפוצים

    מפתחים משתמשים בו לתיקון ייצואי מסדי נתונים, קובצי CSV, נושאי אימייל, שורות לוג ותגובות API שבהם סימני הדגש הפכו לרצפי Ã, לניקוי טקסט שהועתק מדף שהוגש עם כותרת charset שגויה, ולאבחון איזו שכבה בצינור פענחה UTF-8 כ-Latin-1. הוא גם משחזר טקסט רוסי שמוצג כ-Привет ועוזר לוודא שתיקון בקוד אכן מפיק את התווים המיועדים.

    קידודים ותבניות נתמכים

    המקרה הנפוץ ביותר הוא UTF-8 שנקרא כ-Windows-1252 או Latin-1: é, ü, ’, “ ואימוג'י כמו 😀. UTF-8 שנקרא כ-Windows-1251 מפיק זוגות קיריליים כמו Р ו-С ואחריהם סמלים. טקסט בקידוד כפול, שבו הנזק קרה פעמיים, מתוקן על ידי חזרה על שלב UTF-8 עד שלוש פעמים. הבוררים הידניים קודד כ ופענח כ מכסים ערכות תווים של בייט יחיד בשני הכיוונים; Shift_JIS, GB18030 ו-Big5 ניתנות לשימוש לפענוח בלבד.

    מלכודות ומגבלות

    התיקון עובד רק כשלא אבדו בתים. סימני שאלה ותווי החלפה U+FFFD בטקסט המשובש אינם ניתנים לשחזור, וטקסט שהומר באובדן בשלב כלשהו נשאר פגום. הבחירה האוטומטית היא היוריסטיקה המבוססת על אותיות, מילים נפוצות ורצפי mojibake אופייניים, ולכן מחרוזות קצרות מאוד עלולות להיות דו-משמעיות: בדקו את טבלת החלופות או השתמשו בבוררים הידניים. טקסט תקין נשאר ללא שינוי, והקלט מוגבל ל-1,000,000 תווים.