Επιδιορθωτής mojibake: επισκευή αλλοιωμένου κειμένου
Αλλοιωμένο κείμενο
Διορθωμένο κείμενο
Μη αυτόματη μετατροπή
Τα σύνολα χαρακτήρων ενός byte και το UTF-8 μπορούν να χρησιμοποιηθούν και στις δύο πλευρές. Τα Shift_JIS, GB18030 και Big5 χρησιμοποιούνται μόνο για αποκωδικοποίηση.
Τεχνικές λεπτομέρειες
Πώς λειτουργεί ο επιδιορθωτής mojibake
Τι κάνει ο επιδιορθωτής mojibake
Το mojibake είναι κείμενο που γράφτηκε σε μία κωδικοποίηση χαρακτήρων και διαβάστηκε σε άλλη, ώστε το «é» εμφανίζεται ως «Ã©» και ένας τυπογραφικός απόστροφος ως «â€™». Το εργαλείο αναιρεί το λάθος: κωδικοποιεί ξανά το κείμενό σας με το σύνολο χαρακτήρων με το οποίο διαβάστηκε εσφαλμένα για να ανακτήσει τα αρχικά byte και στη συνέχεια αποκωδικοποιεί αυτά τα byte με το σύνολο χαρακτήρων στο οποίο ήταν πραγματικά. Δοκιμάζει κάθε συνδυασμό UTF-8, Windows-1252, ISO-8859-1, Windows-1251, KOI8-R, ISO-8859-2, Shift_JIS, GB18030 και Big5, βαθμολογεί κάθε αποτέλεσμα και εμφανίζει την καλύτερη διόρθωση με μια ταξινομημένη λίστα εναλλακτικών.
Συνηθισμένες περιπτώσεις χρήσης
Οι προγραμματιστές το χρησιμοποιούν για να επισκευάσουν εξαγωγές βάσεων δεδομένων, αρχεία CSV, θέματα email, γραμμές log και απαντήσεις API όπου οι τόνοι έγιναν ακολουθίες με Ã, για να καθαρίσουν κείμενο που αντιγράφηκε από σελίδα με λάθος κεφαλίδα charset και για να διαγνώσουν ποιο επίπεδο μιας pipeline αποκωδικοποίησε UTF-8 ως Latin-1. Επαναφέρει επίσης ρωσικό κείμενο που εμφανίζεται ως Привет και βοηθά να επαληθευτεί ότι μια διόρθωση στον κώδικα παράγει πράγματι τους επιθυμητούς χαρακτήρες.
Υποστηριζόμενες κωδικοποιήσεις και μοτίβα
Η συνηθέστερη περίπτωση είναι το UTF-8 που διαβάστηκε ως Windows-1252 ή Latin-1: é, ü, ’, “ και emoji όπως 😀. Το UTF-8 που διαβάστηκε ως Windows-1251 παράγει κυριλλικά ζεύγη όπως Р και С ακολουθούμενα από σύμβολα. Το κείμενο με διπλή κωδικοποίηση, όπου η φθορά έγινε δύο φορές, επισκευάζεται επαναλαμβάνοντας το βήμα UTF-8 έως τρεις φορές. Οι χειροκίνητοι επιλογείς Κωδικοποίηση ως και Αποκωδικοποίηση ως καλύπτουν σύνολα χαρακτήρων ενός byte και προς τις δύο κατευθύνσεις· τα Shift_JIS, GB18030 και Big5 χρησιμοποιούνται μόνο για αποκωδικοποίηση.
Παγίδες και όρια
Η επισκευή λειτουργεί μόνο όταν δεν έχουν χαθεί byte. Τα ερωτηματικά και οι χαρακτήρες αντικατάστασης U+FFFD στο αλλοιωμένο κείμενο δεν μπορούν να ανακτηθούν και το κείμενο που μετατράπηκε με απώλειες σε κάποιο στάδιο παραμένει κατεστραμμένο. Η αυτόματη επιλογή είναι ευρετική βασισμένη σε γράμματα, κοινές λέξεις και τυπικές ακολουθίες mojibake, επομένως πολύ σύντομες συμβολοσειρές μπορεί να είναι διφορούμενες: ελέγξτε τον πίνακα εναλλακτικών ή χρησιμοποιήστε τους χειροκίνητους επιλογείς. Το σωστό κείμενο μένει αμετάβλητο και η είσοδος περιορίζεται σε 1.000.000 χαρακτήρες.