تشخیص و حذف نویسههای نامرئی
متن
خلاصه
نویسه نامرئی یافت نشد.
نمایش بصری
حذف دستهها
خروجی پاکشده
جزئیات فنی
آشکارساز نویسههای نامرئی چگونه کار میکند
این ابزار چه کاری انجام میدهد
این ابزار متن را برای یافتن نقاط کد Unicode که هیچ نگاره قابلمشاهدهای نمایش نمیدهند اسکن میکند و هر کدام را با کد U+، نام رسمی، موقعیت و تعداد به تفکیک نوع فهرست میکند. این ابزار فاصله با پهنای صفر (U+200B)، غیرچسبان و چسبان با پهنای صفر (U+200C، U+200D)، word joiner (U+2060)، نشانه ترتیب بایت (U+FEFF)، خطتیره نرم (U+00AD)، فاصلههای ناشکن و دیگر فاصلههای غیرمعمول (U+00A0، U+2007، U+202F)، جداکنندههای خط و بند، و کنترلهای دوطرفه (U+202A–U+202E، U+2066–U+2069) را تشخیص میدهد. میتوانید آنها را درون متن آشکار کنید و همه یا فقط دستههای انتخابشده را حذف کنید. پردازش بهصورت محلی در مرورگر انجام میشود.
موارد استفادهٔ رایج برای توسعهدهندگان
توسعهدهندگان از آن برای یافتن فاصله با پهنای صفر که مقایسه رشتهها را ناموفق میکند، کلید API یا گذرواژهای که مطابقت ندارد، فایل JSON که بهدلیل BOM تجزیه نمیشود، یا سرستون CSV که یکسان به نظر میرسد اما نیست استفاده میکنند. نویسندگان و ویراستاران متن کپیشده از صفحات وب، PDF و ابزارهای گفتوگو را پاکسازی میکنند. بازبینهای امنیتی کد منبع و pull requestها را برای کنترلهای bidi حمله Trojan Source (CVE-2021-42574) و ترفندهای homoglyph اسکن میکنند. همچنین برای پاکسازی متن دستیارهای هوش مصنوعی که نویسههای پراکنده با پهنای صفر یا فاصلههای ناشکن دارد، پیش از چسباندن در CMS، صفحهگسترده یا ترمینال به کار میرود.
دستههای نویسه
نویسهها در چند گروه قرار میگیرند: نویسههای با پهنای صفر (U+200B–U+200D، U+2060، U+FEFF)، انواع فاصله (NBSP U+00A0، فاصلههای en و em از U+2000 تا U+200A، NBSP باریک U+202F، فاصله ایدئوگرافیک U+3000)، کنترلهای قالببندی (خطتیره نرم U+00AD، جداکنندههای نامرئی U+2061 تا U+2064)، کنترلهای دوطرفه (LRE، RLE، PDF، LRO، RLO، LRI، RLI، FSI، PDI)، و نویسههای کنترلی غیرقابلچاپ از محدودههای C0 و C1. برخی معنادارند: ZWJ دنبالههای اموجی را به هم وصل میکند و ZWNJ در املای فارسی و هندی لازم است.
دامهای رایج و حالتهای لبهای
حذف همهچیز همیشه درست نیست: حذف ZWJ اموجیهایی مانند دنبالههای خانواده یا پرچم را خراب میکند و حذف ZWNJ کلمات را در خطهای فارسی، عربی و هندی تغییر میدهد. بهجای حذف NBSP آن را با فاصله معمولی جایگزین کنید، وگرنه کلمات به هم میچسبند. حذف BOM ابتدای فایل اغلب در سطح فایل بهتر است. ابزارهای trim و نرمالسازی نویسههای با پهنای صفر را حذف نمیکنند و homoglyphها (سیریلیک بهجای a لاتین) نویسههای قابلمشاهدهاند، پس به بررسی جداگانه نیاز دارند. برای escape کردن متن Text Escape را ببینید؛ برای شمارش Text Analyzer را ببینید.