Ištraukti URL / el. paštus / IP

Kaip veikia URL / el. pašto / IP ištraukiklis

Ką daro įrankis

Ištraukiklio įrankis nuskenuoja teksto bloką ir ištraukia visus rastus URL, el. pašto adresus ir IP adresus, pateikdamas kiekvieną kategoriją kaip deduplikuotą, kopijuojamą sąrašą. Tai sutaupo rankinio darbo, kai reikia peržiūrėti žurnalus, dokumentus ar HTML šaltinį ieškant konkrečių šablonų, ir ypač praverčia saugumo analizėje, duomenų valyme bei turinio audito darbo eigose.

Dažniausi kūrėjų naudojimo atvejai

Saugumo analitikai ištraukia IP ir URL iš ugniasienių žurnalų, kenkėjiškų programų ataskaitų ir sukčiavimo el. laiškų, kad sudarytų IoC sąrašus. Kūrėjai naudoja jį visoms hipersaitėms iš iškrapštyto tinklalapio ištraukti, el. pašto adresams iš CSV eksporto išgauti arba visiems IP adresams, paminėtiems konfigūracijos faile, rasti. Turinio redaktoriai naudoja jį išorinių nuorodų auditui dokumentacijoje prieš publikavimą.

Duomenų formatai, tipai arba variantai

Įrankis naudoja reguliariąsias išraiškas, kad atpažintų HTTP ir HTTPS URL (įskaitant turinčius užklausos eilutes ir fragmentus), RFC 5322 stiliaus el. pašto adresus (local-part@domain), IPv4 adresus taškuotos dešimtainės notacijos formatu ir IPv6 adresus standartine dvitaškių šešioliktainės notacijos forma. Defangintos atmainos (pvz., hxxps:// arba 192[.]168[.]1[.]1) gali būti automatiškai neaptinkamos — pirmiausia jas fanguokite naudodami „Defang/Fang“ įrankį.

Dažniausios klaidos ir kraštiniai atvejai

Regex pagrįstas ištraukimas gali duoti klaidingų teigiamų rezultatų (pvz., versijų numeriai kaip 1.2.3.4 gali būti atpažinti kaip IP) ir klaidingų neigiamų rezultatų (neįprasti TLD ar internacionalizuoti domenų vardai gali būti praleisti). Labai ilgi URL su sudėtingomis užklausos eilutėmis gali būti sutrumpinti ties žodžio ribos simboliais. Prieš naudodami ištrauktus rezultatus automatizuotose sistemose, visada juos peržiūrėkite.

Kada naudoti šį įrankį, o kada kodą

Naudokite šį naršyklės įrankį greitam ad hoc ištraukimui iš įklijuoto teksto. Masiniam failų ar srautų apdorojimui naudokite specializuotas bibliotekas, pvz., iocextract arba urlextract (Python), arba sukurkite vamzdyną su grep ir standartinėmis regex, kad ištraukimas būtų atkartojamas ir audituojamas.