Izvleci URL-je / e-pošto / IP-je

Kako deluje izvlečevalnik URL-jev/e-poštnih naslovov/IP-jev

Kaj orodje počne

Orodje Extractor pregleda blok besedila in iz njega izlušči vse URL-je, e-poštne naslove in IP-naslove, ki jih najde, ter vsako kategorijo prikaže kot dedupliciran seznam, ki ga je mogoče kopirati. To prihrani ročni napor pri pregledovanju dnevnikov, dokumentov ali izvorne kode HTML za določene vzorce in je še posebej uporabno pri varnostni analizi, čiščenju podatkov in potekih revizije vsebine.

Pogosti primeri uporabe za razvijalce

Varnostni analitiki iz požarnih zidov izluščijo IP-je in URL-je iz dnevnikov, poročil o zlonamerni programski opremi in phishing e-pošte, da sestavijo sezname IoC. Razvijalci ga uporabljajo za izluščenje vseh hiperpovezav iz zajete spletne strani, izluščenje e-poštnih naslovov iz izvoza CSV ali iskanje vseh IP-naslovov, omenjenih v konfiguracijski datoteki. Uredniki vsebin ga uporabljajo za revizijo zunanjih povezav v dokumentaciji pred objavo.

Podatkovni formati, tipi ali različice

Orodje uporablja regularne izraze za ujemanje URL-jev HTTP in HTTPS (vključno s tistimi z nizi poizvedb in fragmenti), e-poštnih naslovov v slogu RFC 5322 (local-part@domain), naslovov IPv4 v pikasto-decimalnem zapisu in naslovov IPv6 v standardnem zapisu z dvopičji in šestnajstiškimi vrednostmi. Defangane različice (npr. hxxps:// ali 192[.]168[.]1[.]1) morda ne bodo samodejno zaznane — najprej jih fangajte z orodjem Defang/Fang.

Pogoste pasti in robni primeri

Izluščanje na osnovi regexov lahko povzroči lažne zadetke (npr. številke različic, kot je 1.2.3.4, se ujemajo kot IP-ji) in lažne izpuste (nenavadni TLD-ji ali internacionalizirana domenska imena so lahko spregledana). Zelo dolgi URL-ji s kompleksnimi nizi poizvedb so lahko odrezani pri znakih meje besede. Pred uporabo v avtomatiziranih sistemih vedno pregledajte izluščene rezultate.

Kdaj uporabiti to orodje namesto kode

To orodje v brskalniku uporabite za hitro ad-hoc izluščanje iz prilepljenega besedila. Za množično obdelavo datotek ali tokov uporabite namenske knjižnice, kot sta iocextract ali urlextract (Python), ali pa zgradite cevovod z grep in standardnimi regexi, da je izluščanje ponovljivo in revidabilno.