Izdvajanje URL-ova / e-mailova / IP adresa

Kako funkcioniše ekstraktor URL-ova/email adresa/IP adresa

Šta alat radi

Alat Ekstraktor skenira blok teksta i izdvaja sve URL-ove, email adrese i IP adrese koje pronađe, prikazujući svaku kategoriju kao deduplikovanu listu koju je moguće kopirati. Ovo štedi ručni napor pretraživanja logova, dokumenata ili HTML izvora za određene obrasce i posebno je korisno u bezbednosnoj analizi, čišćenju podataka i tokovima revizije sadržaja.

Uobičajeni slučajevi upotrebe za programere

Bezbednosni analitičari izdvajaju IP adrese i URL-ove iz logova firewall-a, izveštaja o malveru i phishing emailova kako bi napravili liste IoC-ova. Programeri ga koriste da izvuku sve hiperlinkove sa skrejpovane web stranice, izdvoje email adrese iz CSV izvoza ili pronađu sve IP adrese pomenute u konfiguracionom fajlu. Urednici sadržaja ga koriste da provere spoljne linkove u dokumentaciji pre objavljivanja.

Formati podataka, tipovi ili varijante

Alat koristi regularne izraze za prepoznavanje HTTP i HTTPS URL-ova (uključujući one sa query string-ovima i fragmentima), email adresa u RFC 5322 stilu (local-part@domain), IPv4 adresa u tačkasto-decimalnoj notaciji i IPv6 adresa u standardnoj notaciji sa dvotačkama i heksadecimalnim zapisom. Defangovane varijante (npr. hxxps:// ili 192[.]168[.]1[.]1) možda neće biti automatski detektovane — prvo ih fangujte pomoću alata Defang/Fang.

Uobičajene greške i rubni slučajevi

Ekstrakcija zasnovana na regex-u može da proizvede lažno pozitivne rezultate (npr. brojevi verzija poput 1.2.3.4 prepoznati kao IP adrese) i lažno negativne rezultate (neobični TLD-ovi ili internacionalizovana imena domena mogu biti propušteni). Veoma dugački URL-ovi sa složenim query string-ovima mogu biti skraćeni na znakovima granice reči. Uvek pregledajte izdvojene rezultate pre nego što ih koristite u automatizovanim sistemima.

Kada koristiti ovaj alat umesto koda

Koristite ovaj alat u pregledaču za brzo ad-hoc izdvajanje iz nalepljenog teksta. Za masovnu obradu fajlova ili tokova, koristite namenski biblioteke kao što su iocextract ili urlextract (Python) ili napišite pipeline sa grep-om i standardnim regex-om kako bi ekstrakcija bila ponovljiva i proverljiva.