10-09-2022, 10:42 PM
Evo odgovora 2 u 1 - za Ivana i Yodu 
Sto se tice detekcije:
Machine learning model je treniran na jako malom broju sajtova ~2.5k i dataset je star (iz '95), ali je dovoljno dobar za proof of concept (citaj nisam nasao bolji):
https://archive.ics.uci.edu/ml/datasets/...g+websites
Ocekivano je da ce imati false positives, tj. sajtove za koje ce da misli da su sumnjivi, iako zapravo nisu. F1 score za model je 0.905 (90,5% accuracy).
Definitivno bi se accuracy mogao podici ukoliko bi se napravio veci i moderniji dataset, ali takvo prikupljanje podataka zahteva resorse i vreme.
Machine learning model je sacuvan u samoj extenziji u .json formatu. Ovaj model je odgovoran za notifikaciju tj. popup koji vam iskace:
https://github.com/Omodaka9375/DeepPhish...ifier.json
Featuri koje ML algoritam analizira su opisani u ovom papiru po kojem je celo resenje radjeno. Ovde su verovatno detalji koji vas najvise zanimaju:
https://github.com/Omodaka9375/DeepPhish...tures.docx
Pored ML modela radi se i non-ml analiza elemenata sajta koji se posecuje i svakom sajtu se na osnovu prisutnih featura u kodu dodeljuje score i tagovi u semafor bojama.
Oni ukazuju direktno na razloge zbog kojih je neki sajt dobio losu ocenu i notifikaciju od plugina da je 'suspicious'. Ovaj deo doprinosi transparentnosti i razumevanju samog algoritma (nije black box).
Evo fajla koji radi analizu strukture svakog sajta bas po gore pomenutom dokumentu.
https://github.com/Omodaka9375/DeepPhish...eatures.js
Svi su ovi fajlovi su unutar same extenzije tako da detekcija, skorovanje i analiza se rade iskljucivo lokalno i nema nikakvih requestova ka bilo kakvoj bazi ili serveru.
Sto se tice inspekcije:
Jedan deo je inspekcija live network trafika, crtanje dijagrama konekcija, trazenje adova, robota, cookies-a, iframe test itd. dok za druge su potrebni APIji, koji se btw stalno menjaju.
Na primer, Screenshots API je prestao da radi, pa sam morao da menjam 3rd party API provajdere nekoliko puta.
Konkretno, HackerTarget ima najvise endpointa sa skoro svim infoima koji su potrebni, ali je i najskuplji. Evo koji se sve requestovi prave i za sta od strane extenzije:
- GeoIP: http://ip-api.com/
- Whois: https://api.hackertarget.com/whois/
- Subdomain search: https://api.hackertarget.com/hostsearch/
- DNSLookup: https://api.hackertarget.com/dnslookup/
- PageArchive: http://archive.org/wayback/
- DomainReputation: https://domain-reputation.whoisxmlapi.com/
- PhishTank: https://checkurl.phishtank.com/checkurl/
- Google SafeBrowsing: https://safebrowsing.googleapis.com/v4/threatMatches
Sav kod je open source i namerno sam ostavio da svako unese svoje kljuceve. Poenta ovog projekta je da se pokaze da se cak i ovakav software moze napraviti sa privatnoscu na umu i bez deljenja podataka sa sumnjivim kompanijama koje pre ili kasnije budu breach-ovane.
Pozdrav
Sto se tice detekcije:
Machine learning model je treniran na jako malom broju sajtova ~2.5k i dataset je star (iz '95), ali je dovoljno dobar za proof of concept (citaj nisam nasao bolji):
https://archive.ics.uci.edu/ml/datasets/...g+websites
Ocekivano je da ce imati false positives, tj. sajtove za koje ce da misli da su sumnjivi, iako zapravo nisu. F1 score za model je 0.905 (90,5% accuracy).
Definitivno bi se accuracy mogao podici ukoliko bi se napravio veci i moderniji dataset, ali takvo prikupljanje podataka zahteva resorse i vreme.
Machine learning model je sacuvan u samoj extenziji u .json formatu. Ovaj model je odgovoran za notifikaciju tj. popup koji vam iskace:
https://github.com/Omodaka9375/DeepPhish...ifier.json
Featuri koje ML algoritam analizira su opisani u ovom papiru po kojem je celo resenje radjeno. Ovde su verovatno detalji koji vas najvise zanimaju:
https://github.com/Omodaka9375/DeepPhish...tures.docx
Pored ML modela radi se i non-ml analiza elemenata sajta koji se posecuje i svakom sajtu se na osnovu prisutnih featura u kodu dodeljuje score i tagovi u semafor bojama.
Oni ukazuju direktno na razloge zbog kojih je neki sajt dobio losu ocenu i notifikaciju od plugina da je 'suspicious'. Ovaj deo doprinosi transparentnosti i razumevanju samog algoritma (nije black box).
Evo fajla koji radi analizu strukture svakog sajta bas po gore pomenutom dokumentu.
https://github.com/Omodaka9375/DeepPhish...eatures.js
Svi su ovi fajlovi su unutar same extenzije tako da detekcija, skorovanje i analiza se rade iskljucivo lokalno i nema nikakvih requestova ka bilo kakvoj bazi ili serveru.
Sto se tice inspekcije:
Jedan deo je inspekcija live network trafika, crtanje dijagrama konekcija, trazenje adova, robota, cookies-a, iframe test itd. dok za druge su potrebni APIji, koji se btw stalno menjaju.
Na primer, Screenshots API je prestao da radi, pa sam morao da menjam 3rd party API provajdere nekoliko puta.
Konkretno, HackerTarget ima najvise endpointa sa skoro svim infoima koji su potrebni, ali je i najskuplji. Evo koji se sve requestovi prave i za sta od strane extenzije:
- GeoIP: http://ip-api.com/
- Whois: https://api.hackertarget.com/whois/
- Subdomain search: https://api.hackertarget.com/hostsearch/
- DNSLookup: https://api.hackertarget.com/dnslookup/
- PageArchive: http://archive.org/wayback/
- DomainReputation: https://domain-reputation.whoisxmlapi.com/
- PhishTank: https://checkurl.phishtank.com/checkurl/
- Google SafeBrowsing: https://safebrowsing.googleapis.com/v4/threatMatches
Sav kod je open source i namerno sam ostavio da svako unese svoje kljuceve. Poenta ovog projekta je da se pokaze da se cak i ovakav software moze napraviti sa privatnoscu na umu i bez deljenja podataka sa sumnjivim kompanijama koje pre ili kasnije budu breach-ovane.
Pozdrav
“One of the symptoms of approaching nervous breakdown is the belief that one's work is terribly important"