10-11-2022, 12:36 AM
Sa moje strane je spremno, samo je potrebno prikupiti dataset velicine bar 10k sajtova (urlova) od kojih bi bilo dobro da su pola regularni, a druga polovina maliciozni sajtovi. Kako bi dataset bio balansiran.
Jedini limit kod lokalnog predvidjanja je velicina samog modela. Browseri tj. extenzije imaju limitiranu dostupnu memoriju, tako da sve sto je u nivoima stotina MB ili GB nije prakticno. Random Forest je samo varijacija Decision Tree-a algoritma koji je jako dobar i sa manjom kolicinom podataka i izvrsava se skoro linearno, sto znaci da je moguca predikcija u realnom vremenu, bez cekanja da model uradi neku kalkulaciju putem GPU. Da je u pitanju neki Deep Learning model, definitivno bi morao neki externi server da vozi model.
Padalo mi je na pamet da ubacim opcioni feature da moze rucno da se obelezi neki url kao problematican u samoj extenziji i to bi islo u neku bazu za treniranje novog modela.
Naravno ako neko vec ima gomilu malicioznih urlova to je jos lakse onda.
Jedini limit kod lokalnog predvidjanja je velicina samog modela. Browseri tj. extenzije imaju limitiranu dostupnu memoriju, tako da sve sto je u nivoima stotina MB ili GB nije prakticno. Random Forest je samo varijacija Decision Tree-a algoritma koji je jako dobar i sa manjom kolicinom podataka i izvrsava se skoro linearno, sto znaci da je moguca predikcija u realnom vremenu, bez cekanja da model uradi neku kalkulaciju putem GPU. Da je u pitanju neki Deep Learning model, definitivno bi morao neki externi server da vozi model.
Padalo mi je na pamet da ubacim opcioni feature da moze rucno da se obelezi neki url kao problematican u samoj extenziji i to bi islo u neku bazu za treniranje novog modela.
Naravno ako neko vec ima gomilu malicioznih urlova to je jos lakse onda.
“One of the symptoms of approaching nervous breakdown is the belief that one's work is terribly important"