Machine learning er en central del af flere videnskabelige modeller, der lover høje detektionsrater på op mod 99 procent i kampen mod phishing. Men som inden for alle andre områder er machine learning nem at snyde, og det efterlader metoderne næsten virkningsløse. Det gælder også de metoder, der danner grundlag for store, kommercielle antivirus-produkter,
»Detektion af angreb med kompleks maskinlæring er nok et af de største luftkasteller inden for IT-sikkerhed, som er skabt for nylig,« lyder det fra Thomas Kobber Panum, der som en del af sin ph.d. inden for it-sikkerhed har undersøgt og efterprøvet flere af maskinlærings-algoritmerne.
»Komplekse maskinlæringsmodeller har kendte sårbarheder, som stort set altid kan udnyttes, og vi har efter ti års forskning stadig ikke fundet løsningen.«
Fra 99 procents detektion til næsten 0
Ved at lave ganske små ændringer i angrebene fandt han og kollegerne på Aalborg Universitet ud af, at selv de mest velansete og citerede metoder til at opdage phishing-angreb havde en detektionsrate på tæt på nul procent, når man gik lidt til dem.
»Den store forskel i detektionen skyldes blandt andet, at de 99 procent nøjagtighed er målt på kendte angreb,« siger Thomas Kobber Panum.
»Vi omtaler tit it-sikkerhed som en katten-efter-musen-jagt. Men alligevel ser vi,at folk glemmer, at musen kan lave nye tricks. Det er den "uopmærksomhed" som vi har udnyttet i vores eksperimenter.«
Sår tvivl om effekten af kommercielle produkter
Thomas Kobber Panum fortæller, at de endnu ikke har haft mulighed for at se på nogle af de kommercielle løsninger, der bygger på de udfordrede teorier.
»Men vi kan se, at de fleste kommercielle løsninger til at opdage phishing generelt set er baseret på eller inspireret af de metoder vi har undersøgt,« siger Thomas Kobber Panum og nævner i den forbindelse WebShield fra Avast som et af flere eksempler.
»Det udbredte produkt er inspireret meget kraftigt af de metoder vi har angrebet og snydt,« lyder det fra den ph.d.-studerende, der henviser til en præsentation af WebShield på en sikkerhedskonference i Prag.
De sårbare algoritmer
Thomas Kobber Panums eksperimenter lægger sig i forlængelse af lignende forskning, som viser letheden ved at manipulere maskinlæringssystemer.
Algoritmer er generelt set meget sensitive over for små ubetydelige ændringer, som får algoritmerne til at overse det egentlige angreb eller problem, fortæller Thomas Kobber Panum:
»For eksempel er mørkerød og rød to næsten ens farver for mennesker, men for en computer findes der ikke, som udgangspunkt, nuancer.«
»Det er simpelthen enormt svært at genskabe den menneskelige opfattelse i en computer.«
