Fejlfyldt AI bekymrer forskere: Troede skildpadde var en riffel

Algoritmer får stadigt flere opgaver i forskellige sammenhænge som eksempelvis i selvkørende bilers sensorer.

Ved at manipulere få pixels i et billede af en skildpadde er det lykkedes AI-forskergruppen LabSix fra MIT at snyde Googles billedgenkendelse til at tro, at en plastskildpadde var en riffel.

Læs også: Version2 vs. ITU's StarCraft AI: Deep learning giver en helt anden spiloplevelse

»Det her beviser endeligt, at såkaldt kontradiktoriske billeder er et reelt problem, der kan påvirke virkelige systemer. Og at vi er nødt til at finde en måde at beskytte os mod dem på,« siger forsker hos LabSix Anish Athalye til Motherboard.

Læs også: Forskere og tech-giganter: 10 nødvendige regler før verden er klar til kunstig intelligens

Indtil nu har kontradiktoriske eksempler ellers kun været en teoretisk trussel mod teknologien.

Et såkaldt kontradiktorisk eksempel er et billede, der bevidst er ændret på en bestemt måde for at snyde og vildlede en algoritme. Forsøget på MIT er det første, der har haft succes med at få en AI til at genkende et virkeligt objekt, i dette tilfælde en skildpadde af plastic, med en riffel.

Kan udnyttes på mange måder

I skrivende stund er alverdens hardwarefirmaer ved at integrere diverse genkendelsesalgoritmer i deres udstyr. Ansigtsgenkendelse, stemmegenkendelse og diverse medicinsk udstyr bruger alle AI-algoritmer.

Læs også: Billedanalyse finder huller og problemer på hollandske veje og kanaler

Og det åbner op for en lang række muligheder for, at svagheden over for ændrede objekter kan udnyttes, hvis man kender det system, man vil snyde, skriver Motherboard.

Læs også: Skat: Nu inddriver vi mere gæld, end vi gjorde med EFI

Man kan eksempelvis snyde sig gennem kontrollen i lufthavnen med en nøje designet kuffert, eller selvkørende biler kan snydes til at overse fodgængere eller bytte rundt på, hvilke objekter der er hvad på kørebanen.

Ifølge LabSix er netop selvkørende biler et oplagt mål. Hastighedsgraderne på skiltene kan ændres, eller en fodgænger kan bevidst ændres til en brandhane, hvorfor bilen ikke vil forudse, at vedkommende er på vej ud på vejen.

Læs også: Dansk maskinlæring kan eftersøge mennesker, skibe og ting på havet med droner

»Flere og flere systemer i den virkelige verden vil begynde at gøre brug af denne form for teknologi, og derfor er vi nødt til at forstå, hvad det er, der går galt, og gøre den mere robust,« siger Anish Athalye til Motherboard.

3D-printet skildpadde

Efter omkring 1.000 timers arbejde lykkedes det forskerholdet at printe en skildpadde med en grafisk algoritme. Uanset hvilken vinkel Googles billedgenkendelse så den modificerede skildpadde fra, identificerede den skildpadden som en riffel.

Læs også: Putin: Det land, der vinder AI-kapløbet, vil ‘herske over verden’

For at kontrollere forsøget printede forskerne en anden skildpadde med præcis samme form, men med et mønster, der ikke var modificeret efter holdets algoritme.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (2)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Claus Wøbbe

Det er da blot et udtryk for, at AI'en ikke er trænet godt nok - det er så at sige en børne-AI.

Jeg gætter på mange læsere fejlagtigt tolkede billedet som en skildpadde - selvom det i virkeligheden var et plastikobjekt, der skulle ligne en skildpadde...

Log ind eller Opret konto for at kommentere