Googles video-AI kan snydes af skjulte budskaber om spaghetti

Et enkelt billede hvert andet sekund i en video er nok til at få Googles videoanalyse til at tro, at videoen kun handler om dét, det skjulte billede forestiller.

Video er et enormt vildnis af information, hvor søgemaskinerne lige nu kommer til kort og hovedsageligt er afhængige af mennesker, som beskriver, hvad videoen forestiller og handler om. Google arbejder på at bruge kunstig intelligens til at analysere eksempelvis de 300 timers video, som hvert sekund uploades til YouTube.

Men den kunstige intelligens er langt fra fejlfri.

En gruppe forskere fra University of Washington satte sig ifølge Vice Motherboard for at afprøve, hvordan Googles Cloud Video Intelligence API ville klare sig, hvis afsenderen af videoen havde skjulte intentioner.

Svaret, ifølge deres paper, er, at det er forholdsvis nemt at få Googles algoritme til at tro, at en video handler om noget helt andet, end det et menneske ville se.

En video om Jane Goodall og gorillaer blev eksempelvis fortolket til at handle om 'pasta' ifølge Google.

Algoritmer fokuserer på afvigende enkeltbilleder

Metoden var enkel. Uden at gå i detaljer om, hvordan subliminale budskaber påvirker mennesker eller ej, så brugte forskerne en klassisk tilgang og erstattede et enkeltbillede i filmsekvensen med et billede af noget andet.

Forskerne fandt frem til, at hvis man placerede det samme billede hvert andet sekund, eller for hver 50. billede i filmen, så ville Googles algoritme udelukkende fortolke indholdet af hele filmen på lige netop dette billede.

For filmen om gorillaer og et billede af en tallerken med spaghetti var Googles kunstige intelligens 99 procent sikker på, at filmen handlede om pasta. Alle de ord, algoritmen knyttede til filmklippet handlede om billedet af spaghettien.

Tilsvarende gjorde det sig gældende for tre andre fotos og i to andre filmsekvenser. Når Googles algoritme analyserede de originale filmklip uden de indsatte billeder, kunne algoritmen fortolke dem korrekt.

Ulovligt indhold kan skjules

Forskerne påpeger, at det gør et system, der forlader sig på denne automatiske analyse, sårbart, fordi det er muligt at få en videosekvens til at fremtræde over for algoritmen som én ting, men i virkeligheden forestiller den noget andet.

Det kunne eksempelvis bruges til at promovere et budskab ved at knytte sig til en aktuel begivenhed eller et populært emne, som mange vil søge efter. Eller det kunne skjule, at en video indeholder ulovligt eller anstødeligt indhold.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (9)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Anne-Marie Krogsbøll

Er løsningen ikke bare at Google randomiserer hvilke frames der analyseres, og så er det her "hack" pludselig enormt uinteressant?


Jeg går ud fra (er ikke fagmand), at problemstillingen i et vist omfang kan overføres til Dr. Watson? Ville denne løsning så kunne overføres til Watson Health? Her kan man vel ikke overlade til tilfældigheder, hvilke forskningsresultater, der skal tillægges vægt? Så hvordan får man sorteret uønsket (men måske bevidst indlagt) garbage-forskning fra der?

  • 2
  • 0
Martin Warming

Hvis algoritmen gør ud på at pille hvert 50 frame ud og analysere det , så jo.
Men hvis algoritmen indekser alle frames eller bare nogle under forskellige kategorier såsom : Gorilla, pasta, træer, person, pasta, gorilla2, huse, person2, pasta så vil det samme billede af pasta alle ryge i samme index da billedet ikke ændrer sig. Derfor vil pasta billedet vinde med en stor margin om hvad klippet handler om.
Det er sådan jeg forestiller mig det kunne foregå.

  • 3
  • 0
Andy Fischer

Basalt set er dette blot den velkendte garbage in - garbage out problematik, som var et af AIs banesår i den sidste hypebølge. Det er ikke lykkedes at løse denne problematik, og man har derfor i udbredt omfang arbejdet sig uden om den. Problemet er, at netop denne svaghed vil blive udnyttet til at snyde AIs i udpræget grad, efterhånden som de bliver sluppet fri i virkeligheden. AIs har også en del andre problemer, som skaber biases helt på linie med de menneskelige. Disse er ofte også nemmere at udnytte end de menneskelige, da der ikke er nogle socialt indlærte forsvarsmekanismer i AIs.

  • 2
  • 0
Jakob Jakobsen

Det underliggende problem er, at de små stikprøver Googles AI tager, ikke tager højde for de omkringliggende frames.

Nu tænker jeg bare højt, men kan man mon ikke relativt billigt detektere sceneskift ved at løbe alle frames igennem og beregne forskellen mellem to på hinanden følgende frames? Da kunne man i stedet for fast at checke indholdet hver andet sekund checke efter hvert sceneskift, samt tildele hver scene en vægt på baggrund hvor længe denne var synlig.

Det burde udelukke enkelte frames fra at have nogen indflydelse, men så mangler vi at tage højde for scener som gradvis skifter...

  • 1
  • 0
Log ind eller Opret konto for at kommentere