LONDON Seeing is believing. I takt med, at computere bliver kraftigere og algoritmer til billedmanipulation bedre, så er der i stadigt større grad grund til ikke at tro på det, man ser.
I hvert fald ikke, hvis der er tale om en online-video.
Security Response Lead Vijay Thaware og Associate Threat Analysis Engineer Niranjan Agnihotri fra Symantec har set nærmere på videoer manipuleret med hjælp fra algoritmer i kategorien kunstig intelligens.
De fortalte om deres arbejde et indlæg på it-sikkerhedskonferencen Black Hat Europe, der fandt sted i London i sidste uge.
»Deepfakes er hastigt på vej frem, mens vi taler lige nu,« sagde Vijay Thaware under præsentationen.
Begrebet dækker over manipulerede videoer og billeder, der kan skabes med hjælp fra AI-algoritmer og et gedigent gamer-grafikkort. Resultatet kan være, at et ansigt i en video erstattes med et ansigt fra eksempelvis en politiker, som nu optræder i en måske uheldig sammenhæng.
Algoritmen skal fodres med tilstrækkeligt billedmateriale af personen, der skal klippes ind i en ny sammenhæng, men ifølge de to forskere er der ofte nok at tage af på nettet.
Denne form for manipulation kaldes face swapping. Teknikken kan bruges i en hel legitim og måske endda underholdende sammenhæng.
Det startede med porno
Men algoritmerne kan også bruges til eksempelvis chikane. Flere medier har fortalt historien om, hvordan Reddit-brugeren Deepfakes tilbage i december 2017 kunne demonstrere, hvordan kendte kvinder kunne face-swappes ind i pornografiske videoer med hjælp fra AI.
Ifølge Vice Motherboard gik der kun et par måneder fra Reddit-brugerens demonstration, til flere programmer online gjorde teknikken bredt tilgængelig.
Den form for manipulation kan være vanskelig umiddelbar at spotte, hvilket selvsagt er belastende for dem, det går udover.
»Videoerne er skabt på en sådan måde, at de kan snyde det menneskelige øje, og man kan nemt blive narret,« sagde Vijay Thaware.
Og selvom nogle videoforfalskningsteknikker er relativt primitive og faktisk kan spottes med det menneskelige øje, så er det ikke sikkert, folk ser særligt nøje efter, inden videoen bliver delt på de sociale medier.
Desuden kan det være, at videokvaliteten - måske bevidst - er dårlig, hvilket kan gøre det svært at finde ud af, hvad der er op og ned i sådan en sammenhæng.
Manipulering med politikeransigter
Et af de potentielle misbrugsscenarier for AI-manipulerede videoer er, hvad forskerne kalder cyber-propaganda.
Det kunne være en manipuleret video, hvor en politikers ansigt optræder i en forfalsket video, der bliver frigivet på de sociale medier kort inden et valg.
Selvom det måske nok bliver opdaget, at der er tale om en forfalskning, så kan mange have nået at trykke på de sociale mediers del-knap og sat et kryds i stemmeboksen, før budskabet om den forfalskede video trænger igennem.
»Det er rimelig uhyggeligt, når vi taler om politikere, fordi det skaber spændinger, ikke bare i et land, men også på et globalt niveau,« sagde Vijay Thaware.
Hvad cyber-propaganda angår, så gav forskerne under præsentationen udtryk for, at deepfake-videoer målrettet politikere bør give anledning til stor bekymring set i lyset af de nationale valg, der skal afholdes rundt om i verden i løbet af 2019.
Fake video news
Udover cyber-propaganda forestiller forskerne sig også, at deepfake news kommer til at erstatte fake news i en nær fremtid. Altså hvor manipulerede videoer i stedet for opfundne artikler bliver brugt til spredning af falske informationer.
Når forfalskede videoer først bredt ud, så kan det ifølge forskerne skabe en generel mistillid til videoindhold, uanset om det er ægte eller ej.
ABC News har en læsværdig, interaktiv historie fra september om emnet her.
Nyhedsmediet nævner en tænkt situation, hvor en amerikansk præsident får lettere ved at feje videodokumentation til side som forfalsket indhold skabt med machine learning.
Trump eller Cage?
Ifølge Symantec-forskerne kræver det i udgangspunktet ikke de vilde kodekundskaber at lave deepfakes al den stund, der ligger frit tilgængelig software på nettet, der efter sigende kan face-swappe en persons ansigt ind i en video.
»Alt, hvad det kræver, er en gaming-laptop, en internetforbindelse, noget lidenskab og tålmodighed og måske et rudimentært kendskab til neurale netværk,« sagde Vijay Thaware.
I starten af 2018 besluttede forskerne at se, om de kunne finde på en løsning til automatisk detektion at deepfakes.
Det kan meget vel være, at det med lidt grundig granskning er muligt at spotte en fake video og stoppe den, inden der bliver spredt alle steder.
Men hvad nu, hvis der bliver uploadet hundredvis af falske videoer på samme tid - måske som et led i en cyberpropaganda-kampagne? Ja, så kan det selvsagt være praktisk med et automatiseret system, der med nogenlunde træfsikkerhed kan spotte forfalskninger.
Sandhedstest
Niranjan Agnihotri og Vijay Thaware er kommet op med en løsning, hvor en algoritme til ansigtsgenkendelse trænes til at spotte udvalgte personers ansigt - det kunne være visse politikere eller andre fremtrædende personer, der kan være særligt oplagte mål.
Ansigtsoplysningerne lagres i en database. Nu kan forskernes software analysere videoer i forhold til ansigtsoplysninger i databasen.
Programmet spytter dernæst et resultat ud, der viser, hvor stor sandsynligheden er for, at det faktisk er den amerikanske præsident Donald Trump eller skuespilleren Nicolas Cage, der optræder i en video.
På et slide under præsentationen anvendte forskerne netop disse to personer som eksempel.
Programmet kunne med stor sikkerhed sige, at det var henholdsvis Cage og Trump i uforfalskede videoer. Men da Nicolas Cages ansigt blev swappet ind i stedet for den amerikanske præsidents i en video, meldte programmet, at sandsynligheden talte for et ukendt individ i videoen.
I løbet af præsentationen understregede forskerne, at der er andre projekter, der også går ud på at spotte videoforfalskninger. Blandt andet er der et projekt, der bruger øjnenes blinkefrekvens til at detektere et face-swap.
De to Symantec-forskere forestiller sig, at en løsning som deres kan implementeres på sociale medier, så manipuleret indhold kan bremses, inden det løber løbsk.
Fokusskifte
Det var egentlig forskningsarbejdet med ansigtsgenkendelse, der var det oprindelige omdrejningspunkt for deres præsentation.
Det fortalte de om under et interview med Version2.
»Tidligere drejede emnet for vores præsentation sig udelukkende om vores løsning. Men efterhånden som vi undersøgte det nærmere, så tænkte vi, at i stedet for at fokusere på vores løsning, så er det bedre at skabe awareness og diskutere, hvordan disse ting bliver skabt, og hvordan disse ting kan opdages med menneskelig intelligens,« siger Niranjan Agnihotri til Version2.
Han medgiver også at der var en anden årsag, at præsentationen under havde fået et mere generelt, awareness-præget fokus i stedet for kun at handle om forskernes eget arbejde.
Området for videoer skabt med hjælp fra kunstig intelligens har nemlig bevæget sig siden forskerne begyndte at se på, hvordan problemet kan imødegås på automatiseret vis.
Således er AI-supporterede forfalsknings-teknikker sidenhen blevet demonstreret, som slet ikke anvender face-swapping. Disse teknikker genererer et kunstigt ansigt ud fra mediemateriale af en virkelig person.
Det syntetiske ansigt, der altså ligner den virkelige person til forveksling, kan herefter manipuleres efter forgodtbefindende.
Der ligger en video på Youtube, der demonstrerer denne teknik i forhold til USA's tidligere præsident Barack Obama.
»Det er faktisk ret uhyggeligt - hvis du har tid, så tag et kig på videoen,« lød opfordringen til tilhørerne fra Vijay Thawares.
Symantec-folkenes dektionsmekanismen med ansigtsgenkendelse virker ikke i forhold til denne form for videoforfalskning, som forskerne kalder 'videos without facetampering'.
Uanset om der er tale om den ene eller den anden manipulationsteknik, så gav forskerne udtryk for, at folk bør tænke sig om, inden de sender en video videre, og spørge sig selv, om kilden til videoen er troværdig.
