LONDON Seeing is believing. I takt med, at computere bliver kraftigere og algoritmer til billedmanipulation bedre, så er der i stadigt større grad grund til ikke at tro på det, man ser.
I hvert fald ikke, hvis der er tale om en online-video.
Security Response Lead Vijay Thaware og Associate Threat Analysis Engineer Niranjan Agnihotri fra Symantec har set nærmere på videoer manipuleret med hjælp fra algoritmer i kategorien kunstig intelligens.
De fortalte om deres arbejde et indlæg på it-sikkerhedskonferencen Black Hat Europe, der fandt sted i London i sidste uge.
»Deepfakes er hastigt på vej frem, mens vi taler lige nu,« sagde Vijay Thaware under præsentationen.
Begrebet dækker over manipulerede videoer og billeder, der kan skabes med hjælp fra AI-algoritmer og et gedigent gamer-grafikkort. Resultatet kan være, at et ansigt i en video erstattes med et ansigt fra eksempelvis en politiker, som nu optræder i en måske uheldig sammenhæng.
Algoritmen skal fodres med tilstrækkeligt billedmateriale af personen, der skal klippes ind i en ny sammenhæng, men ifølge de to forskere er der ofte nok at tage af på nettet.
Denne form for manipulation kaldes face swapping. Teknikken kan bruges i en hel legitim og måske endda underholdende sammenhæng.
Det startede med porno
Men algoritmerne kan også bruges til eksempelvis chikane. Flere medier har fortalt historien om, hvordan Reddit-brugeren Deepfakes tilbage i december 2017 kunne demonstrere, hvordan kendte kvinder kunne face-swappes ind i pornografiske videoer med hjælp fra AI.
Ifølge Vice Motherboard gik der kun et par måneder fra Reddit-brugerens demonstration, til flere programmer online gjorde teknikken bredt tilgængelig.
Den form for manipulation kan være vanskelig umiddelbar at spotte, hvilket selvsagt er belastende for dem, det går udover.
»Videoerne er skabt på en sådan måde, at de kan snyde det menneskelige øje, og man kan nemt blive narret,« sagde Vijay Thaware.
Og selvom nogle videoforfalskningsteknikker er relativt primitive og faktisk kan spottes med det menneskelige øje, så er det ikke sikkert, folk ser særligt nøje efter, inden videoen bliver delt på de sociale medier.
Desuden kan det være, at videokvaliteten - måske bevidst - er dårlig, hvilket kan gøre det svært at finde ud af, hvad der er op og ned i sådan en sammenhæng.
Manipulering med politikeransigter
Et af de potentielle misbrugsscenarier for AI-manipulerede videoer er, hvad forskerne kalder cyber-propaganda.
Det kunne være en manipuleret video, hvor en politikers ansigt optræder i en forfalsket video, der bliver frigivet på de sociale medier kort inden et valg.
Selvom det måske nok bliver opdaget, at der er tale om en forfalskning, så kan mange have nået at trykke på de sociale mediers del-knap og sat et kryds i stemmeboksen, før budskabet om den forfalskede video trænger igennem.
»Det er rimelig uhyggeligt, når vi taler om politikere, fordi det skaber spændinger, ikke bare i et land, men også på et globalt niveau,« sagde Vijay Thaware.
Hvad cyber-propaganda angår, så gav forskerne under præsentationen udtryk for, at deepfake-videoer målrettet politikere bør give anledning til stor bekymring set i lyset af de nationale valg, der skal afholdes rundt om i verden i løbet af 2019.
Fake video news
Udover cyber-propaganda forestiller forskerne sig også, at deepfake news kommer til at erstatte fake news i en nær fremtid. Altså hvor manipulerede videoer i stedet for opfundne artikler bliver brugt til spredning af falske informationer.
Når forfalskede videoer først bredt ud, så kan det ifølge forskerne skabe en generel mistillid til videoindhold, uanset om det er ægte eller ej.
ABC News har en læsværdig, interaktiv historie fra september om emnet her.
Nyhedsmediet nævner en tænkt situation, hvor en amerikansk præsident får lettere ved at feje videodokumentation til side som forfalsket indhold skabt med machine learning.
Trump eller Cage?
Ifølge Symantec-forskerne kræver det i udgangspunktet ikke de vilde kodekundskaber at lave deepfakes al den stund, der ligger frit tilgængelig software på nettet, der efter sigende kan face-swappe en persons ansigt ind i en video.
»Alt, hvad det kræver, er en gaming-laptop, en internetforbindelse, noget lidenskab og tålmodighed og måske et rudimentært kendskab til neurale netværk,« sagde Vijay Thaware.
I starten af 2018 besluttede forskerne at se, om de kunne finde på en løsning til automatisk detektion at deepfakes.
Det kan meget vel være, at det med lidt grundig granskning er muligt at spotte en fake video og stoppe den, inden der bliver spredt alle steder.
Men hvad nu, hvis der bliver uploadet hundredvis af falske videoer på samme tid - måske som et led i en cyberpropaganda-kampagne? Ja, så kan det selvsagt være praktisk med et automatiseret system, der med nogenlunde træfsikkerhed kan spotte forfalskninger.
Sandhedstest
Niranjan Agnihotri og Vijay Thaware er kommet op med en løsning, hvor en algoritme til ansigtsgenkendelse trænes til at spotte udvalgte personers ansigt - det kunne være visse politikere eller andre fremtrædende personer, der kan være særligt oplagte mål.
Ansigtsoplysningerne lagres i en database. Nu kan forskernes software analysere videoer i forhold til ansigtsoplysninger i databasen.
Programmet spytter dernæst et resultat ud, der viser, hvor stor sandsynligheden er for, at det faktisk er den amerikanske præsident Donald Trump eller skuespilleren Nicolas Cage, der optræder i en video.
På et slide under præsentationen anvendte forskerne netop disse to personer som eksempel.
Programmet kunne med stor sikkerhed sige, at det var henholdsvis Cage og Trump i uforfalskede videoer. Men da Nicolas Cages ansigt blev swappet ind i stedet for den amerikanske præsidents i en video, meldte programmet, at sandsynligheden talte for et ukendt individ i videoen.
I løbet af præsentationen understregede forskerne, at der er andre projekter, der også går ud på at spotte videoforfalskninger. Blandt andet er der et projekt, der bruger øjnenes blinkefrekvens til at detektere et face-swap.
De to Symantec-forskere forestiller sig, at en løsning som deres kan implementeres på sociale medier, så manipuleret indhold kan bremses, inden det løber løbsk.
Fokusskifte
Det var egentlig forskningsarbejdet med ansigtsgenkendelse, der var det oprindelige omdrejningspunkt for deres præsentation.
Det fortalte de om under et interview med Version2.
»Tidligere drejede emnet for vores præsentation sig udelukkende om vores løsning. Men efterhånden som vi undersøgte det nærmere, så tænkte vi, at i stedet for at fokusere på vores løsning, så er det bedre at skabe awareness og diskutere, hvordan disse ting bliver skabt, og hvordan disse ting kan opdages med menneskelig intelligens,« siger Niranjan Agnihotri til Version2.
Han medgiver også at der var en anden årsag, at præsentationen under havde fået et mere generelt, awareness-præget fokus i stedet for kun at handle om forskernes eget arbejde.
Området for videoer skabt med hjælp fra kunstig intelligens har nemlig bevæget sig siden forskerne begyndte at se på, hvordan problemet kan imødegås på automatiseret vis.
Således er AI-supporterede forfalsknings-teknikker sidenhen blevet demonstreret, som slet ikke anvender face-swapping. Disse teknikker genererer et kunstigt ansigt ud fra mediemateriale af en virkelig person.
Det syntetiske ansigt, der altså ligner den virkelige person til forveksling, kan herefter manipuleres efter forgodtbefindende.
Der ligger en video på Youtube, der demonstrerer denne teknik i forhold til USA's tidligere præsident Barack Obama.
»Det er faktisk ret uhyggeligt - hvis du har tid, så tag et kig på videoen,« lød opfordringen til tilhørerne fra Vijay Thawares.
Symantec-folkenes dektionsmekanismen med ansigtsgenkendelse virker ikke i forhold til denne form for videoforfalskning, som forskerne kalder 'videos without facetampering'.
Uanset om der er tale om den ene eller den anden manipulationsteknik, så gav forskerne udtryk for, at folk bør tænke sig om, inden de sender en video videre, og spørge sig selv, om kilden til videoen er troværdig.
Så, når en politiker bliver taget i noget, kan de hævde, at det er fake news....
Dén vil jeg også bruge næste gang...
man skal jo ikke ha den store fantasi for at se at udviklingen tydeligvis går i den forkerte retning - den helt forkerte retning..
Det er jo ikke sådan at vi ikke har et valg, som menneskehed, i forhold til maskinerne - men jeg tror det kræver en hel del opvågning
Ja, det er netop pointen. At selvom hvis man kan spotte falske videoer, så er den blotte mulighed nok til at så tvivl om videodokumentation i almindelighed, sådan som det længe har været med fotografier. Video er vel nærmest den sidste umiddelbart troværdige bastion. Bevares, film har længe kunnet forfalskes, men ikke så let og ressourcefrit som med deep fakes. Forestiller man sig så en [ikke fuldstændigt hypotetisk] situation, hvor man heller ikke tror på medierne længere, så har vi godt nok pisset i salaten, om jeg så må sige.
Tror, at der er nogle stykker, som allerede ER kommet der til...
JA TAK - Sådan skal det lyde - medierne skal reformeres, for det er da så SOLEKLART at er meget kraftigt politiserede - måske i mindre grad i danmark, end andre steder i verden - men den frie presse har ikke været fri i mange år. Prøv fx at undersøge hvor få koncerner der ejer alle de medie-entiteter der findes på verdensplan - man får et chok!
Men altså dette har ikke noget med video-faking at gøre - det jeg taler om her er journalistikken. Men det er klart at problemet underbygges hvis man heller ikke kan stole på videomaterialerne..
Det har jeg ikke sagt.
sorry så var det bare det jeg tolkede - men kommentaren er så et sidespor, stadig relevant dog :)
De fleste medier i DK modtager alligevel de fleste af deres nyheder fra Ritzau/Reuters og videregiver dem... Så der er alligevel ikke den store variation...
fx ritzau kanaliserer meget tit nyheder videre direkte fra ap/reuters - hvis man tænker over det, bør man undersøge hvem der egentlig ejer ap/reuters og hvilken relation de har til øvrige industrier/NGO'er..
Har folk overhørt undervisningen i kildekritik i historietimerne?
Hvis jeg bare én gang får mistanke om fake et-eller-andet i et medie (f.eks. socialt) , vil jeg da sørge for efterfølgende at krydschecke med andre kilder, herunder andre end sociale medier.
I modsat fald vil jeg være at betragte som dum og tilbagestående og ensidig i informations-og kildeudvælgelse og uegnet til at være vælger.
..at mange ting bliver gentaget eller retweetet så mange gange at det formudrer mulighederne for at krydstjekke kilder for det almene menneske - og her er effekten som du også kommer lidt indpå, at når noget er gentaget tilpas mange gange så har folk en overhængende tendens til bare at tage det for gode varer og stole blindt på det - det er en slags subtil mindcontrol, og er brugt rigtigt mange gange i verdenshistorien.. faktisk er verdenshistorien netop det, selvom det meste sikkert er sandfærdigt - et narrativ der er gentaget så mange gange at det fremstår som fakta - fx "JFK blev myrdet med kun 1 skud" (sidste år kom det frem at det ikke var sandt)
Det mener politikerne i hvert fald, at den er...
FYI: So Ein Ding i dag handler tilfældigvis netop om fake videoer og giver et glimrende overblik over hvad der er muligt p.t.
Sandt - Set fra hvilken sider ?
Selv i dag, kan man ikke finde ud af at placere et ansvar for 1 Verdenskrig. og hvis man placere den, er den så sand.
Vi kan vel alle blive ening om at Gavrilo Princip ikke har ansvaret.
Men var det et militaristik Tyskland ? - Det var så ikke Tysklands borgere, det var jo ikke et demokrati, men kejseren.
Var han så ene mand ansvarlig for 1 Verdenskrig ?
Nej vel. :-)
Vi kan så alle blive enige om togplannerne, så var det ingen enkelt personer, styreformer eller lande som var ansvarelige.
Hvis vi ikke kan blive ening om noget som er sket for 100 år sidem og er belyst fra alle sidder af mange dygtige historiker som har brugt langt tid, Hvordan kan vi så i nuet blive ening om en "sandhed"
Vi kan højeste måske blive ening om de åbenlyse løgne, men ikke holdninger, som skal fjernes.
Det er der noget, der tyder på. Et citat fra David von Reybrouck i "Against Elections" om at mistillid mellem vælgere og politikere er gensidig:
"The distrust is mutual, incidentally. In 2001 Dutch Researcher Peter Kanne presented some interesting figures on how politicians in The Hague look at dutch society. A full 87% of the country's governing elite sees itself as innovative, freedom-loving and internationally oriented, but 89% think that Dutch are general traditional, nationalistic and conservative. So politicians assume that, on the whole, citizens adhere to other, in their view lesser, values than they do and there's no reason to believe that the picture is different elsewhere in Europe."
Hvad er der af udfaldsrum?
1) Befolkningen faktisk ER dumme
2) Politikerne tror fejlagtigt at befolkningen er dumme
3) Politikerne fejlbedømmer sig selv som klogere og mere ædle end de er men er i virkeligheden selv dumme (som ikke udelukker eller bekræfter 1).
I bogen "Retorik, der flytter stemmer" har tre retorikere analyseret 37 afsnit af Bytinget i 70'eren og 80'erne. Det var en slags "retssag", hvor der var to advokater med hver sit modsat rettede synspunkt, hvor begge afhørte sine egne og modstandernes vidner. Publikum skulle inden sagen startede tage stilling og efter retssagen igen vurdere og man målte stemmevandringerne og skulle afklare motiverne bag.
Det var positivt overraskende.
Publikum straffede advokater og deres vidner hvis
1) de brugte adhominem-argumenter, dvs. gik efter modtstanderen personligt og dennes motiver
2) de var meget ideologiske ("ideologi er noget bras")
3) de hev det ene tal frem efter det andet
og de belønnede de, der
1) anvendte få men velvalgte og repræsentative eksempler med præcision og underbygning (elefantbøssen vandt over haglgeværet)
2) den tørre teknokratiske saglighed skulle også akkompagneres af engagement for at virke
3) viste forståelse overfor modstanderens synspunkt
Det tegner godt for et borgerting som andetkammer udvalgt ved lodtrækning, som diskuteres i forbindelse med det deliberative demokrati.
Som forsøg, der er lavet med fiktive retssager, hvor blodtørsten forsvinder, har mennesker det med at opføre sig mere gennemtænkt og repræsentativt i normativ forstand. Man kan filosofere over om det er fordi de føler sig "udvalgt".
Men lad nu lige være med at gøre regning uden vært: dem der er det formidlende led mellem politikere og vælgere, nemlig journalister!
Under den gruppe vil jeg også rubricere spindoktorer, der efterhånden mere og mere deler diskurs med mainstream-journalisterne.
I bogen "De svarer ikke" hudfletter retorikprofessor Chistian Kock ikke bare politikerne men også journalisterne. Den har undertitlen "fordummende uskikke i den politiske debat". De får ligesom deres kolleger blandt spindoktorer alting til at dreje sig om strategi, ikke politisk indhold.
Han giver som eksempel euroafstemningen i 2000, hvor Svend Auken opfordrede sine partifæller til at vise forståelse for vælgernes tvivl. Men Ralf Pittelkow, som var gledet fra statsministerrådgiver til politisk kommentator, affejede det med, at det var drilleri fra Auken-fløjen til Nyrup-fløjen.
Ligeledes viser han også hvordan klovneparret Mogensen & Kristiansen storsmilende og bedrevidende afviser alle tolkninger af politiske ytringer, der ikke ses som strategisk motiveret.
Voila - så behøver journalisterne ikke at bruge tid på at sætte sig ind i politiske sagsområder.
Det er perspektiverende at se det som et spilteoretisk scenarie mellem befolkning, politikere og journalister og deres indbyrdes syn på hinanden. Grunden til at den elendige debatkultur er svær at trække ud af dødvandet er måske at det befinder sig i en Nash-ligevægt, hvor én, som ændrer strategi uden de andre gør det, forværrer sin position.
Men jeg ved det ikke - jeg er blot en nysgerrig lægmand. Spørgsmålet er om ikke politikere og journalister/spindoktorer er ligeså uvidende som mig.
Jeg kan klart anbefale at man ser den udsendelse, ligger i DR's arkiv. Der er nemlig flere aspekter, som er ret skræmmende.
Der florerer for tiden en del mail med forsøg på afpresning, hvor afsenderen angiver (et tidlilgere) kodeord man har brugt på nettet. Det bruges for at afpresse penge. Hvis man ikke betaler vil der frigives diverse videoer, som er optaget i "sjove situationer". Der påstås at vedkommende har hacket ens computer. Reelet er det kodeord fra et af de steder, som har lækket kodeord, så det er nok ikke fordi ens computer er hacket.
Forestil jer lige hvad der sker hvis disse personer får fingre i vidoer hvor man er med, så kan de fake videoer, hvor det ser ud som om man f.eks. er med i en porno eller andet.
Adobbe har lavet teknikker som kan analysere ens stemme. Ud fra det kan de få en til at sige hvad som helst, som reelet set aldrig er sagt.
Disse ting demonstrerer Nikolai Sonne i So Ein Ding. Meget tankevækkende.
En stor del af Ritzauz danske dækning er citat-historier, der er udvalgt af Ritzauz, men altså skrevet af et tilfældigt medie. Men jo. dette udvalg spredes så - bredt og ensartet.