Microsoft beklager racistisk chatbot

Det vakte røre, da Twitter-botten Tay i sidste lod sig påvirke af internetstøj og pludselig mente, at Holocaust aldrig havde fundet sted. Nu beklager Microsoft deres lidt for letpåvirkelige chatbot

Lørdag udsendte Microsoft en officiel undskyldning efter sidste uges meget omtalte svipser, hvor sexistiske og racistiske tweets i stride strømme flød fra Twitter-profilen Tay. Det skriver The Guardian.

Det kunstige intelligens-program Tay var specieludviklet til at kommunikere i en frisk og ungdommelig tone tiltænkt det yngre publikum - et eksperiment i 'kunstig interaktion' med webbrugere i afslappede samtaler.

Sådan gik det bare ikke. I stedet fik chatbotten i løbet af sin 16 timer korte levetid blandt andet hyldet nazismen, sammenlignet feminisme med kræft og hævdet, at Holocaust aldrig fandt sted.

Læs også: Twitter lærte Microsoft-chatbot at blive racist på et døgn

Efter længere tids sporadiske fornærmelser fandt Microsoft det torsdag nødvendigt helt at lukke profilen.

»Vi beklager dybt de fornærmende og sårende tweets fra Tay, som hverken repræsenterer, hvem vi er, eller hvad vi står for, og heller ikke hvordan vi designede Tay,« skrev Microsofts forskningschef Peter Lee i en meddelelse på Microsofts hjemmeside fredag.

Tay var udviklet til konstant at oplære nye sproglige færdigheder og sætningskonstruktioner baseret på, hvad brugerne skrev. Peter Lee fremhæver, at flere brugere bevidst forsøgte at påvirke botten i en negativ retning i koordinerede angreb.

Ifølge Microsoft har man omvendt haft god succes med andre lignende chateksperimenter. Siden 2014 har chatbotten XiaoIce været benyttet af 40 millioner kinesere og været kendt for sine gode samtaleevner, som løbende forbedres.

Tays profil er stadig åben, men blot tre af de oprindelige tweets står tilbage efter sidste uges fadæse.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk

Følg forløbet

Kommentarer (8)

Daniel Gertsen

Det er dejlig nemt at sige, specielt nu her bagefter...

Ps. Det er 100 gange sværere at tage dig seriøst, når du bruger øgenavne på den måde.
MS eller Microsoft. Ellers er det bare plat.

Jonas Degn

Når 4chan bestemmer sig for at "trolle" en AI som lærer af menneskerne den kommunikerer med, så skal der desværre ikke ret meget til før at den lærer de forkerte ting.

Jeg er dog til dels enig med Mikkel Malther, måske det kunne have hjulpet lidt hvis man havde lært den en masse på forhånd fra gamle tweets (eller anden information) og skruet en smule ned for den direkte indlæring fra live testen.

Jakob Sørensen

Synes efterhånden alt den politiske korrekthed er ved at komme ud af kontrol. Man har lavet et forsøg med AI, der ikke gik som ønsket. Det må man så lære af, og forsøge at gøre det bedre næste gang. Det er altså ikke noget man bør beklage i min verden...

Knud Jensen

»Vi beklager dybt de fornærmende og sårende tweets fra Tay, som hverken repræsenterer, hvem vi er, eller hvad vi står for, og heller ikke hvordan vi designede Tay,«

Men den gjorde jo nøjagtigt dét de havde designet den til at kunne.

Hvis MS vil beklage noget burde det være at de ikke har afdækket deres slut-brugeres adfærd godt nok.
Eller beklage at der ikke var en forskudt svartid, så et menneske kunne hive i håndbremsen inden de grimme billeder blev vist.

Simon Mikkelsen

AI bliver for tiden udråbt til at overtage alle mulige opgaver. Men dette viser ret godt hvad AI kan og ikke kan. Den bliver aldrig bedre end det data man putter ind i den.

Et argument der ofte fremføres for AI er netop at man kan slippe den løs og så lærer den selv. Men for at undgå noget som dette her, er man nød til at have mennesker til at validere det input den får.

Tager man fx en selvkørende bil, der lærer at køre af andre folk, kan en gruppe brugere beslutte sig for at trolle den og køre råddent. Måske kan passende ondsindende personer lokke bilen til at tro at den kører et andet sted end den gør - fx ude i vandet og dermed lærer andre biler at man godt kan køre i havnen.

Microsofts robot gjorde præcis hvad den skulle. Det har vi lært noget af, og jeg er glad for at det var en relativ harmløs skade der skete.

Rune Jensen

Når 4chan bestemmer sig for at "trolle" en AI som lærer af menneskerne den kommunikerer med, så skal der desværre ikke ret meget til før at den lærer de forkerte ting.

På jsperf kan man teste, hvordan javascript udføres hastighedsmæssigt med forskellige metoder for samme udgangspunkt (for eksempel hastigheden i udførsel af den samme løkke, men formuleret forskelligt).

Brugeren har kontrol over de data, som kommer ind, og det er begrænset, hvor meget man kan kontrollere for malicious script på output, givet hvad sidens formål er.

Det undrer mig, det tog så lang tid, før "folk" fik øjnene op for, at når brugeren har fuld kontrol over JSen både på input og output, så kan det udnyttes til ondartede formål også.

Foreløbig er jeg kun stødt på spamming som det værste... men med fuld kontrol over JSen, kan man gøre ganske mange sjove ting.

De tests, som så virker, synes jeg iøvrigt er værdifulde, og jeg bruger den selv ind imllem (man lærer efterhånden, hvilke scripts det er). Men man skal holde tungen lige i munden, og besøge siden med JS slået fra fra start. Og alt Flash og JAVA blokeret.

Bare som en sammenligning.

Log ind eller opret en konto for at skrive kommentarer