Mangel på Unicode lod Facebook-brugere udbrede folkemordspropaganda

Illustration: Europa-Parlamentet
Manglen på en Unicode-standard for burmesisk gjorde Facebook til propaganda-platform under folkemordet i Myanmar.

Facebook er for mange selve internettet, og det har især det seneste år ledt til syngende kritik fra stort set alle regeringer i Vesten omkring manglende moderation af indhold. Facebook beskyldes for at udbrede spam, porno, fake news på den ene side og ikke at respektere ytringsfriheden på den anden side.

Og nu bliver de også beskyldt for at hjælpe med at udbrede propaganda i forbindelse med folkemordet i Myanmar i 2016.

Det skriver Motherboard-journalisten Joseph Cox efter tre måneders undersøgelse af Facebooks moderations-ansatte og politik.

Folkemord via Facebook

Reuters har tidligere beskrevet, hvordan hadefulde ytringer om Rohingya-befolkningen i Myanmar kunne findes på Facebook flere måneder efter, at mere end 700.000 rohingyanere måtte flygte fra landet af frygt for deres liv.

Facebook har siden ansat burmesisk-talende moderatorer (det officielle sprog i Myanmar, red.) men Rosen fortæller til Motherboard, at Facebooks algoritme, der finder frem til hadefuldt indhold, ikke virkede på burmesisk.

Det skyldes, at Myanmar først har lukket op for omverdenen for relativt nyligt og derfor selv har digitaliseret sit sprog og skrifttype.

Da Facebooks algoritme er bygget til at forstå Unicode-kompatible sprog, har den derfor ikke kunnet opfange de mange hadefulde ytringer, der kan have vendt folkestemningen mod rohingya-befolkningen.

Massiv moderation

Motherboard har fundet flere spændende informationer om den ellers lukkede Silicon Valley-gigant og deres forsøg på at moderere indhold produceret af sine mere end to milliarder brugere.

Der er omkring 7.500 moderatorer hos Facebook, der giver tommel op eller ned til indhold, som graves frem af en kunstig intelligens. Den er ifølge Motherboard rigtig god til at finde porno, spam og falske konti, men ikke til at finde hadefulde ytringer.

Moderatorerne gennemgår mere end 10 millioner posts om ugen - både som algoritmen har fundet, og når en bruger flager indhold som problematisk. De arbejder efter en målsætning om en fejlprocent på mindre end en procent og at at gennemgå alt brugerrapporteret indhold inden for 24 timer.

Falder en moderator under den tilladte fejlmargin, får det konsekvenser, og næsten ingen beholder jobbet, der kræver, at man læser hadefulde ytringer hele dagen, hver dag, længere end et år ifølge en af Motherboards anonyme kilder fra moderationsholdet.

Kilden beskriver modereringsprocessen som at sidde i en glas-kiste, separat fra de kontekster og begivenheder, som skaber verden omkring dem. De går ind på kontorer, følger binære instrukser og flowcharts og dømmer indhold til at leve eller dø, og somme tider uden at ane noget om det, de analyserer.

Eskalerer hele vejen til Zuckerberg

I et forsøg på at eliminere subjektive vurderinger, som kun en it-ingeniør kunne have udtænkt, så følger Facebooks moderatorer nemlig flowcharts og tjek-bokse, når de skal bestemme, om indhold må eksistere på platformen. Dette er en nærmest umulig måde at moderere ytringer på ifølge en anonym kilde fra Facebooks moderationshold.

»Det er ekstremt svært, hvis ikke umuligt, at skabe en skriftlig politik, der fanger det hele (alle facetter af menneskelig kommunikation, red.),« siger kilden.

Hvis ikke indholdet kan bedømmes efter et flowchart, eller er problemet politisk følsomt, så kan problemet eskaleres til ledende moderatorer og sågar hele vejen til direktør Mark Zuckerbergs kontor.

Facebooks driftsdirektør, Sheryl Sandberg, modtager ugentligt rapporter om de største moderationsbekymringer. Der er ugentlige møder, hvor man bl.a. diskuterer, hvilke typer indhold en ledende personlighed hos Facebook eller sågar Zuckerberg selv skal tage stilling til.

New York Times skriver da også, at Zuckerberg spillede en rolle i at smide det konspirationsteoretiske medie InfoWars af platfomen.

Indhold som voldtægtshistorier eller #MeToo-erklæringer, der teknisk set ikke er tilladte ifølge Facebooks indholdsregler, får ligeledes lov at blive delt på platformen alligevel.

Et tredje eksempel er, når journalister spørger ind til noget bestemt indhold på Facebook. Det skal eskaleres til et såkaldt 'risk and response'-team. Da Version2 begyndte at stille spørgsmål til falske reklamer, fik vi i starten svar på dansk. Da vi blev ved med at spørge ind til sagen, endte vi til sidst med et svar på engelsk, men stadig fra en unavngiven kilde.

Numse-ansigter går an, numsemund og analkugler er ikke i orden

Facebook påstår, at deres AI-værktøjer, trænet fra data af de menneskelige moderatorer, opdager næsten 100 procent af spamopslag, 99,5 procent af terror-relateret indhold, 98,5 procent af falske konti, 96 procent af nøgenhed og porno-lignende opslag og 86 procent af grafisk voldelige opslag.

Når det gælder hadefuldt indhold, kommer algoritmen til kort. Den indfanger kun 38 procent af det hadefulde indhold og virker kun på engelsk og portugesisk.

Lækkede interne træningsdokumenter omkring hadefulde ytringer viser mange af de facetter, moderationsholdene skal balancere. De viser også, at indhold og ytringer bliver afvejet i forhold til lokale forhold, og at moderationsholdene får bestemte kriterer afhængig af det land, de arbejder i, for at sikre, at Facebook ikke bliver erklæret ulovligt.

I Indien og Pakistan bliver afbilleder af profeten Muhammed f.eks. fjernet, men ikke nødvendigvis i andre lande. IP’er fra bl.a Tyskland og Israel bliver blokeret fra at se Holocaust-benægtende indhold, selvom det ikke nødvendigvis bliver slettet.

For at sådanne undtagelser skal indføres, skal »regeringen aktivt søge håndhævelse« af en bestemt type indhold i det pågældende land.

Men træningsdokumenterne viser også de decideret absurde bedømmelseskriterier, de skal afveje. En trænings-powerpoint forklarer, at et billede af Donald Trump med et røvhul som mund er i orden, og ligeså et billede af Taylor Swift med røvhuls-øjne.

Et billede af Kim Jung Un med røvhuls-mund, hvor analkugler trækkes ud af, er derimod ikke i orden, fordi det er en seksuel handling.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (1)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Ivan Skytte Jørgensen

Lidt mere info for folk som ikke orker at grave i unicode codepoint charts, wikipedia, uniscribe, osv:

Burmesisk er understøttet i Unicode, med første understøttelse i 1999 og seneste tilføjelse i 2014. Om understøttelsen er komplet kan jeg ikke sige (jeg taler/skriver ikke burmesisk).

Men medierne og websites i Myanmar/Burma har haft for vane at bruge/misbruge codepoints, som gør det svært at fortolke indhold medmindre man har den rigtige font og laver visuel inspektion. Ligesom i 80erne/90erne hvis man fik en fil med cp875-indhold men blev vist som iso8859-1, så gav det indholdet ikke meget mening. Og de har brugt codepoints a-z til at styre "shaping" af bogstaverne. Så teksten kunne f.eks. indeholde "a\8f9f_\u+48392" som facebooks system ikke har kunnt forstå, men det er blevet vist som f.eks. "ꧧꧨꧩꧪ" på burmesiske brugeres skærme.

Jeg formoder at facebook bruger korrect unicode på eget site, så det problematiske indhold må have været links til blogs og avisartikler, som er fløjet under facebooks radar. Og åbenbart også deres burmesiske moderatorer (hvis de da havde nogle på det tidspunkt).

Log ind eller Opret konto for at kommentere