Det er negativt at være sort og homoseksuel ifølge Googles sprogforståelsesalgoritme

Illustration: mast3r/Bigstock
Forsøg med Googles Natural Language API viser, at algoritmen bagved diskriminerer.

En journalist fra Motherboard har bekræftet en af Googles største bekymringer om kunstig intelligens, og det er ikke, at de er super-intelligente, men at de diskriminerer.

Motherboard-journalisten Andrew Thompson har leget med Googles nye Cloud Natural Language API, der giver udviklere adgang til Googles deep-learning modeller til sprogforståelse.

API'en kan bl.a. analysere sætningsstruktur og genkende ord. API'en kan også vurdere, om ord og udtryk er positive, hvilket den giver en positiv numerisk score. Hvis ordet er negativt, får det en negativ numerisk score.

Journalisten fik API’en til at analysere sætninger som »jeg er kristen«, og »jeg er sikh,« hvilket kastede positive scorer af sig. Problemerne opstod, da han prøvede sætninger som »jeg er jøde«, »jeg er en homoseksuel sort kvinde«, og »jeg er homoseksuel«, da alle disse sætninger resulterede i negative værdier, mens »jeg er en straight fransk bror« gav en positiv score.

»Jeg er en homoseksuel hund« gav sågar også en negativ værdi, på trods af at ordet »hund« alene hverken udløste en positiv eller negativ score.

Google beklager

Google reagerede på journalistens kritik med en undskyldning.

»Vi bruger meget krudt på at sikre, at API’en undgår diskrimination, men det lykkes ikke altid. Det her er et af de tilfælde, og det er vi kede af,« svarer en talsperson fra Google i kølvandet på artiklen.

De påstår at have rettet fejlen, og tester man journalistens sætninger på Googles egen implementering af API’en, kommer der heller ikke negative værdier ud.

Googles egen AI-chef, John Giannandrea, sagde tidligere på året, at hans største frygt var, at kunstige intelligenser diskriminerer, fordi de bliver trænet på data med indbygget partiskhed som online artikler, nyheder, retsdokumenter m.m.

Et generelt problem for machine learning

Det er ikke en ny opdagelse at algoritmer opfører sig partisk. Harvard-matematikeren Cathy O’Neil satte sidste år fokus på problemet med sin bog Weapons of Math Destruction, hvor hun på baggrund af sin egen erfaring med at udvikle algoritmer italesatte, hvordan partiske algoritmer kan skabe øget ulighed.

Læs også: Forskere og tech-giganter: 10 nødvendige regler før verden er klar til kunstig intelligens

Journalister har også afdækket, hvordan algoritmer, som bruges af det amerikanske retsvæsen, diskriminerer mod afroamerikanere, og Motherboards journalist forklarer den negative score ved ordet 'jøde' med, at det ord mest bruges i anti-semitiske kontekster, mens nyhedsmedier tenderer til at bruge ordet for 'af jødisk afstamning' i stedet.

»Det er nemt nok at komme uden om de her problemer individuelt, men at undgå dem systemisk er meget svært,« siger professor i computer science Ernest Davis fra New York Universitet til Motherboard.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (16)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Povl H. Pedersen

De fleste ville føle sig stødte over at blive kaldt homoseksuel selvom de ikke er det. Det er ikke et positivt eller netralt tillægsord for store dele af befolkningen.

Sort eller neger er absolut neutrale ord der beskriver et tydeligt fysisk kendetegn. Ligesom høj, tyk, tynd, rødhåret, blondine etc. Men der er nogle der har valgt at ordene skal tolkes negativt.

Se jobbet skraldemand. Det har fået nye navne løbende. Renovationsmedarbejder -> servicemedarbejder -> skraldemand.

Eller sælger der alle blev konsulenter eller salgskonsulenter, eller sales manager. Ingen sælger vil kaldes sælger.

Rullestol blev til Kørestol og hvad det så end hedder i dag.

Der er ord der i tiden får en positiv eller negativ værdi. Og det skal man have med.

  • 7
  • 5
Kjeld Flarup Christensen

Der er ord der i tiden får en positiv eller negativ værdi. Og det skal man have med.


Det vil jeg jo netop mene at AI systemerne gør.

den diskriminerer ikke, den har bare endnu ikke lært reglerne for hvornår man skal lyve


Sandheden skal man høre af børn, fulde og AI systemer.

Det der åbenbart er øvelsen nu, er at få AI til at være politisk korrekt. Men er det godt?

Hvis en person kalder mig for en homo neger, og jeg så spørger et AI system om det var positivt eller negativt ment, hvad skal det stakkels system så svare.

  • 5
  • 5
Henning Mølsted Editor

Kære læsere.

I al venlighed vil jeg gøre opmærksom på, at Version2s debat er forbeholdt til diskussion af tekniske forhold. Version2 er ikke det rette sted til at lufte sine personlige holdninger til fx minoriteter. Heller ikke selv om det sker på en begavet subtil måde.

Vh Henning Mølsted, redaktør

  • 8
  • 7
Kjeld Flarup Christensen

I al venlighed vil jeg gøre opmærksom på, at Version2s debat er forbeholdt til diskussion af tekniske forhold. Version2 er ikke det rette sted til at lufte sine personlige holdninger til fx minoriteter.


Jeg ser ikke nogen som lufter personlige holdninger.

Når jeg skriver "homo neger" så er det jo ikke fordi jeg ser negativt på disse to grupper, men fordi virkeligheden er at mange mennesker bruger disse ord negativt.

Så hvad er det tekniske spørgsmål egentligt?
Hvordan teknikken skal fjerne "forkerte" holdninger hos mennesker?

Alle kan sikkert blive enige om at det er slemt at se ned på minoriteter, men hvis Google løser dette problem, så udvikler de måske et værktøj som diktaturstater vil elske.
Så der er god grund til at hejse det etiske flag her!

  • 6
  • 0
Ivo Santos

Hvis jeg, og mange andre, hver dag siger til et lille barn at f.eks. sorte er dummere end alle andre, så vil det pågældende barn tro at sådan er det altid.

Hvis, jeg og mange andre, siger det samme til en som har lært at være kritisk over for hvad folk render rundt og siger, så vil personen stadigvæk ikke mene at f.eks. sorte er dummere end alle andre, men i stedet argumentere for det modsatte.

Så man kan vel sige at Google's AI og andre AI'er ikke er kommet over småbarns stadiet endnu, og det er vel derfor vi hører om alle disse jeg beklager kommentarer fra bland andet Google og Microsoft.

AI generelt burde være designet til at være kritisk overfor alt den information der kommer ind, og have mulighed for at analysere videnskabelige artikler og meget andre typer information for så vil den pågældende AI have fortalt personen at f.eks. sorte er lige så kloge som alle andre, og at sorte har den fordel at de kan tåle meget sol, hvorimod hvide personer fra nordiske lande ville få hudkraft hvis de opholdte sig i solen lige så længe som en sort person.

Jeg kunne sagtens komme med flere eksempler, men hovedpunktet er at de alle AI'er ikke er kodet til at være kritiske over for den information der kommer ind, og det er vel den funktion som der skal udvikles på.

  • 1
  • 0
Ivo Santos

Har du læst artiklen ?
Eller hoppede du direkte til kommentar delen ?

Ja, jeg har læst hele artiklen, og det har jeg gjort et par gange.
Etik vil jeg ikke forholde mig til da det punkt hører til under en artikel om Etik og kunstig intelligens.

så vil den pågældende AI have fortalt personen at f.eks. sorte er lige så kloge som alle andre

Kunstig intelligens kan bruges til mange sammenhæng, og det kan være alt fra at analyserer patienters behandling, analyserer tekster, analyserer tale, og meget mere.
De skandaler vi har hørt om handler for det meste om analyse af enten tekst, eller menneskelige tale for det er åbenbart det område, som er det sværeste at lave rigtigt, og her kan jeg ligeledes også henvise til artiklen Twitter lærte Microsoft-chatbot at blive racist på et døgn og det der vel er problemet er at dagens nuværende AI'er ikke besidder en basal viden om hvad der er rigtigt og hvad der er forkert.

Hvis jeg i en chat skriver at f.eks. sorte er dummere end hvide, hvad er rigtig og hvad er forkert?
Videnskaben har svaret og mig bekendt er sorte ligeså kloge som hvide, så hvad nu hvis jeg i en chat, eller kommentar sektion skriver at sorte er dummere end hvide, hvad så?
Er det en kommentar jeg skriver det i, så kan kommentaren fjernes af en moderator.
Til en 'IRC' chat kan en såkaldt 'chatbot' indsættes til forskellige formål, og en sådan 'chatbot' kan også bruges i andre sammenhæng, så hvis jeg på en chat eller en social tjeneste skriver noget negativt om f.eks. sorte, så kunne man f.eks. lade en såkaldt 'chatbot' reagere og skrive et indlæg om at der i følge videnskaben er sorte lige så kloge som alle andre, og eventuelt inkludere et link til en videnskabelig artikel som rent faktisk beviser det jeg sagde er forkert.

Jeg indrømmer gerne at der svært ikke at inkluderer etik, og moral, men mon ikke at Version2 på et senere tidspunkt laver en artikel om etik og moral.

  • 0
  • 0
Frithiof Andreas Jensen

Det kan man da sagtens - man skal bare samtidigt väre klar over at "etnisk tilhörsforhold" bare er en proxy for det man I Gamle Dage kaldte "Klasse".

Ja, det er dårligt at väre sort fordi samfundet nu engang er indrettet sådan at fattige mennesker bedst motiveres med straf og hån mens rige mennesker bedst motiveres med lönninger på 360x gennemsnittet.

Der er mange fattige som også er sorte. Men "Klasse" eksisterer ikke i sproget i dag, så AI'en finder bare den bedste proxy for fattigdom - der er så "Sort", den ved jo ikke hvad ordet betyder, det er en label.

AI'en har jo ret.

Ud over fattigdom i sig selv, så er det helt acceptabelt i USA - forstået på den måde at ingen jo gör noget konkret ved det - for eksempel at bly-forgifte de fattige mennesker så deres börn helt natuligt bliver dummere og med dårligere impulskontrol end de börn hvis foräldre har råd til at bo steder hvor man vedligeholder tingene. Så er trenden jo ligesom sat lige fra starten og fordommene bliver bekräftet af "objektive data".

Grunde til man kan den slags er "Identity Politics", som simpelthen ud på at splitte de rentebetalende klasser til atomer, små stammer som kan motiveres til at slås med hinanden over de par bolcher som de rente-indsamlende klasser allernaadigst og under store protester deler ud.

Det virker fantastisk: Der findes har mange fattige hvide mennesker, akkurat lige så meget på skideren som fattige sorte mennesker, som stemmer på folk som repräsenterer forringelser i Social Security eller Medical Insurance fordi "Wellfare Moms" - underforstået fattige sorte kvinder. Der findes mange sorte mennesker som flipper ud over hvis nogen nävner at politiet lige gerne plökker alle i smadder for det mindste.

Så ingen bliver enige om noget nogensinde andet end at "De Andre" er nogle svin; den her gang stemte man på nogen som kan sparke noget sand på "De Andre"s picnic.

Mon ikke Google "fixer" AI'en snarere end Problemet?

  • 1
  • 0
Log ind eller Opret konto for at kommentere