Forskere udvikler test til at afsløre racistiske algoritmer

En test skal afgøre om en algoritme lider af 'hvid mand'-bias.

Når algoritmer udvikles af en bestemt gruppe mennesker på baggrund af data, der hovedsageligt kommer fra den selv samme gruppe mennesker, så kan der opstå en skævvridning til fordel for den gruppe.

Det fænomen har blandt andet ledt til stemmegenkendelsessoftware trænet af mænd, der har problemer med at forstå kvinder. Det har også ført til en reklameplatform, der var mere tilbøjelig til at vise annoncer for højt betalte job til mænd.

Læs også: Samfundet er i hænderne på algoritmer, men kode-etikken er helt til rotterne

Nu forsøger en gruppe forskere at komme det såkaldte 'hvid mands-problem' til livs med en test, der skal afsløre om en algoritme er diskriminerende i forhold til køn og race, skriver The Guardian.

»Beslutninger baseret på machine learning kan være utroligt anvendelige og have stor indflydelse på vores liv,« forklarer Moritz Hardt, seniorforsker hos Google, der har været leder af projektet.

»Til trods for behovet, har vi manglet en form for testmetode inden for machine learning til at forhindre diskrimination på baggrund af følsomme attributter,« siger han.

Læs også: Professor: Vi har ret til en forklaring på afgørelser taget af intelligent software

Testen er rettet mod machine learning-værktøjer, der skal forsøge at lave forudsigelser på baggrund af store datamængder. Den indre logik i algoritmens afgørelser er ofte uigennemskuelig - selv for skaberne.

»Selv hvis vi har adgang til algoritmernes indre, er de så komplicerede, at det er nyttesløst at komme derind,« siger datalog ved University of Chicago Nathan Srebro, der er med i forskerholdet.

»Hele pointen med machine learning er at bygge magiske sorte kasser,« fortsætter han.

Læs også: Programmør: Dårlig software slår folk ihjel

Af samme grund ser forskernes test ikke på, hvordan algoritmer er opbygget - men på resultatet, de producerer. Testen går dybest set ud på, at algoritmens resultat ikke må afsløre noget om personens køn eller race, som ikke allerede kunne aflæses af dataen.

Hvis det fx var dobbelt så sandsynligt, at mænd kom bagud med at betale et lån tilbage, som at kvinder gjorde det, kunne en algoritme vælge, at mænd aldrig skulle godkendes til lån. Den ville i så fald altid afsløre kønnet på den person, der ansøger om lån.

Læs også: Test din egen etik mod den selvkørende bil

»Det ville kunne opfattes som upassende diskriminering,« forklarer Srebro.

Tilgangen kalder forskerne Equality of Opportunity in Supervised Learning, og det er ifølge forskningsartiklen ikke målet at bevise, at algoritmen er fair, men snarere at spotte, om den er unfair.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (3)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Log ind eller Opret konto for at kommentere
IT Company Rank
maximize minimize