Når algoritmer udvikles af en bestemt gruppe mennesker på baggrund af data, der hovedsageligt kommer fra den selv samme gruppe mennesker, så kan der opstå en skævvridning til fordel for den gruppe.
Det fænomen har blandt andet ledt til stemmegenkendelsessoftware trænet af mænd, der har problemer med at forstå kvinder. Det har også ført til en reklameplatform, der var mere tilbøjelig til at vise annoncer for højt betalte job til mænd.
Nu forsøger en gruppe forskere at komme det såkaldte 'hvid mands-problem' til livs med en test, der skal afsløre om en algoritme er diskriminerende i forhold til køn og race, skriver The Guardian.
»Beslutninger baseret på machine learning kan være utroligt anvendelige og have stor indflydelse på vores liv,« forklarer Moritz Hardt, seniorforsker hos Google, der har været leder af projektet.
»Til trods for behovet, har vi manglet en form for testmetode inden for machine learning til at forhindre diskrimination på baggrund af følsomme attributter,« siger han.
Testen er rettet mod machine learning-værktøjer, der skal forsøge at lave forudsigelser på baggrund af store datamængder. Den indre logik i algoritmens afgørelser er ofte uigennemskuelig - selv for skaberne.
»Selv hvis vi har adgang til algoritmernes indre, er de så komplicerede, at det er nyttesløst at komme derind,« siger datalog ved University of Chicago Nathan Srebro, der er med i forskerholdet.
»Hele pointen med machine learning er at bygge magiske sorte kasser,« fortsætter han.
Af samme grund ser forskernes test ikke på, hvordan algoritmer er opbygget - men på resultatet, de producerer. Testen går dybest set ud på, at algoritmens resultat ikke må afsløre noget om personens køn eller race, som ikke allerede kunne aflæses af dataen.
Hvis det fx var dobbelt så sandsynligt, at mænd kom bagud med at betale et lån tilbage, som at kvinder gjorde det, kunne en algoritme vælge, at mænd aldrig skulle godkendes til lån. Den ville i så fald altid afsløre kønnet på den person, der ansøger om lån.
»Det ville kunne opfattes som upassende diskriminering,« forklarer Srebro.
Tilgangen kalder forskerne Equality of Opportunity in Supervised Learning, og det er ifølge forskningsartiklen ikke målet at bevise, at algoritmen er fair, men snarere at spotte, om den er unfair.
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
