Spørg om du bør, ikke om du kan, bruge AI
Der er i øjeblikket stort fokus på bias i AI. Meget af den debat, der opstår på baggrund af historier om fordomsfuld AI handler om at fikse dataen, så den ikke længere under- eller overrepræsenterer visse grupper (fx ved hjælp af generering af syntetisk data), eller om hvorvidt man bør bruge machine learning modeller, der er mere gennemskuelige.
Sjældent omhandler debatten, hvorvidt man overhovedet bør bruge machine learning til at træffe en given beslutning. I denne artikel formulerer jeg nogle spørgsmål, som du kan stille dig selv for at afgøre, om du bør (ikke kan) bruge AI til et givent problem.
Nogle beslutninger er uegnet til machine learning
Lad mig fremhæve nogle eksempler, som burde have fået os til at spørge 'bør vi bruge AI til at træffe denne slags beslutninger?', og hvortil svaret i min optik skulle have været 'nej'.
Tildeling af risikoscorer til udsatte børn
I 2018 begyndte sagsbehandler i to danske kommuner at anvende et machine learning baseret værktøj i deres arbejde med at vurdere underretninger om børn og unge. Baseret på data om barnets situation tildelte værktøjet en risikoscore, der udtrykte risikoen for mistrivsel. Modellen blev anvendt i 200 sager inden det blev opdaget, at modellen var yderst fejlbarlig. Det viste sig, at den tildelte forskellige scorer til to børn for hvem alle inputvariable pånær alder var ens.
Det er ikke klart for mig, hvorfor man ville bruge machine learning til at lave disse risikovurderinger. Mennesker er langt bedre end maskiner til at forstå årsagssammenhænge, og man har tidligere set, at sagsbehandlere er i stand til at lave risikovurderinger uden brug af machine learning.
Tildeling af karakterer
I England blev en algoritme i 2020 anvendt til at tildele karakterer til elever, der ikke kunne gå til eksamen på grund af pandemien. I et forsøg på at matche, hvad historiske data viste, gav algoritmen højere karakterer til elever fra privatskoler, og lavere karakterer til elever på store, offentlige skoler, hvor en stor del af eleverne historisk set har haft minoritetsbaggrunde. Det medførte, at elever med minoritetsbaggrunde og elever fra økonomisk ringere stillet hjem fik uproportionelt ringere karakterer.
Hvorfor ikke lade underviserne varetage denne opgave? De ville angiveligt være langt bedre til at lave individuelle vurderinger af eleverne end en algoritme, fordi en algoritme kun ser korrelationer og ikke kausale sammenhænge. For et par timers ekstra arbejde per lærer ville man kunne eliminere risikoen for, at en stor gruppe elever blev uretfærdigt behandlet. Ganske vist kan individuelle lærere også være biased, men i det mindste ville denne bias ikke ramme alle elever fra minoritetsgrupper.
Vurdering af risiko for recidivisme
I USA træffer dommere flere steder beslutninger med input fra en algoritme, fx når der skal tages stilling til hvorvidt en fængselsindsat skal prøveløslades. Algoritmen vurderer personers risiko for at begå kriminalitet igen. Undersøgelser har peget på, at algoritmen udviser bias mod visse etniske grupper, selvom der er debat om hvorvidt det er tilfældet.
Hvorfor anvende AI til denne slags beslutninger? Det er ikke umiddelbart fordi det kan medføre store omkostningsbesparelser. Og selvom anvendelsen af AI kan modvirke eventuelle fordomme hos dommere, så er algoritmen trænet på historisk data der er gennemsyret af århundreders racisme.
Spørg om du bør, ikke om du kan
Det forekommer, at beslutninger om at bruge AI i situationer som dem beskrevet ovenfor beror sig mere på spørgsmålet om hvorvidt man kan og ikke hvorvidt man bør bruge AI til at træffe en given beslutning.
Nedenfor foreslår jeg en række spørgsmål, der kan være med til at afgøre, om man bør bruge AI til at træffe en given beslutning.
- Kan mennesker træffe lige så gode beslutninger på et acceptabel omkostningsniveau? Det giver mening at bruge en algoritme til at identificere den korteste rute mellem to punkter på et kort, fordi det ville tage et menneske uforholdsmæssigt lang tid at gøre. Det giver derimod ikke mening at bruge en algoritme til at forudsige recidivisme, fordi algoritmens træfsikkerhed ikke er god nok til at opveje for risikoen for biased beslutninger.
- Har beslutningen en betydelig indflydelse på et menneskes liv? Selvom det er træls at få ødelagt en vase af en autonom støvsuger, så er det et uheld der blegner i sammenligning uheld der involverer selvkørende biler.
- Opvejer nytteværdien af denne anvendelse af AI risiciene? Hvis vi en dag får fuldt selvkørende biler, er der nok en risiko for at de forårsager skade på mennesker, men selvkørende biler gør det måske sjældnere, end når et menneske kører bilen.
Her ses spørgsmålene opstillet i et diagram:
Illustration: Kasper Groes Ludvigsen.
Hvis du konkluderer, at AI bør bruges til et givent problem, kan du efterfølgende besvare spørgsmålet 'kan AI træffe denne beslutning' ved at tage stilling til gængse faktorer såsom datakvalitet og -mængde, modellens træfsikkerhed m.m.
Selvom ovennævnte spørgsmål ikke er udtømmende (og måske endda ikke engang de rigtige spørgsmål at stille), så mener jeg, at de er et godt udgangspunkt. Ved at starte dit AI projekt med at spørge 'bør vi bruge AI til denne beslutning' kan vi reducere risikoen for at træffe uretfærdige beslutninger, der påvirker menneskers fremtid og I stedet bruge AI, der hvor det giver mening.
Vil du bidrage til debatten med et synspunkt? Så skriv til vores debatredaktion på debat@ing.dk
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
