Amerikanske domstole bruger racistiske algoritmer

Ny undersøgelse viser, at de algoritmer, som amerikanske domstole læner sig op ad, når de afsiger dom, fejlagtigt dømmer sorte hårdere end hvide.

Algoritmer, som dommere i USA læner sig op ad i domsafsigelser, er hårdere mod sorte end mod hvide – når man ser isoleret på race og altså ikke på personens egen historik. Det skriver Tech.mic, at en ny undersøgelse fra ProPublica, der er baseret på tusind domsafsigelser i Florida-området, har afsløret.

Algoritmerne benyttes for eksempel, når en dommer skal afgøre, hvorvidt en fange skal prøveløslades. Her fortæller de dommeren om sandsynligheden for, at personen begår en ny forbrydelse.

»Formlen havde især tendens til fejlagtigt at kategorisere sorte kriminelle til at begå fremtidige forbrydelser, og raten for at lave denne forkerte kategorisering var dobbelt så høj som ved hvide kriminelle,« skrev forskningsholdet bag undersøgelsen.

Tager udgangspunkt i omgivelserne

For selvom algoritmerne ikke direkte bygger på race, bygger det på spørgsmål som: 'Har nogen af forældrene været i fængsel?' og: 'Hvor mange stofmisbrugere kender du?'. Ved ikke at tage udgangspunkt i personen selv, men i de sociale omgivelser, skaber det et skævt resultat, da sorte i USA i højere grad lever i socialt belastede områder.

Hvide blev desuden også oftere fejlagtigt sat i lavrisikogruppen sammenlignet med sorte.

Firmaet bag algoritmen ved navn Northpointe vil ikke vise algoritmen til Tech.mic og erklærer sig uenige i undersøgelsens resultat, da de mener, at algoritmerne er ’præcise’ i deres forudsigelser, står der i undersøgelsen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (17)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Bent Jensen

", da de mener algoritmerne er ’præcise’ i deres forudsigelser, står der i undersøgelsen."

At sorte kommer mere i fængsel, fordi de sender dem mere i fængsel ?

En længervarende fængselsdom i ungdomen, er også god for fremtidigt job og udannelse.
Så det at sende nogen længere tid i fængsel, betyder at sansynligheden for at får en ny dom øges ?

  • 8
  • 0
Jesper Nielsen

Jeg er selv ansat i det offentlige her i Danmark, og laver bl.a. sagsbehandling. Og puha, det gør godt nok ondt at læse, at USA bruger algoritmer til at systematisere skønsmæssige forvaltningsakter på den måde — især når der er tale om så alvorlige sager.

Det minder mig så om Arbejdsskadestyrelsens eksperiment med automatisering af afgørelser, så vi er måske egentlig ikke så meget bedre her i Danmark, alt efter hvilke styrelser man kigger på. Er der nogen der er opdateret omkring dét?

  • 3
  • 0
Anne-Marie Krogsbøll

Jeg ved ikke, hvad der er blevet af den sag med automatisering af Arbejdsskadestyrelsen. Men man kan nogen gange undre sig over, HVOR det er, man vælger at automatisere.

Arbejdsskadesager er jo ikke det mest oplagte automatiseringsmål - til gengæld kunne man da godt ønske, at der var mere automatisering mht. at følge op på, at der f.eks.i de aktuelle vindmøllesager (Vestas og Siemens) gennem 10 år har været utallige alvorlige arbejdsskader - uden at nogen har reageret! Der kunne man vel godt ønske sig, at der var et system til at opsamle disse indberetninger og udløse en voldsom og uudholdelig "red alert" på en passende computerskærm, så vi ikke sikkert igen om et par år fra andre brancher skal høre lignende triste og fuldt ud undgåelige historier om ødelagte skæbner pga. manglende indsats fra arbejdstilsynet .

Jeg kan i øvrigt godt dele Ninett Fischer Jensens bekymringer. Den nye centralisering af medicinske data giver jo godt grundlag for senere at indbygge automatiserede ordinationer - og der kunne man da godt frygte, at økonomiske overvejelser bliver bygget ind i algoritmerne.

Se og hør de seneste dages foruroligende oplysninger om denne udvikling her: https://www.facebook.com/BevarTavshedspligten/
http://www.radio24syv.dk/programmer/aflyttet/13668267/aflyttet-uge-20-2016/

  • 1
  • 0
Camilla Bang

Jeg ved heller ikke, hvad der blev af den sag hos Arbejdsskadestyrelsen. Desværre fremgår det heller ikke af deres hjemmeside.
Jeg har nu spurgt dem konkret på mail. Måske mener de at det kun de diagnosekoder, der står på deres liste, der kan anerkendes. I hvert fald ville det være rart at vide. Folk kan jo sagtens komme til at fejle andet pga. arbejdet eller der kan være givet en ligeså korrekt diagnose, som bare ikke er nævnt på deres liste.

  • 2
  • 0
Jesper Nielsen

automatisering mht. at følge op

Automatisering af opfølgning er helt oplagt. Og her kan Big Data jo sådan set hjælpe os rigtig meget. Der er kan laves analyser og findes mønstre, som kan hjælpe os med at reagere hurtigere.

Men automatisering af opfølgning er også langt mindre risikabelt end automatisering af afgørelse af sager. Det bør vi som udgangspunkt holde os langt fra - det er også problematisk rent forvaltningsretligt, "skøn under regel".

  • 2
  • 0
Michael Jensen

Overskriften og indholdet er da helt skævt, lige ind til slutningen, hvor det anføres, at det alligevel ikke er på baggrund af race, og dermed ikke racistisk.
Hvis én kategori af personer er mere kriminelle, så er denne kategori af personer mere kriminelle, uanfægtet om de så samtidig har ene eller anden type pigmentering.
En del moderne racisme opstår kun hvis man virkelig søger efter det, og vil have det skal være der.

Om algoritmen, parametrene eller hele automatiseringscirkuset så er godt eller skidt, er en helt anden sag :-)

  • 3
  • 1
Anne-Marie Krogsbøll

Du har ret, Michael Jensen - det er som udgangspunkt ikke nødvendigvis racistisk - såfremt algoritmen er baseret på fakta.

Men virkningen kan jo godt blive "racistisk" - uden at nogen har racistiske motiver i udgangspunktet. Lad os f.eks. sige, at farvede faktisk er mere kriminelle (den forenklede udgave af problemstillingen), og man så baserer sine afgørelser på algoritmer, der bygger på dette faktum - så betyder det vel, at også farvede, der IKKE ville være i fare for yderligere kriminalitet, f. eks. fordi de er blevet klogere/mere modne/kommet ud af en eller anden klemme, vil blive vurderet hårdere end tilsvarende "hvide"?

I øvrigt: Algoritmer er selvfølgelig forretningshemmeligheder - men det viser vel netop en af farerne ved den slags: At der kan være bygget forudsætninger ind, der tjener "uofficielle" interesser. For hvis vi ikke kan få lov at se forudsætningerne i algoritmerne -hvordan kan vi så vide, om der faktisk alligevel er tale om, at disse med forsæt er bygget på racistiske antagelser?

Det er et problem, der også vil kunne gøre sig gældende indenfor AI på sundhedsområdet - at det bliver umuligt for os at få indblik i, om de foreslåede diagnoser og medicineringer er "objektive", eller om forskellige interessenter har købt sig ind i beslutningsprocessen mhp. egen fordel.

  • 2
  • 0
Bjarke Jørgensen

Spørgsmål til læserne:

  1. Hvis en person falder ind under en bestemt kategori pba. X antal parametre (race, køn, alder, demografi, newsfeed-historik, social profil, økonomi-data, sundheds-data - og alt andet man kan tænke sig), og forudsigelser baseret på disse data kalkulerer (på historiske data) at personen med 99% sandsynlighed vil begå en forbrydelse indenfor X antal måneder hvad foreslår i da der gøres?

Skal personen løslades (lad os antage at dommen er tilendebragt)?
Skal personen tilbageholdes? (dommen er tilendebragt)
Skal personen løslades før-tid (hvis personen har udvist god opførelse - og dommen ikke er tilendebragt)?

Og, sidst men ikke mindst, vil jeres svar afhænge af %-satsen? Vil i svare det samme hvis sandsynligheden var 1, 10, 50%?

  • 1
  • 0
Anne-Marie Krogsbøll

Svært spørgsmål, Bjarke Jørgensen.

Det, der mangler i en algoritme, er vel muligheden for at danne sig et personligt indtryk af personen og dennes historier og motiver til at begå forbrydelsen. Eller regnes de også ind i algoritmen?

De parametre, du nævner, tager jo ikke højde for den slags - at forbrydelser under visse omstændigheder kan være forståelige for andre, og at man måske i de situationer kan vurdere, at risikoen for gentagelser ar minimale, selv om algoritmerne siger det modsatte.

Et eksempel kunne måske være et tilfælde af medlidenhedsdrab - kan/vil en algoritme tage højde for, at et sådant oftest ikke gentages? Måske - måske ikke.

  • 2
  • 0
Ninett Fischer Jensen

Hvis der er lidt sandhed i udtrykket "man får hvad man forventer", så er det jo ret uhensigtsmæssigt, at besvare det spørgsmål Bjarke Jørgensen stiller. Et spørgsmål vi opfordres til at besvare baseret på faktuelle personlige data fra fortiden. Hvis vi alligevel hopper på den galej, så ligger der implicit i svaret en klar forventning om, at den omhandlede persons fremtidige handlinger vil følge et mønster fra fortiden. Altså at vi får hvad vi forventer. Oprigtig tillid til, og opbakning af, det enkelte individ som mønsterbryder, kan forplumres af for megen data fra fortiden. Så kommer vi på en måde tilbage til Bent Jensen kommentar om selvopfyldelse.

  • 2
  • 0
Jesper Nielsen

Det er vel lige så racistisk, som de amerikanske love omkring besiddelse af stoffer er. Her giver besiddelse af crack kokain en højere straf end freebase. Sorte besidder oftere crack, mens hvide oftest besidder freebase. Resultatet er, at sorte ender med at få længere fængselsstraffe en hvide.

Nej, loven er ikke i sig selv racistisk, men det er resultatet måske?

  • 1
  • 0
Camilla Bang

Arbejdsskadestyrelsen svarede ikke på min mail, om det hele forgik pr. automatik uden en menneskelig hånd, så jeg ringede.
De sagde at der var altid "en menneskelig hånd" ind over, fx en jurist. Hvor meget jurister ved om diagnoser, arbejde og arbejdsskader ved jeg ikke (jeg er nok lidt fordomsfuld, indrømmet), selvom de selvfølgelig kender regler og lovgivning.

  • 3
  • 0
Camilla Bang

Til Anne-Marie Krogsbøll

Jeg ved ikke, hvordan Arbejdsskadestyrelsen definerer "en menneskelig hånd". De uddybede det ikke nærmere ud over juristen. Jeg følte det uvelkomment, at jeg spurgte.

Mange af deres afslag undrer mig (det fortalte jeg ikke). Også afslag, hvor folk ikke har behov for erstatning, men bare en anerkendelse. Anerkendelsen af en problemstilling kan også bruges til forebyggelse af alvorligere skader.

  • 2
  • 0
Log ind eller Opret konto for at kommentere
IT Company Rank
maximize minimize