Matematikere stopper hjælp til forudsigende politisoftware

Illustration: monsitj/Bigstock
Amerikanske matematikere vil ikke længere hjælpe politiet med at lave fremskrivninger for potentiel kriminalitet, de er nemlig bange for, at det understøtter systemisk racisme.

Flere prominente akademiske matematikere vil ikke længere samarbejde med politiafdelinger på tværs af USA. Det er særligt arbejde relateret til ’forudsigende politisoftware’, der skal hjælpe politiet til at forudsige kommende kriminalitet, potentielle forbrydere og ofre. Det skriver Popular Mechanics.

Læs også: Skal forhindre svindel: Amazon åbner op for deres antisvindel-algoritme

Analyserne bliver lavet på baggrund af historiske data, og målet er at lede politiet de rigtige steder hen, før kriminaliteten er sket.

Algoritmisk retfærdiggørelse af racisme

Men det vil 1500 matematikere, der alle har underskrevet et brev til Notices of the American Mathematical Society, altså ikke længere bidrage til.

Årsagen er den strukturelle racisme og politivold, der i disse dage og måneder er genstand for mange demonstrationer rundt om i hele USA og resten af verden. Underskriverne er bange for, at deres arbejde kan være med til at skabe et pseudovidenskabeligt grundlag for fortsat racisme. Derfor beder underskriverne også andre matematikere om at underskrive brevet og stoppe samarbejdet med politiet.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (7)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Helge Svendsen

Hvad nu hvis algoritmen har ret?

Ignorerer man resultatet fordi det ikke matcher dagens ideologi?

Uden I øvrigt at ane en pind om det nævnte emne, så er man jo nødt til at overveje den mulighed også.

Racistiske computere per design ligger noget ude i fremtiden. Det har taget os et par millioner år.

  • 8
  • 4
#3 Simon Rigét

Hvad nu hvis algoritmen har ret?

Det har den da sikket - men der kan være måder at bruge den på, der blot forstærker problemet.

F.eks. hvis bestemte etniciteter i forvejen er udsat for strukturel negativ forskeldsbehandling, vil algoritmer der benytter etnicitet som faktor, blot kunne forstærke problemet, i form af forebyggende andholdelser, baseret på etnicitet.

Det kan være ødelæggende for den enkeltes retsfølelse, når der andholdes lovlydige borgere. på et tosset grundlag. Det sker også herhjemme.

Men matematikerene vil altså ikke deltage i den udvikling. Hatten af for dem! Håber at der er nogle politifolk og politikere, der skal have tænkehatten på.

  • 18
  • 3
#4 Bjarke Haack Jørgensen

"F.eks. hvis bestemte etniciteter i forvejen er udsat for strukturel negativ forskeldsbehandling, vil algoritmer der benytter etnicitet som faktor, blot kunne forstærke problemet, i form af forebyggende andholdelser, baseret på etnicitet."

Simon rammer hovedet på sømmet; det handler ikke om den pragmatiske værdi, men om hele konceptet i at systematisere forudsigelser på baggrund af noget som de eventuelt implicerede ikke har nogen jordisk chance for at få indsigt i. Der er 1000 argumenter for hvorfor predictive policing er noget juks/humanitær katastrofe.

Men hold kæft hvor er det rart at se, at de der er med til at facalitere problemets fundament trækker stikket. Så mangler vi bare dem der lovpriser fra oven.

  • 15
  • 3
#6 Kasper Birch Olsen

Ikke al AI. Det drejer sig om positive feed back loops. Sportsresultater f.eks. En AI til at hjælpe med holdets taktik. Der kommer ny ufarvet data efter hver kamp.

Det er negative feedback loops der er problemet og der er predictive policing særligt slemt. Vores primitive AI'er kræver enorme mængder data for at forudsige f.eks. hvor der bliver solgt stoffer. Bruger man softwaren, kommer hele tiden ny farvet data til, men ingen ufarvet, med mindre politiet gør det modsatte af hvad AI'en anbefaler, og søger efter narkohandel i sammenhænge hvor det ikke er set før.

Læs Weapon of Math Destruction. Den giver bl.a. predictive policing en tiltrængt overhaling.

  • 2
  • 0
#7 Bjarne Nielsen

Læs Weapon of Math Destruction.

Tommel op.

Der kommer ny ufarvet data efter hver kamp.

Kun indtil de medvirkende begynder at gå efter at opfylde målsætningerne fremfor at spille godt (se Goodharts's lov). Engang imellem er det rigtige at gøre noget "forkert". Her vil holdet kunne bliver fastholdt i et lokalt ekstrempunkt uden mulighed for at tilpasse eller forbedre sig, især hvis der måles forkert til at begynde med. Og bare det, at de kan blive mindre villige til at tage chancer, kan vise sig at være en betydelig ulempe.

Det kan godt være, at "spillet" virker ufarvet, men det betyder ikke, at "meta-spillet" er det.

Effektive, men rigide og ugennemsigtige systemer (og regler) kan reducere evnen til at reagere på nye udfordringer, og evnen til at erkende nye vilkår og situationer, og dermed evnen til at lære. AI/ML kan nemt blive til bureaukrati med strøm på.

  • 3
  • 0
Log ind eller Opret konto for at kommentere