Matematikere stopper hjælp til forudsigende politisoftware

Hvad nu hvis algoritmen har ret?

Ignorerer man resultatet fordi det ikke matcher dagens ideologi?

Uden I øvrigt at ane en pind om det nævnte emne, så er man jo nødt til at overveje den mulighed også.

Racistiske computere per design ligger noget ude i fremtiden. Det har taget os et par millioner år.

Hvad nu hvis algoritmen har ret?

Jeg tror godt politiet kan finde derhen uden algoritmer. Og "the usual suspects" er nok et godt sted at starte.

Hvad nu hvis algoritmen har ret?

Det har den da sikket - men der kan være måder at bruge den på, der blot forstærker problemet.

F.eks. hvis bestemte etniciteter i forvejen er udsat for strukturel negativ forskeldsbehandling, vil algoritmer der benytter etnicitet som faktor, blot kunne forstærke problemet, i form af forebyggende andholdelser, baseret på etnicitet.

Det kan være ødelæggende for den enkeltes retsfølelse, når der andholdes lovlydige borgere. på et tosset grundlag. Det sker også herhjemme.

Men matematikerene vil altså ikke deltage i den udvikling. Hatten af for dem! Håber at der er nogle politifolk og politikere, der skal have tænkehatten på.

"F.eks. hvis bestemte etniciteter i forvejen er udsat for strukturel negativ forskeldsbehandling, vil algoritmer der benytter etnicitet som faktor, blot kunne forstærke problemet, i form af forebyggende andholdelser, baseret på etnicitet."

Simon rammer hovedet på sømmet; det handler ikke om den pragmatiske værdi, men om hele konceptet i at systematisere forudsigelser på baggrund af noget som de eventuelt implicerede ikke har nogen jordisk chance for at få indsigt i. Der er 1000 argumenter for hvorfor predictive policing er noget juks/humanitær katastrofe.

Men hold kæft hvor er det rart at se, at de der er med til at facalitere problemets fundament trækker stikket. Så mangler vi bare dem der lovpriser fra oven.

Det følger logisk af hvordan machine learning virker, at en algoritme blot begynder at bekræfte sig selv.

Det er ikke kun predictive policing som lider af det her. Det gør al AI.

Så i stedet for at bakke ud, burde matematikerne kaste sig ud i udfordringerne.

Ikke al AI. Det drejer sig om positive feed back loops. Sportsresultater f.eks. En AI til at hjælpe med holdets taktik. Der kommer ny ufarvet data efter hver kamp.

Det er negative feedback loops der er problemet og der er predictive policing særligt slemt. Vores primitive AI'er kræver enorme mængder data for at forudsige f.eks. hvor der bliver solgt stoffer. Bruger man softwaren, kommer hele tiden ny farvet data til, men ingen ufarvet, med mindre politiet gør det modsatte af hvad AI'en anbefaler, og søger efter narkohandel i sammenhænge hvor det ikke er set før.

Læs Weapon of Math Destruction. Den giver bl.a. predictive policing en tiltrængt overhaling.

Læs Weapon of Math Destruction.

Tommel op.

Der kommer ny ufarvet data efter hver kamp.

Kun indtil de medvirkende begynder at gå efter at opfylde målsætningerne fremfor at spille godt (se Goodharts's lov). Engang imellem er det rigtige at gøre noget "forkert". Her vil holdet kunne bliver fastholdt i et lokalt ekstrempunkt uden mulighed for at tilpasse eller forbedre sig, især hvis der måles forkert til at begynde med. Og bare det, at de kan blive mindre villige til at tage chancer, kan vise sig at være en betydelig ulempe.

Det kan godt være, at "spillet" virker ufarvet, men det betyder ikke, at "meta-spillet" er det.

Effektive, men rigide og ugennemsigtige systemer (og regler) kan reducere evnen til at reagere på nye udfordringer, og evnen til at erkende nye vilkår og situationer, og dermed evnen til at lære. AI/ML kan nemt blive til bureaukrati med strøm på.