USA: Microsoft nægter at levere ansigtsgenkendelsesteknologi til politienhed

Illustration: Milkos/Bigstock
Microsoft angiver, at de er bekymret for menneskerettigheder ved brug af deres teknologi til ansigtsgenkendelse. Derfor har flere offentlige myndigheder fået nej til at købe teknologien.

Microsoft har afvist at levere ansigtsgenkendelsessoftware til en politimyndighed i Californien. Politimyndigheden ville gerne anvende løsningen i kameraer, der er installeret i politibiler og som såkaldte body cams. Det skriver Reuters.

Men det vil Microsoft altså ikke. Chefjurist og direktør Brad Smith har under et event på Stanford University givet udtryk for, at anvendelsen af teknologien kan føre til at der rejses uretsmæssig mistanke mod kvinder og minoriteter i strid med menneskerettighederne.

Tidligere forskning har påvist, at ansigtsgenkendelsesteknologi giver en højere fejlrater på alle andre end hvide mænds ansigter, fordi teknologien netop er trænet på denne befolkningsgruppe.

Og ifølge Microsoft viser erfaringerne at ansigtsgenkendelsesteknologien i vid ustrækning bliver anvendt på nær sagt hvem som helst, som politiet kommer i kontakt med.

Også bystyre har fået nej

Microsoft har også afvist at levere til et bystyre, der gerne ville installere teknologien i overvågningskameraer i bymiljøet. Det ville true forsamlingsfriheden, lød det.

Til gengæld har selskabet accepteret en leverance til et amerikansk fængsel, efter at selskabet konkluderede, at der kun var tale om en begrænset anvendelse, og at det ville forbedre sikkerheden på institutionen.

Microsoft mener generelt, at der er behov for ny lovgivning, der regulerer brugen af disse teknologier.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (3)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Bjarne Nielsen

Hvordan skulle mere træning kunne hjælpe på denne indvending (taget fra artiklen)?

Microsoft har også afvist at levere til et bystyre, der gerne ville installere teknologien i overvågningskameraer i bymiljøet. Det ville true forsamlingsfriheden, lød det.

Det, som sker på Roskilde, skulle gerne blive på Roskilde. Og vi har set, hvordan bare det at spise en sandwich kan være problematisk for en politiker: https://en.wikipedia.org/wiki/Ed_Miliband_bacon_sandwich_photograph - tænk, hvis alle med politiske ambitioner slet ikke tør begive sig ud i samfundet; til Roskilde eller til Nørrebro. Eller spise en pølse ved en pølsevogn. For med ansigtsgenkendelse, så skal vi nok finde dem, også mange år efter. F.eks. har vi set, hvordan en mange år gammel spritdom pludselig kunne graves frem.

En teknologi kan ikke kun betragtes isoleret som en teknisk laboratorie løsning; vi bliver nødt til at forholde os til, hvordan den kan blive brugt, og hvad det kan have af konsekvenser.

Men selve teknologien er nu også udfordret. Problemet er i høj grad, at man måske kan demonstrere fejlrater i laboratoriet, som ikke ser så forfærdelige ud, men praksis bare slet ikke svarer til de ideelle omstændigheder, som findes i laboratoriet. I virkeligheden vil fejlraterne for det første gå op (måske bliver det mest brugt om aftenen/i nattelivet), dels vil man opdage, at selv tilsyneladende små fejlrater vil vise sig at være gående fra upraktisk til direkte problematisk (for de bliver brugt til at lave indgreb med, og der er ikke langt fra indgreb til overgreb).

Denne artikel i The Guardian fra august sidste år beskriver hvordan man ifm. Notting Hill karnevallet har lagt ansigtsgenkendelse på hylden, da det viste sig at være både problematisk og kontroversielt i praksis:

https://www.theguardian.com/culture/2018/aug/24/knife-arches-to-be-set-u...

Her er en af de mere opsigtsvækkende citater fra artiklen:

One independent observer of last year’s trial, from the human rights group Liberty, told the Guardian that the system, which links cameras to databases of suspects, in one instance matched a young woman to a balding man. It also confused genders on a second occasion.

Ouch. Der er sandelig brug for mere træning (spor af ironi kan forekomme).

Der er også problemet med tvillinger og andre dobbelgængere (og ja, der er folk som har dobbelgængere, nogle laver endda en karriere ud af at ligne Elvis!). Eller hvad med denne historie om hvordan iPhone forvekslede mor og søn: https://www.wired.com/story/10-year-old-face-id-unlocks-mothers-iphone-x/?

Det gør ikke så meget, hvis man ligner svigermors drøm, men kan man forvekles med en, som er kendt for personfarlig kriminalitet, så kan det godt give jævnlige hudafskrabninger og det som er værre, indtil det lokale politi forhåbentlig lærer at man ikke er ham den anden fra den anden ende af landet.

Endelig er der det problem, at vi har at gøre med en gruppe (mennesker) som tænker selv og kan finde på modforanstaltninger. Alle der har spiller multiplayer computerspil ved, hvor gode nogle er til at finde og udnytte selv de mindste huller.

Og så kommer vi f.eks. ind på "adversarial attacks". Her er en populær artikel (fra sidste år) med afsæt i en egentlig forskningsartikel (fra 2014), som beskriver problemet: https://medium.com/element-ai-research-lab/tricking-a-machine-into-think... - ved bare at tage mønstrede briller på, så kan man forvirre algoritmerne til at tro at man er en anden. Eller få stopskilte til at ligne fartskilte i stedet for.

Eller få en Tesla til at følge striber på vejen, som ikke er der, som her: https://boingboing.net/2019/03/31/mote-in-cars-eye.html. Som Bruce Schneier konkluderer på sin blog, som kommentar til ovenstående:

This is machine learning's big problem, and I think solving it is a lot harder than many believe.

(https://www.schneier.com/blog/archives/2019/04/adversarial_mac.html)

Jeg har læst en håndfuld videnskabelige artikler om emnet; det er ikke mit gebet, så jeg skal ikke påstå at have forstået alt, men det et tydeligt, at der er mere grundlæggende problemstillinger end bare behovet for mere træning og bredere datasæt.

PS: Og så har vi slet ikke talt om menneskene på den anden side. Denne kilde (som er to år gammel - tilsæt selv kildekritik) er stærk kritisk overfor politiet adfærd ifm. Notting Hill karnevallet og beskriver bl.a. en praksis med "forebyggende anholdelser":

Every year ahead of Carnival, police undertake large numbers of dawn raids on people’s homes and pre-emptive arrests of disproportionately black men and women all over London. This year, 656 arrests were made. The commander in chief of policing Carnival admitted, “I don’t really care what we arrest them for, I’ll be [as] lawfully audacious as I can to get them off the streets.” This minority report style of policing would not be tolerated if it was targeted against any other group or community, other than in the policing of terrorism (which is also disproportionately focused towards ethnic minorities).

Teknologien risikerer mao. at blive brugt "præventivt" til at holde uønskede personer væk. F.eks. når hjemløse får zoneforbud i deres egen by (http://nyheder.tv2.dk/samfund/2018-11-11-hjemloes-blev-udvist-af-egen-by...). Vi kan altså godt blive lidt for dygtige.

  • 11
  • 0
Log ind eller Opret konto for at kommentere