Medlemmer af the Congressional Black Caucus (CBC), en afroamerikansk sammenslutning af politikere i den amerikanske kongres, sendte i sidste uge et åbent brev til Amazon-topchef Jeff Bezos, hvor de udtrykker bekymring for brugen af Amazons nye deep learning-baserede overvågningssystem Rekognition.
Samtidig har to andre medlemmer af Kongressen sendt deres eget åbne brev (pdf), hvor de beder Amazon redegøre for en række forhold omkring Rekognition, blandt andet hvilke myndigheder som får adgang til systemet, og hvilke undersøgelser Amazon har foretaget af, om systemet har et bias i forhold til race, køn, alder og hudfarve.
Genkender bedst hvide mænd
Rekognition er baseret på en Deep Learning-algoritme, som skal hjælpe politiet med at identificere kriminelle ved hjælp af ansigtsgenkendelse. Men ansigtsgenkendelsesalgoritmer har en tendens til at være mere præcise for hvide mænd, og det bekymrer de amerikanske politikere.
Konsekvenserne af at blive misidentificeret af algoritmen kan være store for kvinder og afroamerikanere, da de risikerer at blive stemplet som kriminelle.
Algoritmen kan identificere op til 100 ansigter på et billede i real-time og sammenligner dem med en database på flere millioner billeder. Det bekymrer nonprofitorganisationen ACLU, som mener, at systemet kan komme til at overtræde folks konstitutionelle rettigheder.
Maskinerne overtager vores fordomme
Det er ikke første gang, diskussionen om racistiske algoritmer bliver taget op.
Rekognition er baseret på Deep Learning, som er en maskinlæringsproces, hvor en algoritme bliver trænet ud fra et datasæt til at identificere bestemte elementer i andre datasæt.
Problemet er, at et bias i algoritmens træningsdata vil medføre et tilsvarende bias i algoritmens udregninger. Det er en problemstilling, CBC sætter fokus på i deres åbne brev.
»Det er åbenlyst, at områder med mange ikke-hvide beboere bliver langt mere aggressivt kontrolleret af politiet end hvide områder. Denne status quo fører til en overrepræsentation af visse data, som, hvis de bliver brugt i et analytisk AI-framework, kan have en negativ effekt i de overrepræsenterede områder,« skriver de.
Det er før set, at amerikanske myndigheder gør brug af racistiske algoritmer, som straffer sorte hårdere end hvide, blandt andet i forbindelse med vurdering af kaution og prøveløsladelser.
