»AI's effekt på fundamentale rettigheder er enormt underspillet af EU«

»AI's effekt på fundamentale rettigheder er enormt underspillet af EU«
Illustration: bigstock.
62 organisationer kalder i et åbent brev på deciderede EU-forbud mod AI-applikationer, der kan true grundlæggende menneskerettigheder. 
2. februar 2021 kl. 11:59
errorÆldre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Predictive policing, ansigtsgenkendelse til masseovervågning og brug af AI til at vurdere adgang til sociale ydelser. Det er alle eksempler på brug af kunstig intelligens, som 62 organisationer i et åbent brev beder EU om at forbyde, når unionen i år skal behandle den kommende regulering af AI. 

»Vi er meget interesseret i retsgarantier,« fortæller Sarah Chander, senior policy advisor ved organisationen European Digital Rights, der har taget initiativ til brevet. 

»Men vi tror, at det skal komplementeres af et mere specifikt rammeværk, som giver klare rammer for, hvad der er lovligt, og hvad der ikke er. Med de eksempler, vi peger på, mener vi, vi har brug for reelle forbud frem for retsgarantier.«

I de situationer, hvor anvendelse af AI skal være lovlig, efterlyser Sarah Chander langt mere fokus på, hvad implikationerne af AI er for fundamentale rettigheder. 

Artiklen fortsætter efter annoncen

»Det er et behov, der er blevet enormt underspillet af EU til fordel for flere argumenter for innovation og industri, som til en vis grad stadig har til gode at blive dokumenteret,« siger hun. 

»Vi har brug for at fokusere mere på, hvordan vi kan dokumentere, at teknologien bliver positiv for vores samfund frem for at antage, at den bliver det, og så lade den gøre skade på nogle af de mest marginaliserede mennesker i vores samfund.«

Fem problematiske områder
Organisationerne peger i deres brev på fem områder, hvor de mener, der enten er behov for forbud - eller som minimum et midlertidigt forbud, mens de fulde implikationer for fundamentale rettigheder bliver grundigt undersøgt. 

Først og fremmest peger brevet på biometrisk masseovervågning med specifik henvisning til generel brug af ansigtsgenkendelse i overvågning af offentlige områder. Det er allerede erklæret disproportionalt med formålet af EU's datalovgivning, og derfor er der brug for et klart forbud, lyder det i brevet. 

Brugen af AI ved grænse- og migrationskontrol er stigende. F.eks. har EU valgt at teste en AI-løgnedetektor i visse lufthavne, selv om den baserer sig på en bredt kritiseret idé om, at AI kan finde løgn i kropssprog og ansigtsmimik. I Storbritannien har et fejlbehæftet stemmeanalyse-system ledt til, at flere tusind studerende har fået frataget deres visum. AI bør i denne sammenhæng forbydes - som minimum indtil konsekvenserne er gransket nærmere, lyder det i brevet. 

Organisationerne ønsker også konkrete begrænsninger for systemer, der giver borgere en social score og bruges til at afgøre borgeres adgang til sociale ydelser. Det er område, hvor der er stor risiko for at krænke grundlæggende rettigheder, »due to the likelihood of discriminatory profiling, mistaken results and the inherent fundamental rights risks associated with the processing of sensitive biometric data,« skriver de.

Frygten er ikke nødvendigvis et pointsystem, som man kender det fra Kina. 

F.eks. har man i Holland med systemet SyRi samlet store mængder persondata for at identificere personer, der angiveligt skulle være i høj risiko for f.eks. at begå socialt bedrageri. Systemet blev i 2020 erklæret i strid med Den Europæiske Menneskerettighedskonvention af EU-Domstolen.       

Det fjerde område, hvor organisationerne vil have et forbud, er predictive policing - systemer, der forsøger at forudse, hvor bestemte typer kriminalitet kommer til at foregå. Flere eksisterende systemer har vist sig at lede til »overpolicing of certain communities, exacerbating racial biases and affording false objectivity to patterns of racial profiling,« argumenterer brevskriverne. 

Endelig ønsker EDRi og de øvrige organisationer begrænsninger på brug af AI i retsvæsnet f.eks til at afgøre, om en person skal prøveløslades. »Substantial evidence has shown that the introduction of such systems in criminal justice systems in Europe and elsewhere has resulted in unjust and discriminatory outcomes,« skriver organisationerne blandt andet med henvisning til en analyse fra Fair Trials. 

Huller i loven
Brevets afsendere tæller både Amnesty International og Human Rights Watch, men også en række mindre organisationer, der repræsenterer migranter, race-minoriteter, sexarbejdere og LGBT-grupper. Og det brede perspektiv, som det giver, er vigtigt, understreger Sarah Chander. 

»Vi kan ikke antage, at AI-teknologier påvirker os alle på samme måde,« siger hun og fortsætter:  

»Jeg kan muligvis være fuldstændig sikret imod de her systemer på mit hjemmekontor i Bruxelles, mens andre personer har meget mere at miste, hvis de her systemer får lov til at brede sig.«

EU har allerede love imod f.eks. diskriminering. Hvorfor skal der særlig lovgivning omkring teknologien, der bliver anvendt?

»Der er huller i de eksisterende regelsæt. Diskriminationslovgivningen i EU dækker f.eks. kun diskrimination mod bestemte karakteristika. En åbenlyst begrænsning er f.eks. AI i migration, hvor diskriminationslove ikke hjælper, fordi de specifikt ikke gælder folk, der ikke har identifikationspapirer,« siger Sarah Chander og fortsætter:  

»Et andet aspekt er finansiel diskrimination, hvilket vil sige aspekter af deres baggrund til at afgøre adgang til f.eks. sociale ydelser.« 

En mere kompliceret hage ved den eksisterende lov er bevisbyrden.

»Under diskriminationsloven skal du kunne bevise, at et bestemt individ har lidt skade. Men hvis du tager systemer som predictive policing, så giver det ikke nødvendigvis forskelsbehandling mellem to individer. I stedet giver det forskelsbehandling på gruppeniveau, hvis et system til predictive policing f.eks. fungerer på geografiske områder,« forklarer Sarah Chander. 

Med de regler kan det altså være vanskeligt at bevise, at predictive policing diskriminere mod et individ, selv om det kan have store konsekvenser for personer i den gruppe.

»Det er eksempler på situationer, hvor vi har brug for reelle forbud frem for retsgarantier.«

Mangler transparens
Sarah Chander påpeger, at selv AI-systemer, som på overfladen ikke ser ud til at have konsekvenser for menneskerettigheder i sig selv, kan få det, afhængigt at hvordan de implementeres og bruges. 

»Tag en teknologi som Natural Language Processing. Tidligere har jeg haft mange diskussioner med folk fra industrien, der ikke mener, at det er en teknologi, der burde vække bekymring i et menneskerettighedsperspektiv. Men indtil vi undersøger det, så ved vi det ikke,« siger hun og fortsætter:  

»Vi har set studier af sprogmodeller i forbindelse med antiterror-efterforskning, som laver stærke forbindelser mellem muslimer og terrorisme. Det er stærkt alarmerende og har store implikationer for diskrimination og frihed - alene på grund af sprog, der er del af et muslimsk samfund.« 

Af samme grund er en af de store problemer for EDRi og de øvrige organisationer, at der mangler transparens, når AI-systemer udvikles og tages i brug. 

»Det, vi ved om automatisering på de her områder, er ofte gravet frem af undersøgende journalister og ikke lagt frem af EU eller medlemslande. Ofte er der ikke udført vurderinger af konsekvenser for fundamentale rettigheder, eller også bliver de ikke offentliggjort. Det giver et kæmpe problem i forhold til at kunne kontrollere, hvad der foregår,« siger Sarah Chander.

»Vi vil have, at de her systemer bliver gransket, før de bliver implementeret, og hvis de respekterer fundamentale rettigheder, er der ikke behov for et forbud. Men det niveau af granskning har vi ikke set endnu - hverken fra EU eller medlemslande.«

Den form for transparens er i Sarah Chanders øjne også nøglen til at undgå den overregulering, som mange virksomheder og interesseorganisationer har advaret EU imod. 

»Hvis det bliver dokumenteret, at en bestemt teknologi overholder de fundamentale rettigheder, så er der ikke brug for et forbud.«

Binært og forsimplet
Af EU-Kommissionens whitepaper, der sidste år udkom, fremgår det, at lovgiverne sigter efter at opdele AI-systemer efter den risiko, de udgør - og så stille lovkrav derefter. 

Præcis hvor mange grupper og efter hvilke betingelser, bliver nu en opgave for EU's parlamentarikere at finde frem til. Men i Sarah Chanders øjne er der fare for, at den risikobaserede tilgang bliver hullet. 

»Vores problem med det er, at det er en binær og meget forsimplet tilgang. Risikoen er, at vi fejlkategoriserer højrisiko-områder som f.eks. migration. Hvis det sker, har du pludselig en lov, der fuldstændig beskytter de løsninger fra granskning udefra,« siger hun. 

»Alle systemer bør under en indledende vurdering for at afgøre, hvad niveauet af regulering bør være.«

Forslaget er ikke enden
Af kommissionens whitepaper fremgår det også, at man f.eks. ikke ser et forbud mod ansigtsgenkendelse i det offentlige rum som den rigtige vej. Selv hvis den holdning består i det lovudkast, EU-Kommissionen efter planen skal præsentere i starten af dette år, ser Sarah Chander muligheder. 


 
Illustration: Europa-Nævnet

Version2 og DataTech har fået økonomisk støtte fra Europa-Nævnet til at sætte journalistisk fokus på arbejdet med at regulere AI. 

EU-Kommissionen vil i år vil fremlægge et forslag til, hvordan AI skal tøjles. Forude venter således en afgørende offentlig debat, som skal være med til at sikre, at den endelige lovtekst rammer den rigtige blanding af sikkerheder og muligheder. Et fejlskud mod den ene af disse poler kan have alvorlige konsekvenser for Europas evne til succesfuldt at udnytte AI i dette årti. 

Version2 og DataTech vil i en artikelserie gå i dybden med, hvordan EU konkret vil regulere AI, hvor der er behov for regulering, ligesom vi undersøger, hvordan de specifikke regler rammer ned i det praktiske arbejde med AI i europæiske virksomheder. 

»Lovforslaget er ikke enden. Vi forventer mindst et år med forhandlinger. Så selv hvis vi ikke ser nogle forbud i det første udkast - eller som minimum meget stærk fokus på menneskerettigheder i forhold til teknologierne - så er der stadig plads til, at det kan komme på bordet.«

Sarah Chander erkender dog også, at industrien er særdeles aktivt involveret i processen - med langt flere ressourcer, end EDRi og de øvrige kan mønstre. 

»Vi er ikke Google eller Palantir, så vi har ikke ressourcer til at påvirke lovgivning på samme niveau. Meget vil afhænge af, at civilsamfundet bliver ved med at efterlyse røde linjer. Og det vil afhænge af lovgivernes evne til at række ud til organisationer, høre deres input og vægte det lige så højt - hvis ikke højere - end industriens,« siger Sarah Chander og fortsætter:  

»Det er et område, hvor vi kan have godt af mere snak mellem dataloger, menneskeretsorganisationer og de folk, som rent faktisk bliver hårdest ramt af de her teknologier. Men der er også mulighed for, at vi fortsætter i en retning, hvor vi antager, at alle de her teknologier er positive for samfundet, uden vi har mulighed for at stille spørgsmål til dem. Det kommer vi til at bekæmpe så meget, som vi kan.«

Ingen kommentarer endnu.  Start debatten
Debatten
Log ind for at deltage i debatten.
settingsDebatindstillinger