Professor: Vi har ret til en forklaring på afgørelser taget af intelligent software

Der er brug for en diskussion af, hvordan vi undgår at machine learning fx fører til flere anholdelser i visse belastede områder og dermed diskrimination. Og hvem der er ansvarlig for beslutninger foreslået af en computer, mener professor på IT-Universitetet.

Machine learning stormer frem som et redskab til at tage afgørelser om f.eks. man har en depression, kan få lån eller invalidepension eller sågar har brug for ambulancehjælp, hvis man er dårlig.

Hvor de computerdrevne afgørelser i hvert fald ifølge nogle fagfolk øger retssikkerheden, er der nu også røster, som peger på, at gennemskueligheden falder.

Det kan simpelt hen bliver vanskeligere at forstå, hvorfor en beslutning er faldet ud som den gør, når der indgår langt flere parametre end hidtil. Fordi computeranvendelsen giver mulighed for at lade store mængder data og mange processer indgå.

»Det er måske ikke så vigtigt at forstå, hvordan Facebook genkender dit ansigt på et foto, men hvis det for eksempel drejer sig om at få godkendt et lån i banken eller om, hvorvidt en e-butik vælger at tilbyde dig rabat, bør der være klare, transparente kriterier. Og det rækker ikke, at en softwareekspert i princippet vil kunne forstå, hvad der foregår,« skriver professor Rasmus Pagh i en artikel på ITU.dk.

Læs også: Kunstig intelligens bedre til at afsløre sygdom hos patienter end læger

Lovgivningen understøtter også dette ønske. EU’s nye databeskyttelsesdirektiv, der efter planen skal træde i kraft fra 2018, taler om gennemsigtighed i datadrevne beslutninger.

Borgeren har ifølge direktivet 'ret til en forklaring', altså skal beslutningen kunne koges ned til noget, et almindeligt menneske kan forstå.

Retten til en forklaring kommer imidlertid til at give en masse udfordringer, påpeger Rasmus Pagh.

Dels fordi der ofte ligger en masse data til baggrund for beslutningerne, som desuden kan være af fortrolig karakter.

Dels fordi nogle metoder til maskinlæring finder mønstre i data, der er så komplekse at beskrive, at det er umuligt for et menneske at gennemskue.

»I sidste ende bliver der formentlig tale om en afvejning mellem, hvor gennemskuelig og hvor smart software er til at træffe beslutninger. Her er der brug for teknologi og lovgivning, der sikrer tilstrækkelig fairness og gennemsigtighed uden at tabe for mange af de muligheder, der ligger i datadrevne beslutninger,« mener Rasmus Pagh.

»Og mere end nogensinde er der brug for dygtige dataspecialister, som forstår mekanismerne bag disse beslutninger og kan designe effektiv software, der ikke går på kompromis med etik og moral,« tilføjer han.

Vores enkle forståelse af verden forlades

Diskussionen er relevant, fordi vi vi får adgang til mere og mere data om verden og dens indbyggere, og derfor anvendes disse data i stigende grad til at forstå verden bedre, og i sidste ende træffe bedre, datadrevne beslutninger.

I de senere år er data blevet mere og mere centralt i udviklingen af ’intelligent’ software, skriver Rasmus Pagh.

»Hvor programmører tidligere forsøgte at beskrive alle de regler et stykke software skulle følge for at udføre en opgave, for eksempel oversætte en tekst fra engelsk til dansk, baseres mere og mere software i dag på eksempler i form af data. Google Translate er et eksempel på dette, « lyder det fra professoren.

Man taler om maskinlæring, fordi softwaren analyserer og ’lærer’ egenskaber ved data, som derefter bruges til at bestemme om softwaren skal træffe det ene eller det andet valg.

Andre gange fokuserer man på udnyttelsen af de store datamængder og taler om big data. De fleste har oplevet at blive foreslået ’anbefalede varer til dig’, når de handler på nettet.

Data kan hjælpe til bedre beslutninger, men....

Udviklingen går altså i en retning, hvor man går væk fra vores nuværende stærkt forenklet forståelse af verden:

»Arbejdsgiveren sorterer ansøgere fra et bestemt område fra, fordi han mener, at de ofte giver problemer. Gymnasieeleven vælger en videregående uddannelse, som hun kender nogen, der har taget. Politiet sætter ekstra patruljevogne ind i et socialt belastet kvarter, fordi de forventer, at der foregår mere kriminalitet her.«

I alle tre eksempler ville en bedre forståelse af verden, baseret på data, kunne hjælpe personerne til at træffe bedre beslutninger, skriver Rasmus Pagh.

Men potentialet følges af udfordringer: Hvis man har en masse data om en ansøger til et job eller en uddannelsesplads, hvordan skelner man så mellem oplysninger, der er faktuelt relevante (og derfor skal inddrages i beslutningen), og oplysninger, der ikke er det?

Det er særligt udfordrende på grund af korrelationer i data. Lovgivning mod diskrimination forbyder visse beslutninger at afhænge af for eksempel køn, etnicitet eller seksuel orientering. Men så burde det vel også være forkert at anvende data, som er højt korreleret med en af disse variabler, for eksempel information om navn, spørger Rasmus Pagh.

Version2 har tidligere beskrevet, hvordan knap 500 borgere med en særlig algoritme i Chicago blev udpeget til at være disponeret for at begå voldskriminalitet. Data var bl.a. bandemedlemsskab, involvering i narko og alder. Tanken var, at politiet skulle målrette en kriminalitetsforebyggende social indsats imod personerne på listen.

Læs også: Politi-algoritme til voldsforebyggelse i total-flop

I stedet blev de bare oftere anholdt end andre - og man havde en fornemmelse af, at politiet anvendte listen til at målrette deres efterforskning mod borgerne fremfor at forebygge.

Netop den slags historier får Rasmus Pagh til at rejse en række it-etiske spørgsmål:

Hvordan sikrer vi os, at der er taget hensyn til korrelationer? Og hvordan undgår vi, at skævvridninger i data (for eksempel at der bliver foretaget mange flere anholdelser i visse belastede områder) fører til fremtidig diskrimination? Hvem er egentlig ansvarlig for beslutninger foreslået af en computer?

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (5)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Jesper Lund

Persondatalovens § 39, stk. 3 (efter EUs persondatadirektiv) giver allerede i dag en ret til forklaring ved automatiske afgørelser

§ 39. Fremsætter en registreret person indsigelse herimod, kan den dataansvarlige ikke foranstalte, at den registrerede undergives afgørelser, der har retsvirkninger for eller i øvrigt berører den pågældende i væsentlig grad, og som alene er truffet på grundlag af elektronisk databehandling af oplysninger, der er bestemt til at vurdere bestemte personlige forhold.

Stk. 2. Bestemmelsen i stk. 1 gælder ikke, hvis

1) den pågældende afgørelse træffes som led i indgåelsen eller opfyldelsen af en aftale, såfremt den registreredes anmodning om indgåelse eller opfyldelse af aftalen er blevet efterkommet eller der findes passende foranstaltninger til at beskytte den registreredes berettigede interesser eller

2) den pågældende afgørelse er hjemlet i en lov, der indeholder bestemmelser til beskyttelse af den registreredes berettigede interesser.

Stk. 3. Den registrerede har ret til hos den dataansvarlige snarest muligt og uden ugrundet ophold at få at vide, hvilke beslutningsregler der ligger bag en afgørelse som nævnt i stk. 1. § 30 finder tilsvarende anvendelse.

Fra 2018 har vi i forordningens artikel 15, stk. 1, litra h) vedr. indsigtsretten

h) forekomsten af automatiske afgørelser, herunder profilering, som omhandlet i artikel 22, stk. 1 og 4, og som minimum meningsfulde oplysninger om logikken heri samt betydningen og de forventede konsekvenser af en sådan behandling for den registrerede.

Det er muligt at oplysningskravene i forhold til automatiske afgørelser bliver skærpet i 2018, men det grundlæggende "right to explain" princip eksisterer allerede i dansk/EU lov i dag.

En ting som selvfølgelig bliver anderledes i 2018 er bøderne for ikke at overholde persondatalovgivningen.

  • 4
  • 0
#2 Anne-Marie Krogsbøll

For en ikke-jurist er det ikke helt let at forstå disse paragraffer - men har man krav på, at det kommer til at fremgår klart og tydeligt af afgørelsen, såfremt denne er truffet på baggrund af sådanne beregninger? Ellers er det ikke let at gøre indsigelse.

og som alene er truffet på grundlag af elektronisk databehandling

Kan man ikke frygte, at det vil være let at "pynte" lidt på en afgørelse med lidt egentlig sagsbehandling, således at retten til at få uddybning/forklaring bortfalder? (hvis jeg forstår det ret)

Og så er der jo lige nogle undtagelser i stk. 2 - Jeg kan ikke gennemskue, hvad disse i praksis betyder - i hvilke typer afgørelser kunne de træde i funktion?

  • 4
  • 0
#3 Jesper Lund

Mens vi nu er ved persondataforordningen, der vil gælde fra 2018...

Efter artikel 9, stk 1 og betragtning 51 i forordningen vil behandling af biometriske data (herunder ansigtsbilleder) med henblik på at entydigt identificere en person være følsomme persondata. Det er en meget stor forskel i forhold til dag, hvor automatisk ansigtsgenkendelse kun behandler almindelige personoplysninger.

TL;DR Facebook og andre kan fra 2018 ikke bare lave automatisk ansigtsgenkendelse uden et meget specifikt samtykke fra den person, som forsøges genkendt. Og automatisk ansigtsgenkendelse på gruppebilleder, som Facebook brugerne uploader, vil være helt umuligt. Facebook kan ikke vide om disse personer har givet samtykke, og Facebook kan ikke bare lave automatisk ansigtsgenkendelse for at finde ud af hvem der har givet samtykke.

  • 2
  • 0
#4 Jesper Lund

Kan man ikke frygte, at det vil være let at "pynte" lidt på en afgørelse med lidt egentlig sagsbehandling, således at retten til at få uddybning/forklaring bortfalder? (hvis jeg forstår det ret)

Reglerne om automatiske afgørelser gælder ikke, hvis algoritmen blot er til støtte for en menneskelig vurdering. Det kan selvfølgelig blive en omgåelsesmulighed. Den samme situation eksisterer under den gældende lov (og direktiv), men eftersom det ikke bliver overholdt, er det lidt svært at vurdere problemet.

Der er også undtagelser for "forretningshemmeligheder", som i et vist omfang kan bruges til at nægte "right to explain".

  • 5
  • 0
Log ind eller Opret konto for at kommentere