Professor: Ingen snuptags-løsninger med kunstig intelligens i forvaltning og sundhedvæsen

Thomas Hildebrandt er professor ved Datalogisk Institut på Københavns Universitet. Han har i et samarbejde med Gladsaxe Kommune kigget nærmere på jobcentre og de beslutninger, sagsbehandlere træffer. Illustration: IT-Universitetet
Data i sig selv giver ikke klare svar, og der kræves en tværfaglig indsats og forståelse af komplekse problemer, hvis algoritmer skal assistere i beslutningsprocesser, mener forsker i kunstig intelligens.

Man kan nemt få det indtryk, at algoritmer, der skal støtte beslutninger i forvaltning og sundhedsvæsen, kan indføres med et snuptag. Der er masser af data om borgerne, og kunstig intelligens kan i dag købes som brugervenlig software.

Men det reelle billede er ganske anderledes.

Data fortæller ikke en entydig historie, og love og regler skifter over tid og ændrer meningen. Det kræver en tværfaglig indsats, hvis man skal udføre ordentlig forskning om algoritmer, der kan hjælpe til at tage beslutninger.

Det fortæller Thomas Hildebrandt, som er professor ved Datalogisk Institut på Københavns Universitet.

Han har i et samarbejde med Gladsaxe Kommune kigget nærmere på jobcentre og de beslutninger, sagsbehandlere træffer i forbindelse med borgere, der er ramt af ledighed.

»Udfordringen er, at man skal forstå mange ting,« konstaterer han i et interview med Version2.

»Det er ikke nok at forstå data-videnskab. Man skal også forstå, hvad arbejdspraksis er, og sammenhængen mellem denne praksis og teknologierne. Helt banalt: Hvor kommer de data fra, som vi analyserer. Kan vi stole på, at data siger det, vi tror, de siger.«

Der er konkrete eksempler på, at det ikke altid har været tilfældet.

Forudsigelser forudsætter forståelse

Når data gemmes i en database, er det vigtigt med forståelse for, hvor data kommer fra. Det er endnu mere vigtigt, når man begynder at træne kunstig intelligens-algoritmer (AI) på data.

Problemstillingen er markant i Thomas Hildebrandts forskningsprojekt, hvor man altså prøver at forstå data i jobcentrenes it-systemer.

»Det er ekstremt vigtigt at vide, hvad der er sket i en sag – hvad har givet anledning til disse bestemte data. Hvis vi ikke forstår den sammenhæng, og ikke kan holde den forståelse vedlige, kan vi heller ikke udtale os om de forudsigelser, vi kommer med.«

Det er vigtigt at have fagfolk, der forstår lovgivningen, med i udviklingsarbejdet. Det gælder både den generelle forvaltningslov – hvad er det egentlig, myndighederne har pligt til, i forhold til at træffe afgørelser.

»Så er der den mere specifikke lovgivning. Man skal have fagfolk med, som kan stille spørgsmål om, hvad konsekvenserne af AI er – både på det menneskelige og økonomiske niveau, så man kan vurdere, om der er proportionalitet – er det overhovedet godt, det vi gør?«

Det er en fare i al udvikling af teknologi, at når det indføres, kan man nemt lægge elementer ind i designet, som er uhensigtsmæssigt. Det kan være fordelagtigt, når teknologien designes, men så er der forhold, der ændrer sig, så det senere gør skade.

Bekymrende, når studerende skaber AI

Der kræves altså en del for at skabe disse algoritmer. Vil du opfordre kommuner og mindre offentlige institutioner til at stoppe egenudvikling?

»Jeg vil i hvert fald opfordre til at inddrage de nødvendige kompetencer.«

Findes de kompetencer i kommunerne?

»Jeg tror, der er kommuner og kommunale fællesskaber, hvor man kunne gøre det forsvarligt. Men den enkelte kommune alene skal nok gå ind i et samarbejde med andre. Jeg tror, at eksempelvis Gladsaxe er opmærksom på, at det havde gavnet med mere åbenhed, inden man var kommet langt i processen,« udtaler han med henvisning til Gladsaxes 'Projekt tidlig opsporing,' der med algoritmer og andre tiltag skulle forudsige familier med problemer.

Læs også: Gladsaxe arbejder videre på overvågningsalgoritme - trods nej fra ministerium

Åbenhed på alle planer går igen på lister over etiske retningslinjer i forhold til kunstig intelligens, påpeger Thomas Hildebrandt.

I Horsens Kommune skal to specialestuderende på Aarhus Universitet stå for udviklingsarbejdet med en algoritme, der skal finde socialbedragere.

Læs også: Sådan kommer Horsens’ bedrageri-algoritme til at se ud

»Man kan godt være bekymret med de her eksempler, hvor det er studerende eller praktikanter, der udfører arbejdet. Man skal se på, i hvilken sammenhæng de gør det i. Hvis det er et større forskningsprojekt, kan det godt lade sig gøre.«

Men der skal være kontrolmekanismer i processen:

»Når udviklere kigger på AI, tales der kun om, hvor i høj grad algoritmen finder de rigtige svar, eller diskuterer de også de forkerte svar? Har de en åben diskussion om, hvem der har besluttet, om det er relevant at komme med forudsigelser eller algoritme-baserede forslag?«

AI kræver tværfaglighed

Der skal altså være åbenhed om, hvem, der har truffet beslutningen om, at algoritmer skal i anvendelse.

»Der kan man blive bekymret som borger. Det samme gælder beslutningen om, hvem der har truffet valg om, hvilke data, der er relevante. Det var måske der, Gladsaxe trådte forkert.«

Man skal overveje, hvilke data der er rimelige at bruge, og i forbindelse med Gladsaxes arbejde hvad konsekvenserne er for de mange forældre, der behandler deres børn ordentligt, at de pludselig bliver en del af dette program.

Læs også: Juridiske eksperter: Gladsaxes algoritme overtræder persondata-lov

»Vi prøver i jobcenter-projektet kun at bruge de data, som alligevel er en del af sagsbehandlingen, når man er arbejdsløs. Ifølge loven skal jobcentrene kategorisere folk i målgrupper og hjælpe dem. Det handler om, at sagsbehandleren og borgeren sammen skal tegne en profil. Så der er ikke noget nyt i, at man bruger data til det.«

Men man skal være opmærksom på, hvordan det sikres, at når man ikke kun baserer sig på sagsbehandlerens erfaring, men også på data i it-systemer, at data rent faktisk betyder det, man tror, de betyder.

»Man må involvere fagfolk der forstår, hvordan vi studerer arbejdspraksis sammen med teknologien. Det kan være folk med etnografisk eller sociologisk baggrund, der kan vurdere det.«

Alle beslutninger har bias

I udlandet, som eksempelvis USA, findes der grelle eksempler på anvendelse af algoritmer, hvor diskriminationen er åbenlys.

Læs også: New York sætter hælene i overfor diskriminerende algoritmer

Men i al konstruktion af beslutninger ligger der bias – indbyggede fordomme – lyder Thomas Hildebrandts synspunkt.

»Det gør der i mennesker og i maskiner. Derfor er det vigtigt, at vi gør det synligt, så vi kan udfordre beslutningerne.«

Det vanskelige med maskiner er, at afgørelserne er automatiserede.

»Man kan komme til at lave mange fejlagtige beslutninger. Der har man et særligt ansvar som udvikler, at man gør det transparent og stiller spørgsmålet: Hvilke data bygger afgørelsen på – kan vi teste for diskriminerende bias?«

Der er mange eksempler på algoritmer, der er taget i brug, uden at det er sikkert, hvad det egentlig er for data, de er trænet på. Dagens forskning kigger på, hvordan man kan bygge en fremgangsmåde, der gør det muligt at afsøge bias i alle faser af udviklingen.

»Dermed ikke sagt, at vi kan undgå det. Der vil altid ligge en form for bias i enhver beslutning, og det skal i hvert fald være synligt. Er det en bias, som er rimelig? Er det sådan, samfundet er? Det må vi så gøre opmærksom på i vores beslutning. Men det kan ikke bare være en algoritme, der svarer ‘nej,’ uden at vi ved, hvad den baserer sit nej på.«

Ikke teknologi for dens egen skyld

I forbindelse med Gladsaxes algoritme til opsporing af udsatte børn mener et byrådsmedlem, at problemet er, at socialrådgiverne ikke tager hånd om indberetninger?

»Det er en god problemstilling og hører med i de etiske retningslinjer, også for udviklere. Teknologi er ikke noget man skal bruge for dens egen skyld. Man må spørge: Hvilket problem skal løses? Man kan frygte, at man ikke løser det rigtige problem.«

Læs også: Kommunalpolitikere efterspørger etiske regler om overvågning i Gladsaxe

I Thomas Hildebrandt projekt følges sagsbehandlernes arbejde for at finde ud af, hvor de træffer beslutninger og har brug for flere data. Det er ikke nødvendigvis nemt at finde oplysningerne frem, og det gjaldt også, før algoritmerne kom ind i billedet.

Det handler om at forstå arbejdspraksis.

»Man skal ikke bare kaste data-videnskabsfolk efter udvikling, hvor man kun har talt med ledelseslaget. Man skal have sagsbehandlerne med, og spørge dem: Hvad oplever I – hvad er jeres problem? Hvis det er, at de ikke har tid til at tage sig af de henvendelser de får, så har man god grund til ikke at starte med at kaste en AI-løsning efter problemet.«

Sådanne algoritmer kan også opleves som ‘objektive’, og man kan også i ledelseslag henvise beslutninger til en maskine, der bygger på matematik og ikke kan tage fejl?

»Det er også en meget alvorlig problematik, og der handler det om at gøre det transparent. Det er ikke nok at sige, at maskinen er kommet med et forslag. Man må også se på, hvilke parametre den er truffet på.«

Hvis beslutningen er truffet ud fra ti parametre, men der er tre andre, som er vigtigere i forbindelse med den pågældende person, skal sagsbehandleren kunne fravige afgørelsen.

Databasen er ikke virkeligheden

Hvad med sammenhængen mellem databaser og virkeligheden, i forbindelse med jeres projektarbejde?

»Man kan ikke bare tage et dump af databasen og så gennemskue, hvad der egentlig skete i virkeligheden.«

Det skyldes blandt andet, at hændelser kan registreres på flere forskellige måder.

»Hvorfor er den arbejdsløse stoppet i et forløb? Hvis mange årsager er registreret på forskellige måder, falder datakvaliteten. Så ved vi reelt ikke, hvad der er sket. Måske er personen slet ikke stoppet i et forløb, men er bare registreret på en anden måde. Det kan også være, at et tidsstempel slet ikke svarer til virkeligheden, fordi der er blevet registreret på et senere tidspunkt. Så får man misvisende data.«

Endelig ændrer lovgivningen sig også. Man skal have øje for, hvilke love og regler der var gyldige, da data blev indsamlet.

»Det nytter ikke at træne en algoritme til at komme med forudsigelser eller beslutninger baseret på data, som blev indsamlet i en anden sammenhæng – hvor lovgivningen gav helt andre muligheder.«

Svaret er ikke fundet endnu

Det lyder meget komplekst?

»Ja. I vores projekt er AI bare en del. En anden del er lovgivningen, som jurister forstår den. Det er de to ben i projektet: Kan vi bruge AI på en etisk korrekt måde, der giver gavn for borgere, samfund og kommuner, og kan vi bygge bro mellem lovgivningen, som jurister forstår den, og it, på en måde, så vi kan holde systemerne ved lige, når lovgivningen ændrer sig? Det sidste er lige så vigtigt som det første.«

Det lyder, som om der skal udføres en hel del mere forskning?

»Lige nu laver vi solid forskning. Vi afprøver i kontrollerede forsøg, hvor det ikke har konsekvenser for borgerne. Hvis der kommer en forudsigelse i systemet, hvilken slags forklaring er det så, sagsbehandlerne har brug for? Og hvilke forudsigelser giver mening? Er det etisk forsvarligt at komme med en forudsigelse om, at en borger er i risiko for at blive langtidsledig, eller er det stigmatiserende? Hvis det er det, man alligevel gør i dag, så er der måske en grund til det.«

Men det skal stadig være forståeligt for sagsbehandleren, hvorfor algoritmen eksempelvis kommer med en advarsel om risiko for langtidsledighed.

»Vi siger ikke, at vi har fundet svaret endnu. Hvis data ikke indikerer noget, kan algoritmen ikke komme med en forudsigelse. Men hvis sagsbehandlerne siger: Det er faktisk en mere grundig analyse, end det vi gør i dag, så har vi et godt argument. Men det er helt klart ikke noget, man kun skal sætte en data-videnskabsmand efter. Man er nødt til også at have nogen, der forstår, hvordan mennesker arbejder med tingene, og sætter sig ind i lovgivningen.«

Der er mange etiske retningslinjer på området i dag.

»Jeg synes, man skal stoppe og tænke sig om og tage retningslinjerne i brug. Man skal ikke bare spille på folks frygt for ny teknologi. Men der skal være en grund: Har vi overvejet både det negative og det positive?

Forskning kræver ikke nødvendigvis samkøring

Men vi har jo digitaliseret gennemgribende i Danmark, på en måde som man ikke har gjort i så mange andre lande?

»Man skal have det aspekt med, at hvordan er det, vi har indsamlet data i Danmark. Jeg er enig i, at det er sikkerhedsmæssigt udfordrende at knytte data til cpr-numre. Risikoen for misbrug er steget, også magtmisbrug. Der er adgang til data, som kan give en magt over individet, som ikke er rimelig. Det ligger i vores systemdesign.«

Det er forsimplet at sige, at algoritme-forskning kræver samkøring af data. Man kan udføre meget forskning, der ikke kræver samkøring, mener Thomas Hildebrandt.

»I mange it-systemer har vi rollebaseret adgangskontrol, som i mange tilfælde har vist sig ikke at være hensigtsmæssigt i forhold til misbrug. Kunne vi fremadrettet registrere data, så vi ikke kan forbinde det til enkeltpersoner, men stadig bruge det til forskning - det burde være et spørgsmål med meget mere bevågenhed. Det er så vigtigt, at der er transparens om matematikken bag. Men spørgsmålet bør være: Kan vi tage de mange data, som vi har i Danmark, og skabe et nyt syntetisk og anonymt datasæt, som kan træne algoritmer?«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (6)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Bjarne Nielsen

Det slår mig, at når man taler om at indføre AI/ML, så snakker man meget om at støtte allerede eksisterende beslutningstagere ved at give dem et bedre kvalificeret beslutningsgrundlag. Alt som før, men nu også med AI/ML.

Men hvordan sikrer vi, at det ikke i stedet ender med en spareøvelse, hvor man i stedet marginaliserer eller direkte erstatter de eksisterende beslutningstagere, og vi ender med automatisering, som træffer lynhurtige og ugennemskuelige beslutninger, som bliver svære for at ikke at sige umulige at udfordre (pga. deres mængde, hastighed og ugennemskuelighed, men også fordi, at hvis man kan udfordre beslutninger, så er det ikke bare beslutningen, som skal laves om, men hele systemet, og er jo i en helt anden størrelsesorden af "dyrt" - og så er det nemmere at køre folk over). Fordi at automaticerede beslutninger jo er billige og hurtigere og kræver færre kølige hjerner (som jo er både dyre, sjældne, tager lang tid at træne, og bare generelt besværlige, med barns første sygedag og ferier mv.), og fordi at vi nu har investeret så meget, og nu skal vi "gevinstrealisere". Det skulle helst ikke ende med at de bliver "retfærdige" ved at alle behandles lige umenneskeligt dårligt.

PS: Til gengæld kan det måske sætte hastigheden på lovgivningsarbejdet ned - allerede nu har "systemerne" svært ved at følge med den nyfigenhed og kreativitet, som findes på borgen, men hvis vi skal have kvalitetssikrede og kvalificerede beslutningstagende eller -støttende systemer til at følge med, så vil det sætte en bremse på.

Anne-Marie Krogsbøll

Spændende artikel - kræver lidt drøvtyggen.

"Kan vi tage de mange data, som vi har i Danmark, og skabe et nyt syntetisk og anonymt datasæt, som kan træne algoritmer."

Mange af disse data er stadig "stjålet" fra borgerne - det er derfor misbrug at anvende dem uden samtykke, selv hvis det skulle vise sig muligt at anonymisere effektivt. Der er et stadigt stigende antal anvendelser af data i det offentlige, som jeg ikke sympatiserer med, og som jeg derfor anser det som misbrug at bruge mine stjålne privatlivsdata til - anonymiserede eller ej. Oven i købet er anvendelsen i det offentlige tæt sammenfiltret med, og ofte i hænderne på, overvågningskapitalister. Det er ikke det offentliges opgave at fodre overvågningskapitalismen med borgernes private data. Det er tyveri og overgreb.

Shoshana Zuboffs beskrivelser af, hvorledes tech-industrien og overvågningskapitalismen under radaren har stjålet retten til privatliv, simpelthen fordi vore ansvarlige politikere bevidst (korruption?) eller ubevidst har sovet i timen, gælder også for privatlivstyveriet indenfor det offentlige. Samme luskede metoder, samme lovløshed, samme "hellere søge tilgivelse end tilladelse"- mentalitet. Ganske som den kommer til udtryk i Gladsaxe-model-sagen.

De ansvarlige i tech-industrien er forbrydere - i mine øjne gælder det samme for mange af de ansvarlige i det offentlige. I nogle, men ikke alle, tilfælde ligefrem lovbrydere - men i andre tilfælde i mine øjne i det mindste statsautoriserede forbrydere.

Bjarne Nielsen

"Kan vi tage de mange data, som vi har i Danmark, og skabe et nyt syntetisk og anonymt datasæt, som kan træne algoritmer."

Ja, den bed jeg også mærke i, og jeg læste det som ønsketænkning.

Hvis det er et ønske om mere forskning i, om det kan lade sig gøre, og i givet fald under hvilke omstændigheder, og med hvilke begrænsninger, så kan jeg kun bifalde det. Den nuværende "best"-practice virker til hovedsageligt at være anekdotisk baseret, og hvor man retfærdiggør den med, at sådan gør alle andre, uden at (turde) forholde sig til effektiviteten.

Det tætteste jeg er kommet på noget, som ligner noget, er arbejdet med "differential privacy" (Dwork m.fl.). Der er flere pointer, og nogle relaterer sig til anonymisering og risikoen for reidentifikation, f.eks. (i populær form):

  1. Jo mindre reidentifikationsrisiko man vil tillade, jo mindre information vil der være i de anonymiserede data.
  2. Jo mere man bruger data, jo større bliver risikoen for reidentifikation.

Det peger desværre nok i retning af, at der ikke vil kunne være et universelt genbrugelig, anonymiseret datasæt, som garanterer imod reidentifikation, hvis det skal indeholde nogen form for information. Jo mere man ønsker at bruge data til, desto sjældnere kan man bruge det - anonymiseringen bliver "slidt" hvergang data bruge, og jo mere detaljerede data er, jo tyndere er anonymiseringen.

Om der er et overlap imellem acceptabel risiko for reidentifikation og det at data stadig indeholder brugbar information, er jeg ikke sikker på. Lige nu er det mit klare indtryk, at vi dels lader al for megen information blive tilbage i "anonymiserede data", og dels tillader al for megen brug af dem.

Så (meget) mere forskning ville være ønskeligt, også selvom resultatet måske ikke er det, som man håber på. Måske specielt, hvis resultatet ikke er det, som man håber på.

Knud Larsen

Den nuværende lovgivning er præget ag sjusk og mange pladser til fortolkninger. Lovene er ikke logiske og strukturerede. Man må virkelig sige at lovgivning er bare filsofi på et andet plan altså uvidenskabeligt.
Derfor giver det ikke nogen mening at indføre AI - det skulle da lige være, hvis man accepterer det som det sker nu tilfældigt - altså påsætter man en random generator.
http://skat-uret.dk/generelle-emner/2015-19-lovgivningsjask.aspx

Log ind eller Opret konto for at kommentere