Professor: Ingen snuptags-løsninger med kunstig intelligens i forvaltning og sundhedsvæsen

Man kan nemt få det indtryk, at algoritmer, der skal støtte beslutninger i forvaltning og sundhedsvæsen, kan indføres med et snuptag. Der er masser af data om borgerne, og kunstig intelligens kan i dag købes som brugervenlig software.

Men det reelle billede er ganske anderledes.

Data fortæller ikke en entydig historie, og love og regler skifter over tid og ændrer meningen. Det kræver en tværfaglig indsats, hvis man skal udføre ordentlig forskning om algoritmer, der kan hjælpe til at tage beslutninger.

Det fortæller Thomas Hildebrandt, som er professor ved Datalogisk Institut på Københavns Universitet.

Han har i et samarbejde med Gladsaxe Kommune kigget nærmere på jobcentre og de beslutninger, sagsbehandlere træffer i forbindelse med borgere, der er ramt af ledighed.

»Udfordringen er, at man skal forstå mange ting,« konstaterer han i et interview med Version2.

»Det er ikke nok at forstå data-videnskab. Man skal også forstå, hvad arbejdspraksis er, og sammenhængen mellem denne praksis og teknologierne. Helt banalt: Hvor kommer de data fra, som vi analyserer. Kan vi stole på, at data siger det, vi tror, de siger.«

Der er konkrete eksempler på, at det ikke altid har været tilfældet.

Forudsigelser forudsætter forståelse

Når data gemmes i en database, er det vigtigt med forståelse for, hvor data kommer fra. Det er endnu mere vigtigt, når man begynder at træne kunstig intelligens-algoritmer (AI) på data.

Problemstillingen er markant i Thomas Hildebrandts forskningsprojekt, hvor man altså prøver at forstå data i jobcentrenes it-systemer.

»Det er ekstremt vigtigt at vide, hvad der er sket i en sag – hvad har givet anledning til disse bestemte data. Hvis vi ikke forstår den sammenhæng, og ikke kan holde den forståelse vedlige, kan vi heller ikke udtale os om de forudsigelser, vi kommer med.«

Det er vigtigt at have fagfolk, der forstår lovgivningen, med i udviklingsarbejdet. Det gælder både den generelle forvaltningslov – hvad er det egentlig, myndighederne har pligt til, i forhold til at træffe afgørelser.

»Så er der den mere specifikke lovgivning. Man skal have fagfolk med, som kan stille spørgsmål om, hvad konsekvenserne af AI er – både på det menneskelige og økonomiske niveau, så man kan vurdere, om der er proportionalitet – er det overhovedet godt, det vi gør?«

Event: Sådan tiltrækker du it-talenter til industrien

Det er en fare i al udvikling af teknologi, at når det indføres, kan man nemt lægge elementer ind i designet, som er uhensigtsmæssigt. Det kan være fordelagtigt, når teknologien designes, men så er der forhold, der ændrer sig, så det senere gør skade.

Bekymrende, når studerende skaber AI

Der kræves altså en del for at skabe disse algoritmer. Vil du opfordre kommuner og mindre offentlige institutioner til at stoppe egenudvikling?

»Jeg vil i hvert fald opfordre til at inddrage de nødvendige kompetencer.«

Findes de kompetencer i kommunerne?

»Jeg tror, der er kommuner og kommunale fællesskaber, hvor man kunne gøre det forsvarligt. Men den enkelte kommune alene skal nok gå ind i et samarbejde med andre. Jeg tror, at eksempelvis Gladsaxe er opmærksom på, at det havde gavnet med mere åbenhed, inden man var kommet langt i processen,« udtaler han med henvisning til Gladsaxes 'Projekt tidlig opsporing,' der med algoritmer og andre tiltag skulle forudsige familier med problemer.

Åbenhed på alle planer går igen på lister over etiske retningslinjer i forhold til kunstig intelligens, påpeger Thomas Hildebrandt.

I Horsens Kommune skal to specialestuderende på Aarhus Universitet stå for udviklingsarbejdet med en algoritme, der skal finde socialbedragere.

»Man kan godt være bekymret med de her eksempler, hvor det er studerende eller praktikanter, der udfører arbejdet. Man skal se på, i hvilken sammenhæng de gør det i. Hvis det er et større forskningsprojekt, kan det godt lade sig gøre.«

Sponseret indhold

Mange virksomheder har en farlig tilgang til NIS2

ISO 27001

Men der skal være kontrolmekanismer i processen:

»Når udviklere kigger på AI, tales der kun om, hvor i høj grad algoritmen finder de rigtige svar, eller diskuterer de også de forkerte svar? Har de en åben diskussion om, hvem der har besluttet, om det er relevant at komme med forudsigelser eller algoritme-baserede forslag?«

AI kræver tværfaglighed

Der skal altså være åbenhed om, hvem, der har truffet beslutningen om, at algoritmer skal i anvendelse.

»Der kan man blive bekymret som borger. Det samme gælder beslutningen om, hvem der har truffet valg om, hvilke data, der er relevante. Det var måske der, Gladsaxe trådte forkert.«

Sponseret indhold

Microsoft tilføjer AI til enterprise-software - og det sker fra Lyngby

AI

Man skal overveje, hvilke data der er rimelige at bruge, og i forbindelse med Gladsaxes arbejde hvad konsekvenserne er for de mange forældre, der behandler deres børn ordentligt, at de pludselig bliver en del af dette program.

»Vi prøver i jobcenter-projektet kun at bruge de data, som alligevel er en del af sagsbehandlingen, når man er arbejdsløs. Ifølge loven skal jobcentrene kategorisere folk i målgrupper og hjælpe dem. Det handler om, at sagsbehandleren og borgeren sammen skal tegne en profil. Så der er ikke noget nyt i, at man bruger data til det.«

Men man skal være opmærksom på, hvordan det sikres, at når man ikke kun baserer sig på sagsbehandlerens erfaring, men også på data i it-systemer, at data rent faktisk betyder det, man tror, de betyder.

»Man må involvere fagfolk der forstår, hvordan vi studerer arbejdspraksis sammen med teknologien. Det kan være folk med etnografisk eller sociologisk baggrund, der kan vurdere det.«

Alle beslutninger har bias

I udlandet, som eksempelvis USA, findes der grelle eksempler på anvendelse af algoritmer, hvor diskriminationen er åbenlys.

Men i al konstruktion af beslutninger ligger der bias – indbyggede fordomme – lyder Thomas Hildebrandts synspunkt.

»Det gør der i mennesker og i maskiner. Derfor er det vigtigt, at vi gør det synligt, så vi kan udfordre beslutningerne.«

Det vanskelige med maskiner er, at afgørelserne er automatiserede.

»Man kan komme til at lave mange fejlagtige beslutninger. Der har man et særligt ansvar som udvikler, at man gør det transparent og stiller spørgsmålet: Hvilke data bygger afgørelsen på – kan vi teste for diskriminerende bias?«

Der er mange eksempler på algoritmer, der er taget i brug, uden at det er sikkert, hvad det egentlig er for data, de er trænet på. Dagens forskning kigger på, hvordan man kan bygge en fremgangsmåde, der gør det muligt at afsøge bias i alle faser af udviklingen.

»Dermed ikke sagt, at vi kan undgå det. Der vil altid ligge en form for bias i enhver beslutning, og det skal i hvert fald være synligt. Er det en bias, som er rimelig? Er det sådan, samfundet er? Det må vi så gøre opmærksom på i vores beslutning. Men det kan ikke bare være en algoritme, der svarer ‘nej,’ uden at vi ved, hvad den baserer sit nej på.«

Ikke teknologi for dens egen skyld

I forbindelse med Gladsaxes algoritme til opsporing af udsatte børn mener et byrådsmedlem, at problemet er, at socialrådgiverne ikke tager hånd om indberetninger?

»Det er en god problemstilling og hører med i de etiske retningslinjer, også for udviklere. Teknologi er ikke noget man skal bruge for dens egen skyld. Man må spørge: Hvilket problem skal løses? Man kan frygte, at man ikke løser det rigtige problem.«

I Thomas Hildebrandt projekt følges sagsbehandlernes arbejde for at finde ud af, hvor de træffer beslutninger og har brug for flere data. Det er ikke nødvendigvis nemt at finde oplysningerne frem, og det gjaldt også, før algoritmerne kom ind i billedet.

Det handler om at forstå arbejdspraksis.

»Man skal ikke bare kaste data-videnskabsfolk efter udvikling, hvor man kun har talt med ledelseslaget. Man skal have sagsbehandlerne med, og spørge dem: Hvad oplever I – hvad er jeres problem? Hvis det er, at de ikke har tid til at tage sig af de henvendelser de får, så har man god grund til ikke at starte med at kaste en AI-løsning efter problemet.«

Sådanne algoritmer kan også opleves som ‘objektive’, og man kan også i ledelseslag henvise beslutninger til en maskine, der bygger på matematik og ikke kan tage fejl?

»Det er også en meget alvorlig problematik, og der handler det om at gøre det transparent. Det er ikke nok at sige, at maskinen er kommet med et forslag. Man må også se på, hvilke parametre den er truffet på.«

Hvis beslutningen er truffet ud fra ti parametre, men der er tre andre, som er vigtigere i forbindelse med den pågældende person, skal sagsbehandleren kunne fravige afgørelsen.

Databasen er ikke virkeligheden

Hvad med sammenhængen mellem databaser og virkeligheden, i forbindelse med jeres projektarbejde?

»Man kan ikke bare tage et dump af databasen og så gennemskue, hvad der egentlig skete i virkeligheden.«

Det skyldes blandt andet, at hændelser kan registreres på flere forskellige måder.

»Hvorfor er den arbejdsløse stoppet i et forløb? Hvis mange årsager er registreret på forskellige måder, falder datakvaliteten. Så ved vi reelt ikke, hvad der er sket. Måske er personen slet ikke stoppet i et forløb, men er bare registreret på en anden måde. Det kan også være, at et tidsstempel slet ikke svarer til virkeligheden, fordi der er blevet registreret på et senere tidspunkt. Så får man misvisende data.«

Endelig ændrer lovgivningen sig også. Man skal have øje for, hvilke love og regler der var gyldige, da data blev indsamlet.

»Det nytter ikke at træne en algoritme til at komme med forudsigelser eller beslutninger baseret på data, som blev indsamlet i en anden sammenhæng – hvor lovgivningen gav helt andre muligheder.«

Svaret er ikke fundet endnu

Det lyder meget komplekst?

»Ja. I vores projekt er AI bare en del. En anden del er lovgivningen, som jurister forstår den. Det er de to ben i projektet: Kan vi bruge AI på en etisk korrekt måde, der giver gavn for borgere, samfund og kommuner, og kan vi bygge bro mellem lovgivningen, som jurister forstår den, og it, på en måde, så vi kan holde systemerne ved lige, når lovgivningen ændrer sig? Det sidste er lige så vigtigt som det første.«

Det lyder, som om der skal udføres en hel del mere forskning?

»Lige nu laver vi solid forskning. Vi afprøver i kontrollerede forsøg, hvor det ikke har konsekvenser for borgerne. Hvis der kommer en forudsigelse i systemet, hvilken slags forklaring er det så, sagsbehandlerne har brug for? Og hvilke forudsigelser giver mening? Er det etisk forsvarligt at komme med en forudsigelse om, at en borger er i risiko for at blive langtidsledig, eller er det stigmatiserende? Hvis det er det, man alligevel gør i dag, så er der måske en grund til det.«

Men det skal stadig være forståeligt for sagsbehandleren, hvorfor algoritmen eksempelvis kommer med en advarsel om risiko for langtidsledighed.

»Vi siger ikke, at vi har fundet svaret endnu. Hvis data ikke indikerer noget, kan algoritmen ikke komme med en forudsigelse. Men hvis sagsbehandlerne siger: Det er faktisk en mere grundig analyse, end det vi gør i dag, så har vi et godt argument. Men det er helt klart ikke noget, man kun skal sætte en data-videnskabsmand efter. Man er nødt til også at have nogen, der forstår, hvordan mennesker arbejder med tingene, og sætter sig ind i lovgivningen.«

Der er mange etiske retningslinjer på området i dag.

»Jeg synes, man skal stoppe og tænke sig om og tage retningslinjerne i brug. Man skal ikke bare spille på folks frygt for ny teknologi. Men der skal være en grund: Har vi overvejet både det negative og det positive?

Forskning kræver ikke nødvendigvis samkøring

Men vi har jo digitaliseret gennemgribende i Danmark, på en måde som man ikke har gjort i så mange andre lande?

»Man skal have det aspekt med, at hvordan er det, vi har indsamlet data i Danmark. Jeg er enig i, at det er sikkerhedsmæssigt udfordrende at knytte data til cpr-numre. Risikoen for misbrug er steget, også magtmisbrug. Der er adgang til data, som kan give en magt over individet, som ikke er rimelig. Det ligger i vores systemdesign.«

Det er forsimplet at sige, at algoritme-forskning kræver samkøring af data. Man kan udføre meget forskning, der ikke kræver samkøring, mener Thomas Hildebrandt.

»I mange it-systemer har vi rollebaseret adgangskontrol, som i mange tilfælde har vist sig ikke at være hensigtsmæssigt i forhold til misbrug. Kunne vi fremadrettet registrere data, så vi ikke kan forbinde det til enkeltpersoner, men stadig bruge det til forskning - det burde være et spørgsmål med meget mere bevågenhed. Det er så vigtigt, at der er transparens om matematikken bag. Men spørgsmålet bør være: Kan vi tage de mange data, som vi har i Danmark, og skabe et nyt syntetisk og anonymt datasæt, som kan træne algoritmer?«