Jurister: Børneopsporing med kunstig intelligens er ikke forenelig med lovgiving

23 kommentarer.  Hop til debatten
Jurister: Børneopsporing med kunstig intelligens er ikke forenelig med lovgiving
Illustration: Rawpixel.com, Bigstock.
Algoritme-værktøj til opsporing af mistrivsel i børnefamilier er »særdeles problematisk« og »helt uegnet til at opspore mistrivsel,« mener juridiske eksperter på børnesocialområdet.
12. juli 2021 kl. 03:25
errorÆldre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

»Man prøver på at lave noget målbart, som ikke er målbart. Det er det, der er problemet med algoritmen.«

Sådan karakteriserer lektor, jurist og ph.d. Caroline Adolphsen fra Aarhus Universitet (AU) det arbejde, som udføres af projektet Underretninger i Fokus, der udvikler på en kunstig intelligens-algoritme, der skal opspore mistrivsel blandt børn. Projektet udvikles af Aarhus Universitet og VIA University College.

Log ind og få adgang
Du kan læse indholdet ved at logge ind eller oprette dig som ny bruger.
23 kommentarer.  Hop til debatten
Debatten
Log ind for at deltage i debatten.
settingsDebatindstillinger
24
19. juli 2021 kl. 18:00

GDPR:https://data.europa.eu/eli/reg/2016/679/oj

GDPR Artikel 22: https://www.privacy-regulation.eu/da/22.htm

Artikel 22 - Automatiske individuelle afgørelser, herunder profilering</p>
<ol>
<li>
<p>Den registrerede har ret til ikke at være genstand for en afgørelse, der alene er baseret på automatisk behandling, herunder profilering, som har retsvirkning eller på tilsvarende vis betydeligt påvirker den pågældende.</p>
</li>
<li>
<p>Stk. 1 finder ikke anvendelse, hvis afgørelsen:</p>
</li>
</ol>
<p>a) er nødvendig for indgåelse eller opfyldelse af en kontrakt mellem den registrerede og en dataansvarlig</p>
<p>b) er hjemlet i EU-ret eller medlemsstaternes nationale ret, som den dataansvarlige er underlagt, og som også fastsætter passende foranstaltninger til beskyttelse af den registreredes rettigheder og frihedsrettigheder samt legitime interesser eller</p>
<p>c) er baseret på den registreredes udtrykkelige samtykke.</p>
<ol start="3">
<li>
<p>I de tilfælde, der er omhandlet i stk. 2, litra a) og c), gennemfører den dataansvarlige passende foranstaltninger til at beskytte den registreredes rettigheder og frihedsrettigheder samt legitime interesser, i det mindste den registreredes ret til menneskelig indgriben fra den dataansvarliges side, til at fremkomme med sine synspunkter og til at bestride afgørelsen.</p>
</li>
<li>
<p>De afgørelser, der er omhandlet i stk. 2, må ikke baseres på særlige kategorier af personoplysninger, jf. artikel 9, stk. 1, medmindre artikel 9, stk. 2, litra a) eller g), finder anvendelse, og der er indført passende foranstaltninger til beskyttelse af den registreredes rettigheder og frihedsrettigheder samt legitime interesser.

og vær opmærksom på årsag 71:

https://www.privacy-regulation.eu/da/r71.htm

(71)</p>
<p>Den registrerede bør have ret til ikke at blive gjort til genstand for en afgørelse, der kan omfatte en foranstaltning, som evaluerer personlige forhold vedrørende vedkommende, og som alene bygger på automatisk behandling, og som har retsvirkning eller som på tilsvarende vis betydeligt påvirker den pågældende, såsom et automatisk afslag på en onlineansøgning om kredit eller e-rekrutteringsprocedurer uden nogen menneskelig indgriben.</p>
<p>En sådan behandling omfatter »profilering«, der består af enhver form for automatisk behandling af personoplysninger, der evaluerer de personlige forhold vedrørende en fysisk person, navnlig for at analysere eller forudsige forhold vedrørende den registreredes arbejdsindsats, økonomisk situation, helbred, personlige præferencer eller interesser, pålidelighed eller adfærd eller geografiske position eller bevægelser, når den har retsvirkning for den pågældende eller på tilsvarende vis betydeligt påvirker den pågældende.</p>
<p>Afgørelser baseret på en sådan behandling, herunder profilering, bør dog være tilladt, når EU-ret eller medlemsstaternes nationale ret, som den dataansvarlige er underlagt, udtrykkelig tillader det, herunder med henblik på overvågning og forebyggelse af svig og skatteunddragelse i overensstemmelse med EU-institutionernes eller nationale tilsynsmyndigheders forskrifter, standarder og henstillinger og for at garantere sikkerheden og pålideligheden af en tjeneste, der ydes af den dataansvarlige, eller hvis det er nødvendigt for indgåelse eller opfyldelse af en kontrakt mellem den registrerede og en dataansvarlig, eller når den registrerede har givet sit udtrykkelige samtykke.</p>
<p>En sådan behandling bør under alle omstændigheder være omfattet af de fornødne garantier, herunder specifik underretning af den registrerede og retten til menneskelig indgriben, til at fremkomme med synspunkter, til at få en forklaring på den afgørelse, der er truffet efter en sådan evaluering, og til at bestride afgørelsen.</p>
<p>En sådan foranstaltning bør ikke omfatte et barn.</p>
<p>For at sikre en rimelig og gennemsigtig behandling for så vidt angår den registrerede under hensyntagen til de specifikke omstændigheder og forhold, som personoplysningerne behandles under, bør den dataansvarlige anvende passende matematiske eller statistiske procedurer til profileringen, gennemføre tekniske og organisatoriske foranstaltninger, der navnlig kan sikre, at faktorer, der resulterer i unøjagtige personoplysninger, bliver rettet, og at risikoen for fejl minimeres, samt sikre personoplysninger på en måde, der tager højde for de potentielle risici for den registreredes interesser og rettigheder, og som hindrer bl.a. forskelsbehandling af fysiske personer på grund af race eller etnisk oprindelse, politisk, religiøs eller filosofisk overbevisning, fagforeningsmæssigt tilhørsforhold, genetisk status eller helbredstilstand eller seksuel orientering, eller som resulterer i foranstaltninger, der har en sådan virkning.</p>
<p>Automatiske afgørelser og profilering baseret på særlige kategorier af personoplysninger bør kun tillades under særlige omstændigheder.

23
13. juli 2021 kl. 23:25

Dette projekt har kørt som pilotprojekt i to kommuner. Hvor kan man læse HVILKE to kommuner det drejer sig om? Og hvordan får vi større medier end Version2 til at køre denne historie? Det er jo nødvendigt. Jeg tror sgu egentlig mange danskere ville finde hele den her historie problematisk.

22
13. juli 2021 kl. 23:17

... ej heller er det foreneligt med sund fornuft?!

Demonstration, kom nu.

Hvad var det nu der blev sagt til EM? Vi skal ikke hjem, vi skal videre?

21
13. juli 2021 kl. 22:49

»<strong>Man prøver på at lave noget målbart, som ikke er målbart. Det er det, der er problemet med algoritmen. Omsorgssvigt er ikke målbart. Forældreevne er ikke målbart</strong>. Det er ikke bokse, der bliver krydset af, men en meget mere nuanceret vurdering. Den vurdering kan ikke laves på baggrund af eller med en algoritme.«

Totalt usaglig tirade, som oven i købet ikke forholder sig til publiceret forskning på området som eks. omtalt i 2019-temanummeret af Socialrådgivernes medlemsblad:

https://issuu.com/socialrdg/docs/39-udenfornummer

Man må for guds og børnenes skyld håbe, at forskeren Caroline Adolphsens private holdninger ikke kommer til at danne grundlag for fremtidig praksis på området, hvilket i værste fald kunne betyde, at flere forældre ville få foretaget en "nuanceret vurdering" af deres forældreevne af Michael Adam Guul og tilsvarende personer, som forskeren af uransagelige årsager ikke finder anledning til at nævne som fagligt forbehold i forhold til eksisterende praksis på området.

19
13. juli 2021 kl. 12:54

Kasper Groes Ludvigsen har skrevet en artikel om emnet, desværre bag ING.DK's betalingsmur.

Overskriften siger det meget godt:

"Spørg om du bør, ikke om du kan, bruge AI".

18
13. juli 2021 kl. 01:53

Kan man mon juridisk komme længere ved at indsamle sags-specifikke gunddata på en række borgere (som evt. har en sag hos kommunen via et slags front-selskab, altså det primære del-"forsknings"-projekt, og så derefter, i et sekundært parallel-projekt som et "meget akademisk og uinteressant for borgerne", at sammenkøre det med et langt mere omfattende og personfølsomt datasæt, og dermed opnå stort set samme individuelle profilering af subjekterne, som hvis man ikke havde været begrænset mht indsamling og sammenkøring i det primære facade-projekt?

Hvad er der af hindringer for at oprette et dataindsamings-projekt i et regi, og så efterfølgende overlevere det til et andet projekt som ikke selv ville kunne opnå tilladelse til aktivt at indsamle data fra konkrete igangværende kommunale sager, men til gengæld har videre beføjelser til at trække på andre følsomme persondata?

Og hvordan forholder det sig mon juridisk, hvis disse "berigende" persondata løbende tilbageføres via ML algoritmeopdateringer til det offentlige kendte frontend-projektet som jo er involveret i løbende sager hos test-kommunerne i form af tildeling af risiko-scores til børn og yderlig indsamling af data?

Kan man stadig hævde at disse ekstra persondata ikke kan risikere at indgå i en given borgers konkrete sag, især når det er kendt at data fra ML trænings-datsæt nogen gange overlever i slut-produktet uden at det umiddelbart kan opdages.

17
13. juli 2021 kl. 00:49

@lars: Jeg mener jeg efterspurgte en troværdig kilde, men er "IronLaw"-linket det? En privat amerikansk netside - lugter lidt for meget af "Donald T" for min tålmodighed.

@Niels: Har du set 13-jul-2020 artiklen i denne serie:

Børneprofilering med kunstig intelligens bruger 70 registre i sideprojekt

Ikke mindre bekymrende, men den har været ude et år nu.

16
12. juli 2021 kl. 22:18

Ok, jeg ser at der er tale om et parallelt projekt, eller hvordan man nu skal krejle betegnelsen:

"Men ‘Underretninger i fokus’ har også et parallelt forskningsprojekt, hvor der indgår et langt større antal registre. Det fremgår af aktindsigt, som Version2 har fremskaffet fra Danmarks Statistik.

[...]

Det parallelle projekt er ikke beskrevet i offentligt tilgængelige dokumenter.

»Det er en del af det samlede forskningsprojekt, som er opdelt i en række ’underprojekter’,« forklarer projektets leder, professor Michael Rosholm fra Institut for Økonomi, Aarhus BSS ved Aarhus Universitet."

Ikke at det giver ret meget mere klarhed, men det bestyrker min fornemmelse på at løgnene helst skal serveres i små bidder, så de nemmere glider ned hos borgerne.

15
12. juli 2021 kl. 22:09

Nu er det ikke ligefrem åbenhed som hidtil har præget dette projekt, "Underretning i fokus", og den fulde liste over parametre som indgår skulle angiveligt hales ud af teamet vha. agtinsigter:

https://www.version2.dk/artikel/boerneprofilering-med-kunstig-intelligens-bruger-70-registre-sideprojekt-1090946

Og når jeg så læser listen over datakilder, så indgår de nationale trivselsmålinger sørme! Altså dem så jo skulle være anonyme, lige indtil det blev afsløret som en statslig løgn. Derefter valgte man så at berolige med at kommunerne ikke længere ville kunne få adgang til trivselsmålingerne, og at der var lavet tekniske løsninger som skulle forhindre dette.

Men hvordan kan det hænge sammen med at trivselsmålingerne angiveligt indgår som parameter samtidigt med at man fra projektets side ovenfor nu fastslår at der kun indgår data som kommunens sagsbehandlere allerede har adgang til?

Der er godt nok noget der ikke hænger sammen her, og jeg vil æde en stråhat på at det ikke har været meningen at der skulle være offentlig interesse for dette klamme projekt, som angiveligt allerede har været afprøvet i to kommuner, med dertilhørende ulovlig brug af persondata fra trivselsmålingerne må man antage.

Har jeg misforstået noget, eller hvad f...... foregår her egentlig?

13
12. juli 2021 kl. 20:29

Artiklen nævner kun uddannelse og ekspertise- / forskningsområde for Caroline Adolphsen. Uddannelse og tidligere (men ikke nuværende) arbejdsområde. Artiklen nævner ikke uddannelse / forskningsområde for Anne Marie Villumsen hhv. Michael Rosholm, men kun deres titler – som endda er mangelfulde (f.eks. er Michael Rosholm – i modsætning til de andre personer i artiklen – alene nævnt med sin ansættelsestitel). Det ville klæde artiklen, hvis forfatteren havde været mere konsekvent i sin fremstilling.

Anne Marie Villumsen er cand.psych. (aut). – dvs. hun er uddannet psykolog og er efterfølgende blevet autoriseret af psykolognævnet ( https://www.via.dk/om-via/presse/eksperter/anne-marie-villumsen ).

Michael Rosholm er cand.oecon, ph.d. – dvs. han er uddannet økonom og har tillige en ph.d grad. Michael Rosholm er tilknyttet TrygFondens Børneforskningscenter ( https://pure.au.dk/portal/da/rom@econ.au.dk ).

Thomas Hildebrandt bliver nævnt som AI-ekspert og tillige professor, men uddannelse og forskningsområde er ikke nævnt. Thomas Hildebrands uddannelse fremgår ikke af KU eller ITU's hjemmeside (https://di.ku.dk/Ansatte/?pure=da/persons/350259 ;https://pure.itu.dk/portal/en/persons/thomas-hildebrandt(d30b96a8-4f1e-44fa-9bf5-0209bedf0268).html ). Ifølge Linkedin, så har han M.Sc. and PhD in Mathematics and Theoretical Computer Science ( https://www.linkedin.com/in/thomas-hildebrandt-7677a31/?originalSubdomain=dk ).

Jeg synes, at det er relevant at inddrage, hvilke forskningsomårder de respektive personer har for, at kunne få en forståelse af, hvilket fokus de har og hvilken type ekspertise de biddrager med.

En ting, som ikke er inddraget i artiklen – jeg ved ikke om det indgår i projektet – er kvalitetssikring af de informationer, som indgår i modellen. Podcasten "I de forkerte hænder" fortæller, hvordan psykologen Michael Adam Guul bl.a. laver copy / paste i sine (mangelfulde) rapporter – rappoter, som danner grundlag for tvangsfjernelse – han bryster sig tillige af, at være uddannet både cand.psych og cand.med. (sidstnævnte er han ikke).

Problematikken med projektet er vel grundlæggende, at den sætter skøn under regel.

12
12. juli 2021 kl. 17:41

Gad vide hvornår der kommer en spareøvelse og effektivisering inden for forsker-miljøet? Det er efterhånden tiltrængt, når projekter som disse ser dagens lys.

Det må du nok sige?

11
12. juli 2021 kl. 16:03

»Igen gør vi opmærksom på, at vi endnu ikke ved, om det forholder sig sådan. Det kan vi først se, når vores lodtrækningsforsøg er gennemført. Her vil vi have særlig opmærksomhed på denne problemstilling.«

Er der en herinde der ved hvad et sådan lodtrækningsforsøg indebære? Er første præmien en tvangsfjernelse?

Det er hovedrystende at læse projektledelsen i første omgang fortæller om hvorvidt beslutningsstøtten reelt virker, hvorefter de taler om uddannelse af sagsbehandler og dermed bruge deres sparsomme tid, de i stedet kunne have brugt på at tage hånd om børnene.

Gad vide hvornår der kommer en spareøvelse og effektivisering inden for forsker-miljøet? Det er efterhånden tiltrængt, når projekter som disse ser dagens lys.

9
12. juli 2021 kl. 15:00

Det har været kendt i et halvt århundrede at sociale programmer og interventioner ingen effekt har.

Hvis du har et link til en troværdig kilde til denne oplysning, vil du så ikke dele den her med os?

7
12. juli 2021 kl. 13:56

Bente Adolphsen kan også være bange for, at sagsbehandlerne bliver sløvet i deres agtpågivenhed.

Man må også tage hensyn til forskerne, de vil selvfølgelig helst udføre noget samfundsnyttigt og tilføre od alle en bedre livskvalitet.

Hvis man som forsker ikke kan finde gode nyttige emner at forske i er alternativet noget unyttigt / ligegyldigt som man kan forske i. Alternativerne hvis man hellerikke kan finde det er enten at forske i noget dumt og måske uetisk eller miste bevillingerne.

5
12. juli 2021 kl. 12:19

Os bekendt er vi et af de få projekter på det sociale område, hvor vi rent faktisk forsøger at belyse både konsekvenser, effekter, juridiske og etiske aspekter og ikke mindst socialrådgiveres og børn og familiers perspektiver herpå.

Det lyder faktisk uhyggeligt, at der åbenbart er systemer som kommer i drift uden objektive overvejelser.

4
12. juli 2021 kl. 11:00

Bente Adolphsen kan også være bange for, at sagsbehandlerne bliver sløvet i deres agtpågivenhed.</p>
<p>Det er projektets ledere enige i:</p>
<p>»Igen gør vi opmærksom på, at vi endnu ikke ved, om det forholder sig sådan. Det kan vi først se, når vores lodtrækningsforsøg er gennemført. Her vil vi have særlig opmærksomhed på denne problemstilling.«

Det virker etisk problematisk, at man laver et forsøg, som man på forhånd ved, kan give forkerte beslutninger af så alvorlig karakter. Med åbne øjne risikerer man fx at tvangsfjerne børn, men det kan man først se, når "vores lodtrækningsforsøg er gennemført". Hvordan skal man så kompensere for en ødelagt barndom? Ved at sende et kort med en undskyldning og en bamse?

3
12. juli 2021 kl. 08:12
  • Er der en kontrolgruppe og en forsøgsgruppe? Hvordan sammensættes de?
  • Bliver familierne orienterede om, at de indgår i et forsøg? Bliver de spurgt?
  • Sammenligner man med socialrådgiverarbejde med tilstrækkelige ressourcer, eller sammenligner man med det "discount-socialrådgiverarbejde", som trives i mange kommuner?
  • Hvad koster projektet at udvikle? Hvad koster det at drive systemet? Hvor mange socialrådgivere kunne man ansætte for det beløb?
  • Der er mange historier om mistrivsel og dårlig omsorg i plejefamilier (selvfølgelig også mange gode og meget nødvendige indsatser). Når man vurderer risikoen, undersøger man så også risikoen ved fjernelse af børnene, og sammenligner med denne?
  • Medierne er dagligt fulde af fejlbehæftede og hackede offentlige IT-systemer - hvordan kan man tro, at det ikke vil ramme sådanne beslutningsstøttende algoritmer - måske endda uden at man nogensinde opdager det?

Der er uendeligt mange faldgrupper og fejlkilder i dette område - det lyder så smart - det er det oftest ikke. Den tidligere, nu frafaldne, algoritmeudvikler Cathy O'Neils bog "Weapons og Math Destruction" er fyldt med grimme eksempler. Den kan stærkt anbefales, så mister man al tro på, at dette er vejen frem.

2
12. juli 2021 kl. 07:29

Hvilke områder er NO GO når vi taler prediktive algortimer,
udover at forudsige børns risiko for omsorgssvigt?

Det er vist det, man kalder et rigtig godt spørgsmål?

Men er Version2's komentarium mon det rette forum at stille det i, givet at mange her lever af at sælge IT-systemer eller fremstille software.

Hvis du venter konkrete svar eller ligefrem en "sortliste".

Hvis politikere tror man kan spare penge på området, vil det givet dette lands moralske habitus eller mangel på samme komme til at ske.

1
12. juli 2021 kl. 06:08

hvilke områder er NO GO når vi taler prediktive algortimer

      • udover at forudsige børns risiko for omsorgssvigt?