Gladsaxe taler ud om dataovervågning: Vi vil gerne lave en ‘black box’

Gladsaxe Kommune står parat til at lave en 'black box', så snart lovgivningen gør det muligt, fortalte kommunens børne- og familiechef Tine Vesterby Sørensen på Konference om digitalisering på det sociale område. Illustration: Tania Andersen
Gladsaxe står parat ved havelågen, hvis en kommende bekendtgørelse skulle lovliggøre overvågnings-algoritme. Tænketank er bekymret for retssikkerhed og menneskerettigheder.

Gladsaxe Kommune har været fåmælt, når det handler om den ombruste algoritme til overvågning af socialt udsatte familier.

Læs også: Juridiske eksperter: Gladsaxes algoritme overtræder persondata-lov

På kommunens opfordring stillede Version2 sytten spørgsmål om algoritmens udformning i starten af januar. Dem nægtede kommunen at svare på.

I begyndelsen af februar kunne Version2 berette, at Gladsaxe ifølge flere juridiske eksperter overtrådte persondataloven. Dagen efter meddelte kommunen, at arbejdet nu blev sat på pause.

Læs også: Gladsaxe Kommune sætter algoritme-udvikling på pause

Men det er kun, indtil ministerierne ombestemmer sig og kommer med en ny bekendtgørelse.

Det fortalte kommunens børne- og familiechef Tine Vesterby Sørensen på Konference om digitalisering på det sociale område, som blev afholdt i sidste uge, arrangeret af Dansk Socialrådgiverforening, tænketanken Justitia, Institut for Socialrådgiveruddannelse ved Københavns Professionshøjskole og tænketanken Teknoetik, på professionshøjskolen på Frederiksberg.

»Trygfondens forskning viser klart, at det, børn er udsat for i de første tre år af livet, får betydning i deres voksenliv. Det at være født af en enlig mor på overførselsindkomst uden uddannelse i et udsat boligområde – der kan du følge børn, til de bliver voksne og dør tidligere end alle andre – hvordan de ikke gennemfører folkeskolen og ikke får en ungdomsuddannelse, de har svært ved at få et arbejde, de har mere fattigdom og sygdom og laver mere kriminalitet og dør tidligere,« fortalte Tine Vesterby Sørensen tilhørerne.

Flyverdragten lugter af røg

Kommunens medarbejdere skal have dette for øje i alle sammenhænge, hvor der er kontakt til borgerne:

»Vi må sikre, at jobkonsulenterne på jobcentrene ikke kun er optaget af at få forældrene i arbejde. De skal også være optaget af, at når det er så svært at blive i arbejde, fordi hun har alle de her problemer - gad vide, hvordan det så er at vokse op hjemme hos hende.«

Hun fortsatte:

»Børnehavepædagogen skal være optaget af, at hun har et barn, der kommer i dagtilbud i en flyverdragt, der lugter af røg. Man skal være optaget af: ‘Gad vide, hvad der sker derhjemme’, hvor mor og far ikke har haft noget arbejde i mange år.«

Tine Vesterby understreger, at kommunen ikke gør noget med data i øjeblikket, da kommunen ikke har fået den nødvendige bekendtgørelse.

Men som Version2 tidligere har beskrevet, var arbejdet i fuldt gang i december måned 2018, på trods af at Gladsaxe fik afslag på frikommuneansøgning i december 2017. Arbejdet fortsatte altså i hvert fald i 12 måneder.

Læs også: Gladsaxe arbejder videre på overvågningsalgoritme - trods nej fra ministerium

»Vi har i Gladsaxe fået en del tæv for, at vi vil lave dataunderstøttet opsporing. Vi kan begynde at arbejde med forældrene, før deres børn udvikler alvorlige symptomer på mistrivsel. Men det kræver, at vi finder disse børn noget før. Noget, der er rigtig vigtigt, er transparens og en fagpersons individuelle skøn.«

»Vi får meget hurtigt et overvågningssamfund«

I konferencens debatpanel var der ikke stor tilslutning til Gladsaxes ideer.

»Bare fordi noget er muligt, er det ikke sikkert, man skal gøre det. Vi får meget hurtigt et overvågningssamfund, for når de digitale muligheder er der, er der en tendens til, at man gerne vil bruge dem som værktøjer,« mener Birgitte Eiriksson, som er vicedirektør i tænketanken Justitia. Illustration: Justitia

»Jeg er mest bekymret for vores retssikkerhed og vores menneskerettigheder,« sagde Birgitte Eiriksson, som er vicedirektør i Justitia og tidligere juridisk chefkonsulent i Rigspolitiet:

»Bare fordi noget er muligt, er det ikke sikkert, man skal gøre det. Vi får meget hurtigt et overvågningssamfund, for når de digitale muligheder er der, er der en tendens til, at man gerne vil bruge dem som værktøjer, for eksempel til at bekæmpe snyd med sociale ydelser og alt muligt andet. Det kan også være meget legitime forhold, som det er at finde børn, der mistrives, på et tidligt tidspunkt, men vi sælger ud af vores privatliv. Og det er noget, vi skal værne om.«

Menneskerettighederne skal beskytte borgerne mod staten, og der skal man tænke sig grundigt om, lød synspunktet.

»Min anden hovedanke er retssikkerheden, særligt for de socialt udsatte borgere, men også for andre, der ikke har de resurser, det kræver at være med i forvaltningsretlige processer, som kræver, at man er god til jura. Det skal tænkes ind, når systemerne designes.«

Politikere skal engagere sig i digitale strategier

En anden paneldeltager, jurist og lektor Hanne Marie Motzfeldt ved Center for Informations- og Innovationsret ved Københavns Universitet, mente, at Gladsaxe-modellen aldrig skulle været gået i luften uden at være fulgt af et såkaldt §17-udvalg bestående af politikere fra byrådet.

»Når der sættes overvågningskameraer op i kommunale sportshaller, råber politikerne op om, at det vil vi ikke have. Det politiske system virker,« lød hendes pointe.

»Jeg kunne godt tænke mig flere folkevalgte, der er involveret i de digitale strategier.«

Tine Vesterby Sørensen mener, at den sociale indsats i dagens Danmark halter, og at der må nye boller på suppen:

»Vi har lavet socialt arbejde i mange år i Danmark, og er det lykkedes? Nej, det er det ikke. Den sociale mobilitet falder. Vi er på vej med en generation, hvor børn bliver dårligere uddannet end deres forældre, hvilket ikke er sket i mange år. Vi er ikke lykkedes med, at de udsatte børn har fået det bedre. Måske er det på tide at gå en ny vej. Men jeg kan godt forstå bekymringen, og at I synes, det er langt ude i Gladsaxe. Derfor vil vi gerne være frikommune, hvor politikere fra Christiansborg og vores egne politikere, som i øvrigt er helt med på ideen, kan følge det.«

Intens overvågning er stort indgreb i retten til privatliv

Det fik ordstyrer Anette Høyrup fra Forbrugerrådet Tænk til at indvende:

»Men spørgsmålet er, om alle kommunens borgere skal registreres, og i hvilket omfang, for at man kan finde frem til de udsatte borgere, og der taler vi om proportionalitetsprincippet om kun de nødvendige data.«

Hun gav stafetten videre til Birgitte Eiriksson, der sagde:

»Når man overvåger så intenst, så er det også et stort indgreb i vores ret til privatliv. Den ret er ikke absolut. Man kan gøre indgreb, men der er nogle ting, som skal være opfyldt. Formålet skal være legitimt, og der skal være klar lovhjemmel, og det kan man skabe. Men så kommer problemet: Det skal være proportionalt. Det er ikke et proportionalt indgreb at overvåge så mange børnefamilier for at finde ganske få. Når jeg taler med skolelærere, socialrådgivere og pædagoger, siger de, at kommunerne ikke reagerer på deres underretninger. Vi har allerede et system, hvor mange holder øje med børnene, fra de er helt små, og som løbende foretager underretninger, som der ikke bliver reageret på.«

I stedet ønskes et computersystem, som betyder, at der ‘bankes på en masse menneskers døre’:

»Hvor vi godt vil snakke om dine forældrekompetencer, fordi du har en anden nationalitet, eller du ikke har haft job i to år, og du har glemt to aftaler hos skoletandlægen, og du har ikke været på forældreintra endnu – det er ret skræmmende. Og det kunne lige så godt være mig.«

»Vi vil gerne lave en ‘black box’«

Tine Vesterby Sørensens genmæle lød:

»Vi bruger kun data, som foreligger i kommunen. Vi vil ikke skabe ‘falske positive’. Derfor er det vigtigt at arbejde med det i en algoritme, som skal kunne finde de rigtige. Jeg er fuldstændig med på, at vi ikke vil lave en generel overvågning. Og vi vil også nødigt kalde det ‘overvågning.’ Vi vil gerne lave et system, som har en ‘black box’, dvs. at når data løber ind, bliver det behandlet i et system, som ingen nogensinde kommer til at se. Dem, hvor det ikke er sandsynligt, at børnene er udsatte, er der ingen, der nogensinde vil se. Vores dataanalytikere siger, at disse data bliver ikke set af nogen.«

Disse data eksisterer allerede i fagsystemerne, og der er derfor ikke behov for yderligere indsamling, sagde Tine Vesterby Sørensen.

Men der er forvirring om, hvad overvågning er, mente Birgitte Eiriksson.

Det er i hendes øjne overvågning, hvis myndigheder registrerer, samkører data og danner tætte personprofiler på borgerne – også hvis sagsbehandlerne ikke kigger på data, men overlader arbejdet til algoritmer.

»Og tro mig: Den dag, man får brug for at kigge på data, så gør man det. At man ikke bruger dem konstant og hele tiden, betyder ikke, at det ikke er overvågning. At falske positive bare kan sorteres fra – det kan ikke lade sig gøre. Når Udbetaling Danmark kører deres meget omfattende systematiske sager, er det eksempelvis kun i en fjerdedel af sagerne, hvor det ender med en regulering af borgernes ydelser.«

På Version2's spørgsmål om, hvorfor borgerne skal stole på myndighederne, hvis de som i Gladsaxes tilfælde ikke vil svare på offentlighedens spørgsmål, udtalte Tine Vesterby Sørensen:

»Jeg tænker, at i det øjeblik, der foreligger en bekendtgørelse fra ministeriet om, at vi må lave denne samkøring, så vil vi også oplyse fuldstændigt, hvordan vi arbejder med den. I øjeblikket har vi i Gladsaxe valgt at sige: Det ser ikke ud til, at der kommer en bekendtgørelse foreløbig, og derfor har vi sat arbejdet i bero. Og derfor ser vi ikke nogen grund til lige nu at bruge tid på at orientere journalister, som primært har en negativ vinkel på denne opgave. Det er vores holdning.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (19)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Anne-Marie Krogsbøll

*»Vi bruger kun data, som foreligger i kommunen. Vi vil ikke skabe ‘falske positive.’ Derfor er det vigtigt at arbejde med det i en algoritme, som skal kunne finde de rigtige. Jeg er fuldstændig med på, at vi ikke vil lave en generel overvågning. Og vi vil også nødigt kalde det ‘overvågning.’ Vi vil gerne lave et system, som har en ‘black box’, dvs. at når data løber ind, bliver det behandlet i et system, som ingen nogensinde kommer til at se. Dem, hvor det ikke er sandsynligt at børnene er udsatte, er der ingen der nogensinde vil se. Vores dataanalytikere siger, at disse data bliver ikke set af nogen.«​

I mine øjne er denne person nærmest farlig - så meget magt og så lidt indsigt. Hvordan kan det gå til? Hvem har rådgivet hende om, at tingene er så enkle? Hvem har bildt hende ind, at det, hun beskriver, ikke er overvågning? Hvem er hendes bagmænd? For det kan umuligt være noget, hun selv har fundet på - nogen må have bildt hende ind, at det kan lade sig gøre? Lobbyister?

*»Jeg tænker, at i det øjeblik der foreligger en bekendtgørelse fra ministeriet om, at vi må lave denne samkøring, så vil vi også oplyse fuldstændigt, hvordan vi arbejder med den. I øjeblikket har vi i Gladsaxe valgt at sige: Det ser ikke ud til, at der kommer en bekendtgørelse foreløbig og derfor har vi sat arbejdet i bero. Og derfor ser vi ikke nogen grund til lige nu at bruge tid på at orientere journalister, som primært har en negativ vinkel på denne opgave. Det er vores holdning.«​

For det første lyder det som om, det i hendes øjne bare er et sprøgsmål om tid - uhyggeligt - men det skal nok passe.

For det andet er det en uhyggelig lukken af for debat om emnet. Man vil ikke diskutere sagen, før man allerede har ministerens tilladelse, for så er det for sent at få stoppet vanviddet. Og det gør det endnu mere uhyggeligt, at det er en så totalitært og udemokratisk tænkende person, der holder tøjlerne i Gladsaxe på dette område. Og igen: Hvem er bagmændene? For hun er jo ikke alene om det....

Jeg er simpelthen ikke tryg ved, at folk, der tænker på den måde (hvis da de tænker, og ikke i virkeligheden styres af en algoritme), sidder med denne enorme magt til at styre udviklingen på så afgørende et område. Det er uhyggeligt, og det eneste positive ved historien er, at hun lyder til at have mødt massiv modstand ved konferencen.

I øvrigt: De ting hun nævner, som åbenbart skal indgå hendes drømmealgoritme, er ting som "barnet lugter af røg", "forældrene har ikke været på forældreintra" osv. Udover at det lyder til at blive et uhyre fintmasket net - endnu mere overvågning, end jeg havde fået indtryk af , og med latterlige parametere - så er dette er jo ting, som diverse behandlere sagtens kan bide mærke i uden at involvere overvågning og algoritmer. Og selvfølgelig har alle offentligt ansatte pligt til at reagere, hvis de får mistanke om, at et barn oplever omsorgssvigt. Men den "algoritme", som skal afgøre det, kan jo sagtens findes i behandlerens hoved - det behøver ikke vejen rundt om black box. Og forhåbentligt bruger behandlere deres sunde fornuft, og ser også på andre ting end de nævnte - for ellers bliver der vist rigtigt mange "falsk positive".

Igen: Hvem er deres bagmænd? Hvilke lobbyister? Firmaer? Hvordan er projektet overhovedet opstået og skruet sammen? Det er til at få myrekryb af al den mørklægning - da det ikke oplyses, at der er forretningsinteresser involveret (kan vi stole på det?), burde man vel kunne få aktindsigt i noget, der ligner en "business case" over fordele og ulemper? Eller er det bare noget, de sidder og hygger sig med at strikke sammen i kaffepauserne? Hele processen lyder til at foregå i en "black box", hvilket til fulde illustrerer problemerne med sådan en. Projektet virker decideret lyssky på mig.

Mange tak til Vesion2 for ar bide sig fast - denne historie må ikke dø, før disse uhyggelige tanker er lagt endegyldigt i graven. Jeg er sikker på, at der i det skjulte arbejdes videre på tankerne i Gladsaxe - for hvorfor ellers spilde tid på at forsvare tankegangen på denne konference? Man kunne jo afvente grønt lys fra ministeren?​

  • 20
  • 2
Anne-Marie Krogsbøll

... er, at Gladsaxe overhovedet har ressourcer til selv at udarbejde sådanne algoritmer? Det kan være, jeg tager fejl ( er ikke fagmand, så korriger mig gerne) - men jeg forestiller mig, at udarbejdelse af pålidelige algoritmer til så følsomt et område - med brug af AI og store mængder borgerdata - er et kæmpeprojekt, som kræver økonomi og ekspertviden. Og der er det, jeg har svært ved at forestille mig, at en almindelig kommune har nok af den slags? Hvor kommer pengene fra? Har de taget dem fra hjemmehjælpen til de gamle og indsatsen overfor udsatte børn? Har kommunalbestyrelsen bevilliget et ukendt millionbeløb? Eller har de eksterne samarbejdspartnere, som stiller ressourcerne til rådighed? I givet fald: Hvem, og på hvilke betingelser? Firmaer? Forskningsprojekter? Ministerier? Hvem er det helt konkret, som har stået for projektet, og hvor er ressourcerne kommet fra?

Er der nogle bagmænd, skal de frem i lyset.

  • 19
  • 2
Peter Hansen

AI og store mængder borgerdata - er et kæmpeprojekt, som kræver økonomi og ekspertviden.

Almindelige kommuner kan sagtens investere i AI software. Det lyder vildt avanceret og "high tech", men.. man skal nok stille et lille kritisk spørgsmålstegn ved "AI" begrebet, da alt i dag bliver kaldt AI. AI kan i teorien frelse eller besætte samfundet, alt efter hvem man spørger - men i praksis er det vildt overvurderet.

  • 5
  • 0
Bjarne Nielsen

Udover at man må sige, at det er noget af en bedrift, at man stort set i samme åndedrag, kan tale både om nødvendigheden af transparens og individuelle fagvurderinger, og samtidig tale for blackbox-automatik, så er der noget, som slår mig.

Måske er det i virkeligheden et udtryk for at man som politiker har mistet tilliden til sine egne fagpersoners evner og dømmekraft. På samme måde, som når visse fløje på Christiansborg åbenbart synes at vores dommere er begyndt at tage for mange menneskelige hensyn, og derfor rykker ud med firkantede og umenneskelige automat-minimumsstraffe.

Eller måske er der bare fordi, at man efter at have strammet indberetningspligten, nu er ved ved at drukne i indberetninger. Og i stedet for at overveje fornuften i de mange (og formodentlig hovedsageligt grundløse) indberetninger, så ønsker man sig nu brændende et teknisk plaster til at dække over egne tåbeligheder.

Gad vide, hvor langt man kunne nå, hvis man faktisk respekterede fagligheden i stedet for?

  • 19
  • 0
Anne-Marie Krogsbøll

Almindelige kommuner kan sagtens investere i AI software. Det lyder vildt avanceret og "high tech", men


Tak for svar, Peter Hansen. Men sætter man så bare nogle tilfældige "labels" på hist og her, eks. "røglugt", og så kører det bare igennem ved et tryk på en knap?

Jeg forestiller mig jo, at da der er tale om særdeles følsomme afgørelser, skal der en hel del tilpasning og forskning til:

  • Hvilke parametre skal vi vælge? = kræver valg med baggrund i teori og evidens.
  • Hvordan skal parametrene vægtes? = kræver valg med baggrund i teori og evidens.
  • Hvordan med datasikkerheden? = kræver ekspertviden
  • Hvem skal have adgang/varsles, og hvordan? = kræver alvorlig stilling tagen.
  • Hvad vil det koste at drive sådan et system? = Har man lavet en business case?
  • osv. osv....

Så for mig at se er der - hvis det overhovedet skulle gøres videnskabeligt og menneskeligt forsvarligt (det tror jeg nu ikke kan lade sig gøre) - tale om et omfattende forskningsprojekt, som kræver tilladelse og bevillinger. Ellers bliver det noget hjemmeflikket juks uden evidens for 1) nytteværdi) 2) manglende skadevirkning 3) med overtrædelse af borgernes privatlivsrettigheder 4) sandsynligvis meget dyrt, så man må tge pengene andfre steder fra - eks. de udsatte børn?

Med mindre det er et fiks og færdigt system, som man har købt et sted i udlandet til lige præcis den sociale opgave, og hvor det allerede er afprøvet i virkeligheden. Men i så fald: Hvorfor er det så så hemmeligt? Og hvad mener man med "Vore dataanalytikere"? Hvem er de? Er det kommunens egne folk?

  • 2
  • 0
Bjarne Thomsen

Den "sorte kasse" er skam velkendt. Det drejer sig om TensorFlow:
[https://www.tensorflow.org]
TensorFlow er fantastisk til at finde associationer mellem forskellige fakta (målte data). Associationer er IKKE ensbetydende med årsag-virkning relationer. Fakta er ikke ensbetydende med viden, som er hypoteser om, hvordan verden fungerer. Viden er baseret på fakta, men viden er mere end fakta. Intelligens er baseret på forestillinger om årsag og virkning. Machine Learning er ikke et udtryk for intelligens.
Jeg vil betegne TensorFlow for et auto-Pearson program efter Karl Pearson, som omkring år 1900 erklærede årsag og virkning for gammel overtro. Tilbage var kun fakta og associationer. Han mente, at proportionerne for det menneskelige kranium var et udtryk for intelligens. Han startede ud fra disse ideer selskabet for racehygiejne. Den engelske overklasse var øverst, og så gik det ellers ned ad bakke for alle andre.
Konstruktøren af TensorFlow, Francois Chollet, er udmærket klar over disse farer ved programmet. Jeg har fundet dette interview med Chollet:
[https://www.pyimagesearch.com/2018/07/02/an-interview-with-francois-chol...]

  • 6
  • 1
Anne-Marie Krogsbøll

Tak for svar, Peter Hansen.
Jeg undrer mig stadig over ressourceforbruget. For enten køber de et færdigt system, som du nævner - i så fald er det vel tvivlsomt, om det uden videre passer til danske forhold, og de kunne jo lægge købet frem, i stedet for at påstå, at de selv er igang med at udvikle det (som jeg har forstået det). Eller også laver de selv et større udviklingsarbejde, som kræver en masse opfølgning for at sikre, at det er brugbart og forsvarligt - og så bliver det interessant, hvor mange af kommunens ressourcer der er anvendt uden at have tilladelserne på plads, dvs. til ingen nytte - og hvor er ressourcerne så taget fra?

  • 0
  • 0
Bjarke Haack Jørgensen

På hjemmesiden http://kommunernes-teknologispring.dk/, kan man ved at klikke på 'om kortlægningen' finde følgende sentens:

Om kortlægningen

KL har bedt DareDisrupt kortlægge og beskrive nye teknologier og de påvirkninger, perspektiver og muligheder de opstiller for danske kommuner. DareDisrupt er ikke blevet bedt om at beskrive udfordringer, barrierer og etiske dilemmaer eller hvorvidt det er ønskeligt at forfølge de muligheder, teknologien giver.

... Jeg synes at alene det udsnit siger noget om perspektivet.

I øvrigt vil jeg meget gerne høre hvordan øget overvågning og intelligent databehandling skal hjælpe i det tilfælde hun selv fremfører:

Det at være født af en enlig mor på overførselsindkomst uden uddannelse i et udsat boligområde – der kan du følge børn, til de bliver voksne og dør tidligere end alle andre – hvordan de ikke gennemfører folkeskolen og ikke får en ungdomsuddannelse, de har svært ved at få et arbejde, de har mere fattigdom og sygdom og laver mere kriminalitet og dør tidligere.

... Derudover ved vi jo alle at hvis flyverdragten lugter af røg, så bliver man aldrig til noget.

  • 6
  • 0
Denny Christensen

En flyverdragt der lugter af røg?

Hvad med

  • hul i strømpen
  • tøjet lugter af skyllemiddel
  • et hår sidder forkert
  • en pige med kort hår/en dreng med langt hår
  • ...

Der er forskel på observation og smagsfyldt overvågning, jeg ville som borger i Gladsaxe i hvert fald gerne se en liste over de kriterier mine børn ville blive vurderet på.

Gad vide hvordan kommunen så reagerer når en forælder i skarpe vendinger beder kommunen stikke piben ind - er der så et reaktionsmønster for en tydeligtvis psykisk forstyrret borger når det nu er til barnets bedste at kommunen lægger filtret ind?

  • 4
  • 1
Kenn Nielsen

Gad vide hvordan kommunen så reagerer når en forælder i skarpe vendinger beder kommunen stikke piben ind - er der så et reaktionsmønster for en tydeligtvis psykisk forstyrret borger når det nu er til barnets bedste at kommunen lægger filtret ind?


Spot on !

Tendenserne har været der i mange år nu; er du ikke enig med kommunen, så får du "kniven".
Nu har kommunen så et "nyt tiltag" :
"Accepterer du ikke vores tåbelige tiltag, så stigmatiserer vi dig, - og måske er du i virkeligheden så syg, at dine børn må fjernes.
- For børnenes skyld, naturligvis.........
Nå!, kan du ikke lige bedømme vores nye tiltag ?
Vi vil jo gerne at det bliver en success..................................."

K

  • 3
  • 0
Hans Nielsen

Hvordan kan man så tro at man kan finde ud af at styre et projekt, med sikkerhed og en helt masse andre sprøgsmål. Herunder noget mattematik, som er betydeligt svære end at regne ud hvad det koster at have få et barn passet.

Skal vi ikke bare vente med at forsætte en diskution om det her, til i får styr på det helt basis,, Altså data sikkeheden og det her.

https://nyheder.tv2.dk/lokalt/2019-09-11-tusindvis-af-foraeldre-faar-pen...

  • 1
  • 1
Log ind eller Opret konto for at kommentere