New York sætter hælene i overfor diskriminerende algoritmer

, jeg tror aldrig der kommer en offentlig diskussion om etikken.

Det gælder eksempelvis politiprogrammer i Chicago og New Orleans. Offentligheden er ofte uvidende om brugen af disse værktøjer. Selv skaberne af algoritmerne kan ofte ikke forklare, hvordan softwaren kom til den konklusion, der blev nået.

Når jeg læser en artikel som denne, så bliver jeg trist til mode. Sagen er at algoritmer allerede i dag er i operationel anvendelse i Danmark, men flertallet aner det ikke og når det ”først står på skærmen” så er det rigtigt

Jeg bruger som de fleste erhvervsdrivende indenfor liberale erhverv et personligt selskab og når revisoren har tryllet rundt med ”hæverækkefølgen” i forskudsopgørelsen giver det 10 stk PBS betalinger som skal betales hver den 20. pånær Juli og December måned. Det er sådan man betaler sin skat som selvstændig erhvervsdrivende i Danmark – og det er helt efter reglerne.

Problemet er bankens klassifikation af skatten som betales hver den 20. i måneden. I bankens klassifikationsiver af mine betalingsstrømme sætter man skattebetaling som ”afdrag på gæld”, på samme vis som restautionsbesøg ryger på ”spise ude-kontoen”.

Hvorfor er det lige at min skattebetaling hedder ”afdrag på gæld” når skolelæreren eller håndværkeren som efter skat tjener under det halve, ikke har en tilsvarende post på deres bankkonto? Jeg ved godt de betaler kildeskat og at deres skat derfor går uden om banken, men kigger vi på posterne i netbanken, så ser det jo ud som om at jeg har en kolossal skattegæld når jeg hver måned afdrager store beløb til Skat udover huslån m.v. At det ikke er tilfældet får ikke bankrådgiveren til at "ryste på hånden".

Som andre konsulenter så rejser jeg ofte – og hvordan tror I mine ”Spendings” i netbanken ser ud for bankrådgiveren, når jeg betaler flybilletter, billeje, hotel, taxi og mad som jeg så viderefakturerer til kunden i slutningen af måneden?

Min bankrådgiver som kalder sig en erhvervsrådgiver, aner ikke hvad debet og kredit er. Og jeg finder det vanskeligt at tro, at bankrådgiveren så er i stand til at ”kigge igennem” den slags analyser som deres algoritmebaserede software udregner.

Jeg tror simpelthen ikke på at bankrådgiveren afviger fra den kreditscore hans fejlagtige software har udregnet, for burde det ikke være nødvendigt med 2 til 4 gange om året at skulle igennem mine indbetalinger for check af hvidvask.

Og det er problemet med algoritmer, at de vedbliver med at udvælge ”falske positive”, for det er for dyrt at komme fra 95% til 98% procent – da de 3% ekstra koster det samme som de første 95%.

Det er vigtigt med en debat om hvordan registre og algoritmer anvendes.

I mine øjne rendyrket magtmisbrug - så hjælper det ikke, at man samtidig mener, at man har etikken i orden ved at tage diskussionen, for så er det en skindiskussion - på skrømt. Et aktuelt eksempel er diskussionen om trivselsmålingerne, hvor magthavere driver gæk med befolkningen - og garanteret samtidig vil sige, at det er vigtigt med debat, og at man derfor har etikken i orden.

Ikke i mine øjne - disse folk er i mine øjne efterhånden direkte uvederhæftige magtmisbrugere. Jeg kan ikke finde et pænere udtryk, når jeg er vred - og det er jeg i øjeblikket over denne udvikling.

Jeg tillader mig dog høfligst ikke at være enig i alle dine konklusioner :-)

(her har jeg sat tingene lidt på spidsen - jeg mistænker, at jeg heller ikke ville synes, at det er i orden med andres data, hvis jeg fik indblik i det fulde projekt).

Men tak for diskussionen.

Selv tak. Det er vigtigt med en debat om hvordan registre og algoritmer anvendes. Jeg tillader mig dog høfligst ikke at være enig i alle dine konklusioner :-)

Ja selvfølgelig. Der er da oplagt grænser for hvad jeg kan skrive om vores kunder :-)

I mine øjne er åbenhed en del af etikken, og hvis åbenheden ikke er der, så er projektet pr. definition uetisk.

Jørn Wildt.

Jeg har givet dig thumbs up for overhovedet at tage diskussionen - men jeg synes ikke, det lyder som om, at man i det projekt, du taler om, lever op til det, jeg som borger synes, man må forlange af algoritmeprojekter. Der er ikke noget i det, du skriver, som beroliger mig ift. gennemsigtighed og etik eller demokratiske garantier. Det lyder - uanset hvor pænt du udtrykker det - for mig som endnu et projekt, som lukrerer på borgerdata, som burde være dybt private, men som "nogen" i toppen har besluttet at gøre til deres private ejendom - måske godt hjulpet af nogle AI-lobbyister (forhåbentligt ikke dig?).

Så jeg holder fast i min konklusion på New York-historien: Too Little too late. Der skal helt andre boller på suppen, hvis jeg skal overgive mig til AI. Det mest positive er, at der overhovedet er kommet bare en lille smule fokus på, at udviklingen er farlig. Det kan måske blive starten på, at man begynder at se sandheden i øjnene - at der er tale om en totalitær udvikling.

Men tak for diskussionen.

Der er nok en del, vi kan blive enige om, men jeg kan ikke frigøre mig fra en - måske helt uretfærdig - fornemmelse af, at du går lidt som katten om den varme grød, og undgår nogle ømme punkter, og "omskriver" andre til noget lidt mere spiseligt, også ift. det projekt, du arbejder på, og at du derved indirekte bekræfter min udlægning af problemstillingen. Sorry.

Ja selvfølgelig. Der er da oplagt grænser for hvad jeg kan skrive om vores kunder :-) Du må selv bestemme om det af- eller bekræfter din udlægning. Jeg mener dog stadig at man skal adskille diskussionen om registeradgang fra diskussionen om anvendelse af algoritmer.

For at vende tilbage til artiklen og min konklusion "Too little too late": Har man i det konkrete projekt, du arbejder på, købt først, og udsat den offentlige diskussion om etik og overhovedet ønskelighed ift. projektet, til det stort set er for sent at sige nej til projektet, fordi investeringerne allerede er sket, sådan som det er min påstand, at man typisk gør?

Købt først har man i hvert fald ikke, da da der ikke er taget nogen beslutning om at købe ;-)

Og, ja, der har været diskussioner om etik.

Men, nej, jeg tror aldrig der kommer en offentlig diskussion om etikken. Men man er opmærksom på at man skal kunne forsvare beslutningerne i projektet i forhold til en sådan diskussion.

Alt i alt, som jeg skrev i første indlæg, så vil jeg bare gerne komme med et positivt eksempel på at der bliver foretaget den slags overvejelser nogle steder :-)

Tak for svar, Jørn Wildt.

Der er nok en del, vi kan blive enige om, men jeg kan ikke frigøre mig fra en - måske helt uretfærdig - fornemmelse af, at du går lidt som katten om den varme grød, og undgår nogle ømme punkter, og "omskriver" andre til noget lidt mere spiseligt, også ift. det projekt, du arbejder på, og at du derved indirekte bekræfter min udlægning af problemstillingen. Sorry.

For at vende tilbage til artiklen og min konklusion "Too little too late": Har man i det konkrete projekt, du arbejder på, købt først, og udsat den offentlige diskussion om etik og overhovedet ønskelighed ift. projektet, til det stort set er for sent at sige nej til projektet, fordi investeringerne allerede er sket, sådan som det er min påstand, at man typisk gør?

Er din konklusion, at man faktisk bør gøre det i modsat rækkefølge? For så er vi enige.

Men er forskellen ikke, at socialrådgiveren normalt kun indhenter disse data, hvis der er begrundet mistanke om et eller andet (eks. en indberetning) ,eller en konkret formål for en borger - mens algoritmen "kaster nettet ud" over alle borgere?

Det er jo sådan set et lidt sjovt filosofisk spørgsmål - lidt som "Hvis der ikke er nogen til at høre en gren knække i skoven ... giver den så nogen lyd fra sig?" :-)

Hvis en algoritme altid spørger, automatisk, på X, men ignorerer svaret hvis det ikke er relevant ... er det så væsentligt anderledes end hvis en sagsbehandler gør det samme, når vedkommende mener det er relevant?

• Kan man beskylde en algoritme for at "snage" i borgernes oplysninger?

Det er selvfølgelig anderledes hvis det kræver en dommers godkendelse at tilgå oplysningerne. Men så er vi vist et helt andet sted.

Handler "jeres" projekt ikke om indhentning af data fra mange offentlige registre, og først i anden omgang om den konkrete borger?

Det handler om at kunne give borgeren en hurtig og effektiv behandling af deres sag. Om der indgår mange eller få offentlige registre mener jeg ikke er relevant i forhold til diskussionen om anvendelse af algoritmer. Det er to forskellige problemstillinger.

Hvis sagsbehandleren alligevel skal tjekke alt, hvad algoritmen kommer med for ikke selv a risikere ansvar, hvad er så fordelen ved algoritmen?

Som tidligere nævnt handler projektet ikke om at lave algortimer der foretager sagsrelevante beslutninger, men derimod om at lave algortimer der kan prioritere, fremhæve og danne overblik, som den enkelte sagsbehandler ikke selv kan med nuværende værktøjer.

Men du har helt ret - det er et problem med algoritmer. Hvis man alligevel, som sikkerhed eller pga. lovgivning, skal gennemgå alle resultater, så er der ikke meget sparet. Valget og designet af algoritmer skal foretages med åbne øjne for konskvenserne.

Men det er langt mere uigennemskueligt, når det er algoritmen, der har truffet beslutningen, for så er det pludseligt forretningshemmeligheder, hvilke prioriteringer, der er lagt ind. kender vi overhovedet nogen eksempler på, at firmaer har lagt deres algoritmer åbent frem? Er det ikke ønsketænkning?

Hvis du tager den offentlige forvaltning, så ved jeg ikke hvor meget aktindsigt du kan få i hvordan deres interne arbejdsgange er. Men du bør vel kunne få aktindsigt og begrundelse for din sagsafgørelse.

Det er det samme her - så længe algoritmer bruges til optimering af interne arbejdsgange, så har du vel ikke nødvendigvis krav på at vide hvad man gør?

Gør I det i jeres projekt?

Altså, "vi" som leverandør, gør selvfølgelig ikke og jeg kan heller ikke svare for kunden.

Men det er da et godt spørgsmål. Har offentligheden krav på at kende de præcise interne arbejdsgange og værktøjer i offentlige myndigheder?

Jeg har indtil videre kun forholdt mig til brugen af algoritmer - ikke hvordan data fremkommer. I vores tilfælde ville der blive anvendt de samme datakilder som sagsbehandlerne allerede anvender manuelt. Man kan altså ikke beskylde brugen af algoritmer for at gøre noget "mere forkert" end man måtte mene at sagsbehandlerne allerede gør.

Det nytter ikke at en sagsbehandler argumenterer med "Algoritmen siger at ...", for i sidste ende er det sagsbehandleren der står som ansvarlig for sagen - ikke algoritmen. Hvis sagsbehandleren ender med at tage en forkert beslutning, så kan de ikke skyde skylden på en algoritme.

Der vil altid være en prioritering af vigtige mål - sådan fungerer vel alle former for "management" af opgaver eller værdier? Det er uanset om det er algoritmer eller mennesker der beregner planerne.

Nu ved jeg ikke, om du her tænker på det projekt, du omtaler. Men når f.eks. Watson indgår i sundhedsvæsnet, gælder det så også? Jeg tvivler på, at vi kan få indblik i Watsons tankegang og datamateriale. Watson er allerede i det danske sundhedsvæsen, og sidst jeg prøvede, var det så som så med indsigtsretten.

Jeg kender ikke til Watsons algoritmer og aner ikke hvordan den argumenterer for sine beslutninger. Men i vores projekt ville lovgivning være en vigtig parameter.

Er det her Gladsaxe-modellen, du tænker på? Eller hvilke data indgår i det, du foreslår som uproblematisk? Faren ved den slags er allerede dissekeret mange gange det seneste halve år. Og en af farerne er jo f.eks. - ud over at det typisk indebærer privatlivskrænkende indsamling af data - at det meget let bliver til, at sagsbehandlerne siger "Algoritmen siger at....", og i en presset hverdag tager det for Vorherres egne ord.

Jeg har indtil videre kun forholdt mig til brugen af algoritmer - ikke hvordan data fremkommer. I vores tilfælde ville der blive anvendt de samme datakilder som sagsbehandlerne allerede anvender manuelt. Man kan altså ikke beskylde brugen af algoritmer for at gøre noget "mere forkert" end man måtte mene at sagsbehandlerne allerede gør.

Det nytter ikke at en sagsbehandler argumenterer med "Algoritmen siger at ...", for i sidste ende er det sagsbehandleren der står som ansvarlig for sagen - ikke algoritmen. Hvis sagsbehandleren ender med at tage en forkert beslutning, så kan de ikke skyde skylden på en algoritme.

Desuden så er der som sagt en opmærksomhed på at en algoritme ikke skal hverken tage eller foreslå beslutninger - men derimod at gøre det nemmere at navigere, prioritere og danne overblik.

• Men det er selvfølgelig muligt at prioritere forkert, og her er et farepunkt.

Med mindre algoritmen har indbygget en form for prioritering af, hvilke "mål", der er vigtigst - og at denne prioritering hverken er offentlig tilgængelig eller neutral og objektiv. F.eks. kunne den have indbygget vurderinger af, hvilke "mål", der er mest værdifulde, og skal reddes først? Hvordan ville de såkaldte "ghettoer" mon så være stillet?

Der vil altid være en prioritering af vigtige mål - sådan fungerer vel alle former for "management" af opgaver eller værdier? Det er uanset om det er algoritmer eller mennesker der beregner planerne. Det vigtigere er at anvenderne kan forklare deres prioriteter OG eventuelle algoritmer kan fortælle hvorfor de er kommet til deres konklusioner.

• Det er helt sammenligneligt med en sagsbehandlers "mavefornemmelse" - nogle "beslutninger" (som fx at lave en ekstra undersøgelse af X) kan godt tages på grundlag af en mavefornemmelse, andre beslutninger skal være 100% gennemskuelige og objektive (som fx udbetaling af understøttelse, vil jeg mene).

Nogle algoritmer kan sammenlignes med en mavefornemmelse - typisk brugen af neurale netværk. Andre algoritmer arbejder på veldefinerede regelsæt og kan argumentere for deres beslutninger. Der er en plads til begge dele og det er vigtigt at anvende dem korrekt.

Jørn Wildt: Tak for svar .

Alt i alt syntes jeg, at det er et godt initiativ at stoppe op og tænke lidt over hvordan algoritmer bliver anvendt :-)

Det fjerner stort set muligheden for at lave "black box" afgørelser.

Det som man i stedet kan bruge algoritmerne til er beslutningsstøtte - at kunne spotte uregelmæssigheder og forelægge dem for sagsbehandlerne eller spotte "varme kartofler" som kræver en ekstra opmærksomhed.

jeg har svært ved at se problemet i at brandvæsnet bruger algoritmer til at forudsige brandfarlige bygninger,

Men disse eksempler er jo netop eksempler på diskussioner, vi bør tage inden noget sættes i værk - og jeg tvivler på, at det kommer til at ske. Man bestiller først - og hvis man så tvinges til det af irriterende sølvpapirshatte, så diskuterer man bagefter.

Findes der mon en fortløbende oversigt over, hvilke steder algoritmerne allerede har sat sig på samfundsinstitutionerne, eller er på vej til det, herhjemme?

Jeg vil da gerne komme med et positivt indslag her. En af vores store kunder kigger på at bruge algortimer til at optimere deres sagsbehandling. Dog er der meget fokus på at man ikke kan overlade afgørelser til algoritmer - det vil ganske enkelt ikke være muligt at forsvare, og slet ikke hvis der klages bagefter, for man kan ikke bruge argumentet "jamen, algoritmen sagde at det skulle være sådan".

Tilsvarende er der masser af lovgivning der skal overholdes, og algoritmerne skal kunne svare på hvilke love der er taget i brug ved en eventuel beslutning. Det fjerner stort set muligheden for at lave "black box" afgørelser.

Så på den måde tror jeg at der er en hvis forståelse for problemerne.

Det som man i stedet kan bruge algoritmerne til er beslutningsstøtte - at kunne spotte uregelmæssigheder og forelægge dem for sagsbehandlerne eller spotte "varme kartofler" som kræver en ekstra opmærksomhed.

• Der kan så være andre sager, som burde have været spottet, men ikke blev det (falske negativer), men man står bedre end før ved i det mindste at have spottet nogle af dem.
• Der kan være sager som er spottet forkert (falske positiver), men de vil hurtigt blive nedprioriteret ved den efterfølgende manuelle gennemgang.

Beslutningsstøtte kan også være algoritmer som highlighter hvad den tror er væsentlige uddrag af en tekst, så det bliver nemmere for sagsbehandleren at danne sig et overblik.

Intet af ovenstående er p.t. implementeret - det har kun været på idé-stadiet. Så jeg kan hverken be- eller afkræftet om det holder i virkeligheden.

Men der er vel også stor forskel på "moralen" i anvendelsen: jeg har svært ved at se problemet i at brandvæsnet bruger algoritmer til at forudsige brandfarlige bygninger, hvorimod politiets anvendelse til forebyggelse af kriminalitet nemt kan blive til chikane - og forsikringens tilsvarende prissætning af min police, såvel som bankens behandling af mine låneansøgninger skal også være gennemskuelige.

Alt i alt syntes jeg, at det er et godt initiativ at stoppe op og tænke lidt over hvordan algoritmer bliver anvendt :-)

"den ide blev skudt ned med henvisning til mulige sikkerhedsproblemer, muligheden for at 'game' algoritmerne, samt leverandørers modvilje mod at frigive proprietær kode."

Mon ikke det skal nævnes i omvendt rækkefølge?

"Det er den første lov fra et bystyre i USA, der medfører ansvar for, hvordan algoritmer anvendes af administrationen."

Endnu engang har man spændt vognen for hesten - ganske som vi plejer at gøre herhjemme, og garanteret også kommer til at gøre på dette område. Først når det stort set er for sent - når vi allerede har lagt vore samfundsinstitutioner i lommen på mere eller mindre lyssky foretagender og magthavere - begynder vi at tænke os om.

"Arbejdsgruppen har dog ikke myndighed til at tvinge eller straffe de af bystyrets instanser, der ikke overholder gruppens anbefalinger."

Det kommer helt bag på mig.... (Sarkasme kan forekomme).

Findes der mon en fortløbende oversigt over, hvilke steder algoritmerne allerede har sat sig på samfundsinstitutionerne, eller er på vej til det, herhjemme? Mon ikke vi ville få et chok?