Margrethe Vestager kræver gennemskuelige algoritmer: Ikke nok at pege på sort boks

Illustration: fortton/Bigstock
Ifølge Gartner er store softwareleverandører ved at tilpasse deres produkter, så algoritmernes resultater kan forklares.

Hvis virksomheder har tænkt sig at bruge machine learning-modeller til at tage beslutninger, som vedrører kunder, skal de være klar til at forklare skridt for skridt, hvordan algoritmen kommer frem til sit resultat.

Og det er ikke tilstrækkeligt at skyde skylden på teknikken, siger EU’s danske konkurrencekommissær, Margrethe Vestager.

»Det er ikke nok at sige: ‘Se, hvad den har lavet – jeg ved ikke hvordan’. Det er ikke godt nok. Det ville vi aldrig acceptere i nogen andre sammenhænge,« forklarer hun.

»Det kan ikke være anderledes, end at der er nogen, der ejer algoritmen. Og at algoritmen skal vide, hvad den må og ikke må.«

Læs også: Margrethe Vestager: Prøv noget andet end Google

En stærkere regulering af machine learning-algoritmer er faktisk kommet nærmere. Et forhold, som flere store leverandører har indset, fortæller Carlton E. Sapp, der er research director hos Gartner.

»En stor del af markedet – som Salesforce, IBM og Microsoft – er allerede i gang med at bygge den kapacitet ind i deres systemer. Så det kommer vi til at se i nye udgaver af deres software,« siger han og fortsætter:

»De kommer ikke bare til at giver dig et resultat, men de vil også forklare, hvordan det resultat blev skabt, hvor data kom fra og så videre.«

Den type viden kommer til at være en fast del af et workflow for virksomheder, der arbejder med machine learning, mener Carlton E. Sapp.

Fravælger komplekse modeller

Et af de steder, hvor uigennemsigtige analysemodeller allerede i dag støder mod regulering, er hos forsyningsselskaber.

Hos Centrica, der blandt andet ejer British Gas, har man i flere tilfælde undgået de mere komplekse analyse-modeller, fordi de er for svære at forklare interessenter, hvordan de fungerer.

Det fortalte Paul Malley, der er head of customer data analytics, på Gartners konference om data og analytics, der fandt sted i London tidligere på måneden.

Centrica bruger blandt andet machine learning til at forudsige om nye kunder kan få problemer med at betale energi-regningen.

Læs også: Neurale netværks autonome natur kan true lovligheden af din forretning

»Det har en reel effekt på kunden,« forklarer Paul Malley.

»Vi bruger modellen til at bestemme, om vi skal afvise en virksomhed som kunde, om vi skal bede om betalingen på forhånd eller noget andet. Vi er nødt til at være meget granuleret med detaljer, og derfor vil vi bruge mere konventionelle metoder.«

De konventionelle metoder kunne f.eks. være linear regression frem for deep learning.

»De komplekse modeller er meget sværere at forklare på en detaljeret måde til stakeholders. Hvis vi bliver auditeret og skal forklare, præcis hvad vi gør, så giver de løsninger problemer,« understreger Paul Malley.

Ethical Auditor

Udfordringen med at kunne stå til ansvar for beslutninger, der træffes af algoritmer, vil kun blive større fremadrettet, vurderer Carlton E. Sapp.

Han ser en tendens til, at selskaber vil udpege en såkaldt Citizen Ethical Auditor, hvis opgave det bliver, at holde machine learning-algoritmerne forståelige og etisk forsvarlige.

»Jeg tror, det kommer til at være almindeligt i både små og store selskaber, fordi vi kommer alle til at være ansvarlige for at forstå, hvorfor vi laver de beslutninger, vi laver,« siger Carlton E. Sapp.

»Vi har brug for at vide, om vi gør det rigtige. Ikke om vi gør det rigtigt, men om vi gør det rigtige.«

Læs også: Forskere udvikler test til at afsløre racistiske algoritmer

Sapp har selv arbejdet i anklagemyndigheden i USA, hvor han blev bedt om at lave en model, der kunne forudsige, hvilke sager der højst sandsynligt ville lede til en dom. Opgaven lykkedes, men algoritmen havde samtidig en klar tendens til at udpege sager, hvor den tiltalte var fattig og fra en minoritetsgruppe.

I sådan en sag vil kunder, borgere og myndigheder ikke stille sig tilfreds med, at man peger på en sort boks, understreger Carlton E. Sapp.

»Vi skal folde det ud. Vi skal kunne se, hvordan algoritmens intelligente komponenter kom frem til det svar, de kom frem til. Det har vi et ansvar for.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (21)
Anne-Marie Krogsbøll

... og indlysende at kræve mulighed for at se diverse mellemregninger.

"»Det er ikke nok, at sige, ‘se, hvad den har lavet – jeg ved ikke hvordan’. Det er ikke godt nok. Det ville vi aldrig acceptere i nogle andre sammenhænge,« "

Nej - men kan vi så forvente, at det princip også kommer til at gælde indenfor det offentlige, hvor man har planer om at udnytte denne teknologi til alt fra sagsbehandling til sygdomsbehandling?

Jens Ole Stilling

Ganske vist er det lidt af en myte at man ikke kan vide hvordan et deep learning program kommer frem til et resultat, men det kan vel næppe kaldes for gennemskueligt. Som forklaring til et resultat ( med de fleste nuværende programmer) er forklaringen en liste over de vægte der er anvendt i systemet tilsammen med aktiverings funktioner og softmax eller lignende udligninger.
Alternativt policy og værdi ( eller integrerede samme) netværk som i AlphaZero.

Det ville give mere mening hvis der var regler for lærings nætværkets struktur og hvorledes det var blevet trænet.

Stadigt totalt ugennemsigtigt

Ulrik Suhr

»Det er ikke nok, at sige, ‘se, hvad den har lavet – jeg ved ikke hvordan’. Det er ikke godt nok. Det ville vi aldrig acceptere i nogle andre sammenhænge,« forklarer hun.

Seriøst.......
Ok så det betyder det der kommer ud af en politikers mund om tal lavet af embedsmænd har de forstået???? OMG det ville være den perfekte verden!

Lad os starte med privacy by design lavet af staten... hvem der det lavet for? staten eller borgeren?

Andre kan vel komme på bedre udtagelser fra politikere som enten er direkte forkert eller totalt misforstået.

Jeg er enig med Ole at det er muligt at forklare vægte og værdier for små enkelte systemer, men når de først bliver komplekse stiger kompleksiteten også hurtigere og derfor giver det mening at stille krav til læringsæt.... Men det betyder vel at politikeren kan forstå de basale principper i machine learning/neurale netværk etc. (ved ikke hvilket smart navn der benyttes i dag.)

Jens Ole Stilling

Man skal nok også tilføje at der meget snart kan forventes AI som løbende opdaterer deres parametre, ligesom alle mennesker gør. ( Det findes allerede fx inden for siri lignende anvendelser)

Og hvad så?

Jeg tror damen behøver nogle rådgivere ( jeg hjælper gerne)

Anne-Marie Krogsbøll

... om jeg forstår ovenstående kommentarer rigtigt - det er bestemt ikke sikkert - men hvis meningen er, at der ikke er nogen realistisk måde at sikre, at vi forstår, hvad der foregår i AI-"beslutningstagere", så må konklusionen vel være, at der ikke er nogen fornuftig og forsvarlig måde at implementere denne teknologi på, hvis vi fortsat gerne vil have et frit og demokratisk retssamfund?

Frithiof Jensen

hvis meningen er, at der ikke er nogen realistisk måde at sikre, at vi forstår, hvad der foregår i AI-"beslutningstagere"

Selvfölgeligt er der det, det er deterministiske algoritmer. Det er bare besvärligt og det kan tage lang tid og det kräver ressourcer, så Sillicon Valley vil meget hellere tale om alle de nye fantastiske potentialer og muligheder end om kedelige ting som "compliance".

... hvis vi fortsat gerne vil have et frit og demokratisk retssamfund?

Jamen, vil "vi" nu egentligt det!? Det lyder lidt som noget ineffektivt rod og en håblås mis-allokering af "vores" ressourcer hvis folk bare kan bestemme hvor de har lyst til at bo, hvilket töj de har på, hvad de mener, hvad de spiser, hvad de vil arbejde med, hvordan de bruger deres fritid og alt muligt andet gögl og pjat.

Så er det jo godt at "vi" har Digitaliseringen så "vi" kan få lidt styr på festen, uden at skulle ud og ligefrem "regulere" noget, ikke sandt?

Gert Agerholm

Med neurale netværk kan man ikke forklare hvordan modellen er fremkommet, det er en oplæring ud fra kendt input og der til hørende kendt output. Betyder det at det ikke må anvendes? Det er jo slet ikke gennemskueligt når man siger "med dit input fremkommer dette output". Ja, men hvordan og hvorfor?

Jeg forstår udmærket hvad formålet er og her er jeg også enig i at ting skal være gennemskuelige. Men måske man skal arbejde en del med formuleringen af hvad man skal/må.

Bjarne Nielsen

... om jeg forstår ovenstående kommentarer rigtigt ...

Jeg sidder også og undrer mig. Jeg er enig med Margrethe i, at vi ikke bør behøve skulle finde os i "jamen, der står på skærmen" afgørelser. Alternativet lyder Kafkask, og at det allerede måtte forekomme, er jo ikke nogen god undskyldning.

Og man kan være enig eller uenig i dette, men GDPR giver os så vidt jeg ved retten til at få automatiske afgørelser forklaret. Jeg tænker at recital 71 kunne være interessant for perspektivering. Men jeg er ikke jura-kyndig, så jeg kan have misforstået den del.

Mathias Löwe

Det er ikke fordi vi som sådan ikke forstår, hvad der foregår i AI og dybe neurale netværk. Det hele er i bund og grund bare matrice beregninger og differential regning der bruges til at optimere de mange tusinde/millioner frie parametre i sådanne modeller.

Problemattikken opstår af en række forskellige årsager, der alle stammer fra det samme problem. Når mængden af dimensioner i ens dataset bliver store (>10.000) og mængden af frieparametre i modellerne lige så - ja så bliver det ganske svært på en simpel måde at visualisere og kortlægge helt præcist hvilke sammenhænge i datasættet der har givet hvilke udfald.

Eksempelvis består et af de mest simple dybe neurale netværk (LeNet) af ~60.000 frie parametre. Formålet med alle disse frie parametre er, at lære sammehænge i datasættet, og disse sammenhænges sammenhænge som følge af den lagdelte struktur i de dybe neurale netværk.

Det som der altid er vigtigt at holde fast i ang AI er, at en AI aldrig vil blive bedre end dets træninsdatasæt. Derfor er det måske her, det er værd at starte, når man skal retfærdiggøre, hvorfor en AI gør som den gør. Så som at kigge på hvordan data'en er behandlet, hvorvidt den er repræsentativ, osv.

Anne-Marie Krogsbøll

... men for mig lyder det som om, de forskellige bud på brugbare løsninger ser ud til at fokusere på at forstå den model, som monstret har anvendt. Men for mig at se er der vel også et problem i, at monstret kan nå at behandle så enorme datamængder, at det er umuligt at kontrollere, om alle data er så "lødige", som de bør være? F.eks. indenfor sundhedsvæsnet - hvordan får vi indblik i, om den forskning, som en given beslutning baserer sig på, faktisk er valid, videnskabelig holdbar forskning, og ikke noget "fifleforskning", som et medicinalselskab har købt sig til at få lagt ind i monstret?

Tilgiv mig, hvis jeg her bare åbenbarer, at jeg overhovedet ikke har fattet, hvad AI går ud på. Men hvis AI skal definere morgendagens samfund, så er det vel i sig selv et problem, hvis menigmand ikke fatter en brik af, hvordan afgørende beslutninger tages?

Jørn Wildt

Man kan sammenligne neurale netværk (NN) med sin personlige "mavefornemmelse" - "Jeg tror denne her sag er en vinder sag ..." - hvis man får sådan en forklaring fra en sagsbehandler, et forsikringsselskab eller SKAT, så duer det heller ikke - det ville ingen acceptere. Man skal kunne argumentere logisk og forståeligt for hvilke regler der er fulgt og hvorfor.

Det samme gælder AI - og hvis neurale netværk ikke kan give den forklaring, så må de trænes på en anden måde. Det er fint hvis et NN kan genkende et tal fra et billede, det skaber næppe de store problemer - men det nytter ikke at afgøre fx en forsikringssag på samme måde. Man må i stedet finde en måde at træne sit NN på, så det fx kan pege på hvilke regelsæt der er i spil, og om de er overholdt.

En anden brugbar anvendelse af NN som "mavefornemmelse" kan være til at screene sager, som man på forhånd kan se kræver særlig behandling, og dermed skal prioriteres op. Her hjælper NN - men det er ikke et NN som foretager afgørelsen - det må der i sidste ende være en person der gør.

Sagsafgørelser er også problematiske i det nogen skal stå til ansvar for beslutningen. Jeg mener ikke at et firma eller en offentlig myndighed kan fralægge sig ansvaret for en afgørelse fordi en computer har besluttet noget - der må i sidste ende være en sagsbehandler, som skriver under på afgørelsen, og som dermed er den ansvarlige.

Andreas Kirkedal

Som der er skrevet andre steder vil forklaring af et neuralt netværk ikke give mening og det er bl.a. fordi NN kan opfange og modellere mønstre og sammenhænge som er svære/umulige for mennesker at opfange eller forstå. Det er f.eks. derfor talegenkendelse overhovedet virker, da sammenhængen mellem lydbølger og tekst er for kompliceret til at 'hard-code'.
Dvs. at vi i nogen tilfælde strengt taget slet ikke forstår hvad der sker og kan derfor ikke analysere modellen. Da talegenkendelse ikke tager 'beslutninger' kan man med ro i maven implementere NN i talegenkendelsessystemer uden at demokratiet kommer fare. Så det er også vigtigt at skelne mellem anvendelsen af machine learning.
Jeg vil ikke acceptere at en tilfældig algoritme ikke kan forklare hvorfor jeg ikke må låne penge eller hvorfor jeg ikke kom ind på mit studie, men kravet om at en algoritme altid skal kunne forklare hvorfor den kommer med et bestemt output vil begrænse eller helt stoppe en del udvikling hvis vi ikke skelner på anvendelsen.

Ditlev Petersen

Jeg vil ikke acceptere at en tilfældig algoritme ikke kan forklare hvorfor jeg ikke må låne penge eller hvorfor jeg ikke kom ind på mit studie, men kravet om at en algoritme altid skal kunne forklare hvorfor den kommer med et bestemt output vil begrænse eller helt stoppe en del udvikling hvis vi ikke skelner på anvendelsen.


Problemet er vel (?), at maskinen ikke længere følger velformulerede (og rigide) regler a la: Hvis du har en årsindkomst under x kroner OG står i Ribers eller bor i postnumrene ..., så må du ikke låne. I stedet bliver maskinen/netværket trænet på "erfarne" fordomsfulde menneskers meninger (hvis du har et mellemøstligt navn OG bor i postnumrene ...). Og så skal den jo nok hurtigt få det lært, uden at nogen kan hænges op på useriøse og fordomsfulde afgørelser, fordi de ikke er til at gennemskue.
Så ja, mennesker skal tage den slags afgørelser og stå til ansvar for dem. Alt andet vil være et mareridt.

Men jeg gætter på, at nogen i stedet går i gang med at lave AI'er, der kan analysere andre og laverestående AI'ere. Man kan jo bombardere en anklaget AI med tænkte eksempler og se, hvilke kriterier den lægger vægt på og hvor meget.

Og det er ikke sikkert. det er et fremskridt.

Bjarne Nielsen

Og så skal den jo nok hurtigt få det lært, uden at nogen kan hænges op på useriøse og fordomsfulde afgørelser, fordi de ikke er til at gennemskue.

Ikke bare det. Det bør være muligt at få lov til at argumentere for, hvorfor den i det konkrete tilfælde tager fejl (f.eks. fordi den er blind overfor noget, som faktisk er vigtigt, men sjældent - måske endda aldrig set før).

Andreas Kirkedal

Det er et problem - helt klart.

Det jeg gerne vil frem til er at hvis der ikke skelnes mellem hvad en model bruges til og en model/algoritme altid ligger under for et krav om at den skal kunne forklare hvorfor/hvordan den kom frem til et output kan vi vinke farvel til talegenkendelse, automatisk oversættelse og andre teknologier. Og at vi ikke forstår hvordan et NN laver lydbølger om til tekst er ikke en trussel mod demokratiet

Kevin Johansen

Tror du kan være rimelig sikker på at Vestager kun tænker beslutningsdygtige algoritmer (inkl. NN).

On topic:
En audit af f.eks. finans-"robotter" burde blive lovpligtigt, så en årlig simulation, der tester om softwaren vil prioritere samfundet over aktionærer, kan gennemføres af eksterne, uafhængige "revisorer" og forhåbentlig sikre mod f.eks. nye finanskriser.

Log ind eller Opret konto for at kommentere
Pressemeddelelser

Welcome to the Cloud Integration Enablement Day (Bring your own laptop)

On this track, we will give you the chance to become a "Cloud First" data integration specialist.
15. nov 2017

Silicom i Søborg har fået stærk vind i sejlene…

Silicom Denmark arbejder med cutting-edge teknologier og er helt fremme hvad angår FPGA teknologien, som har eksisteret i over 20 år.
22. sep 2017

Conference: How AI and Machine Learning can accelerate your business growth

Can Artificial Intelligence (AI) and Machine Learning bring actual value to your business? Will it supercharge growth? How do other businesses leverage AI and Machine Learning?
13. sep 2017
Jobfinder Logo
Job fra Jobfinder