Margrethe Vestager kræver gennemskuelige algoritmer: Ikke nok at pege på sort boks

10. april 2018 kl. 05:1121
Margrethe Vestager kræver gennemskuelige algoritmer: Ikke nok at pege på sort boks
Illustration: fortton/Bigstock.
Ifølge Gartner er store softwareleverandører ved at tilpasse deres produkter, så algoritmernes resultater kan forklares.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Hvis virksomheder har tænkt sig at bruge machine learning-modeller til at tage beslutninger, som vedrører kunder, skal de være klar til at forklare skridt for skridt, hvordan algoritmen kommer frem til sit resultat.

Version2 Infosecurity

It-sikkerhedsmessen Infosecurity Denmark 2018 byder på mere end 110 seminarer og cases, 25 udvalgte keynotes og 80 udstillere. To dage med masser af faglig viden og netværk d. 2. og 3. maj i Øksnehallen i København.

Konferenceprogrammet dækker både compliance, cybercrime, IoT, nye teknologier som AI og blockchain samt cloud security og giver et unikt indblik i de nyeste it-sikkerhedsmæssige udfordringer på et højt fagligt niveau.

Du bliver opdateret om både de nyeste tekniske landvindinger fra spydspidsforskere og får indblik i aktuelle trusselsbilleder fra nogle af verdens bedste rådgivere.

Flere oplysninger

Vil du gå direkte til tilmelding, klik her.

Og det er ikke tilstrækkeligt at skyde skylden på teknikken, siger EU’s danske konkurrencekommissær, Margrethe Vestager.

»Det er ikke nok at sige: ‘Se, hvad den har lavet – jeg ved ikke hvordan’. Det er ikke godt nok. Det ville vi aldrig acceptere i nogen andre sammenhænge,« forklarer hun.

Artiklen fortsætter efter annoncen

»Det kan ikke være anderledes, end at der er nogen, der ejer algoritmen. Og at algoritmen skal vide, hvad den må og ikke må.«

En stærkere regulering af machine learning-algoritmer er faktisk kommet nærmere. Et forhold, som flere store leverandører har indset, fortæller Carlton E. Sapp, der er research director hos Gartner.

»En stor del af markedet – som Salesforce, IBM og Microsoft – er allerede i gang med at bygge den kapacitet ind i deres systemer. Så det kommer vi til at se i nye udgaver af deres software,« siger han og fortsætter:

»De kommer ikke bare til at giver dig et resultat, men de vil også forklare, hvordan det resultat blev skabt, hvor data kom fra og så videre.«

Den type viden kommer til at være en fast del af et workflow for virksomheder, der arbejder med machine learning, mener Carlton E. Sapp.

Fravælger komplekse modeller

Et af de steder, hvor uigennemsigtige analysemodeller allerede i dag støder mod regulering, er hos forsyningsselskaber.

Hos Centrica, der blandt andet ejer British Gas, har man i flere tilfælde undgået de mere komplekse analyse-modeller, fordi de er for svære at forklare interessenter, hvordan de fungerer.

Det fortalte Paul Malley, der er head of customer data analytics, på Gartners konference om data og analytics, der fandt sted i London tidligere på måneden.

Centrica bruger blandt andet machine learning til at forudsige om nye kunder kan få problemer med at betale energi-regningen.

»Det har en reel effekt på kunden,« forklarer Paul Malley.

»Vi bruger modellen til at bestemme, om vi skal afvise en virksomhed som kunde, om vi skal bede om betalingen på forhånd eller noget andet. Vi er nødt til at være meget granuleret med detaljer, og derfor vil vi bruge mere konventionelle metoder.«

De konventionelle metoder kunne f.eks. være linear regression frem for deep learning.

»De komplekse modeller er meget sværere at forklare på en detaljeret måde til stakeholders. Hvis vi bliver auditeret og skal forklare, præcis hvad vi gør, så giver de løsninger problemer,« understreger Paul Malley.

Ethical Auditor

Udfordringen med at kunne stå til ansvar for beslutninger, der træffes af algoritmer, vil kun blive større fremadrettet, vurderer Carlton E. Sapp.

Han ser en tendens til, at selskaber vil udpege en såkaldt Citizen Ethical Auditor, hvis opgave det bliver, at holde machine learning-algoritmerne forståelige og etisk forsvarlige.

»Jeg tror, det kommer til at være almindeligt i både små og store selskaber, fordi vi kommer alle til at være ansvarlige for at forstå, hvorfor vi laver de beslutninger, vi laver,« siger Carlton E. Sapp.

»Vi har brug for at vide, om vi gør det rigtige. Ikke om vi gør det rigtigt, men om vi gør det rigtige.«

Sapp har selv arbejdet i anklagemyndigheden i USA, hvor han blev bedt om at lave en model, der kunne forudsige, hvilke sager der højst sandsynligt ville lede til en dom. Opgaven lykkedes, men algoritmen havde samtidig en klar tendens til at udpege sager, hvor den tiltalte var fattig og fra en minoritetsgruppe.

I sådan en sag vil kunder, borgere og myndigheder ikke stille sig tilfreds med, at man peger på en sort boks, understreger Carlton E. Sapp.

»Vi skal folde det ud. Vi skal kunne se, hvordan algoritmens intelligente komponenter kom frem til det svar, de kom frem til. Det har vi et ansvar for.«

21 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
21
12. april 2018 kl. 11:39

Tror du kan være rimelig sikker på at Vestager kun tænker beslutningsdygtige algoritmer (inkl. NN).

On topic: En audit af f.eks. finans-"robotter" burde blive lovpligtigt, så en årlig simulation, der tester om softwaren vil prioritere samfundet over aktionærer, kan gennemføres af eksterne, uafhængige "revisorer" og forhåbentlig sikre mod f.eks. nye finanskriser.

20
11. april 2018 kl. 08:00

Lad "spåkonerne" forklare hvad de laver. Så kan vi se deres "hellige" algoritmer bygget på korrelation uden direkte årsagssammenhæng.

18
10. april 2018 kl. 15:46

Det er et problem - helt klart.

Det jeg gerne vil frem til er at hvis der ikke skelnes mellem hvad en model bruges til og en model/algoritme altid ligger under for et krav om at den skal kunne forklare hvorfor/hvordan den kom frem til et output kan vi vinke farvel til talegenkendelse, automatisk oversættelse og andre teknologier. Og at vi ikke forstår hvordan et NN laver lydbølger om til tekst er ikke en trussel mod demokratiet

17
10. april 2018 kl. 15:45

Det mest fornuftige er nok at anse de mere avancerede AI som en ansat som ejeren er fuldt ansvarlig for. Hvilke instrukser har de fået og gør de deres arbejde rigtigt.

Hvis ikke så vanker der bøder fra vores alle sammens favorit dame

15
10. april 2018 kl. 15:29

Jeg vil ikke acceptere at en tilfældig algoritme ikke kan forklare hvorfor jeg ikke må låne penge eller hvorfor jeg ikke kom ind på mit studie, men kravet om at en algoritme altid skal kunne forklare hvorfor den kommer med et bestemt output vil begrænse eller helt stoppe en del udvikling hvis vi ikke skelner på anvendelsen.

Problemet er vel (?), at maskinen ikke længere følger velformulerede (og rigide) regler a la: Hvis du har en årsindkomst under x kroner OG står i Ribers eller bor i postnumrene ..., så må du ikke låne. I stedet bliver maskinen/netværket trænet på "erfarne" fordomsfulde menneskers meninger (hvis du har et mellemøstligt navn OG bor i postnumrene ...). Og så skal den jo nok hurtigt få det lært, uden at nogen kan hænges op på useriøse og fordomsfulde afgørelser, fordi de ikke er til at gennemskue. Så ja, mennesker skal tage den slags afgørelser og stå til ansvar for dem. Alt andet vil være et mareridt.

Men jeg gætter på, at nogen i stedet går i gang med at lave AI'er, der kan analysere andre og laverestående AI'ere. Man kan jo bombardere en anklaget AI med tænkte eksempler og se, hvilke kriterier den lægger vægt på og hvor meget.

Og det er ikke sikkert. det er et fremskridt.

14
10. april 2018 kl. 14:26

Som der er skrevet andre steder vil forklaring af et neuralt netværk ikke give mening og det er bl.a. fordi NN kan opfange og modellere mønstre og sammenhænge som er svære/umulige for mennesker at opfange eller forstå. Det er f.eks. derfor talegenkendelse overhovedet virker, da sammenhængen mellem lydbølger og tekst er for kompliceret til at 'hard-code'. Dvs. at vi i nogen tilfælde strengt taget slet ikke forstår hvad der sker og kan derfor ikke analysere modellen. Da talegenkendelse ikke tager 'beslutninger' kan man med ro i maven implementere NN i talegenkendelsessystemer uden at demokratiet kommer fare. Så det er også vigtigt at skelne mellem anvendelsen af machine learning. Jeg vil ikke acceptere at en tilfældig algoritme ikke kan forklare hvorfor jeg ikke må låne penge eller hvorfor jeg ikke kom ind på mit studie, men kravet om at en algoritme altid skal kunne forklare hvorfor den kommer med et bestemt output vil begrænse eller helt stoppe en del udvikling hvis vi ikke skelner på anvendelsen.

13
10. april 2018 kl. 13:53

Man kan sammenligne neurale netværk (NN) med sin personlige "mavefornemmelse" - "Jeg tror denne her sag er en vinder sag ..." - hvis man får sådan en forklaring fra en sagsbehandler, et forsikringsselskab eller SKAT, så duer det heller ikke - det ville ingen acceptere. Man skal kunne argumentere logisk og forståeligt for hvilke regler der er fulgt og hvorfor.

Det samme gælder AI - og hvis neurale netværk ikke kan give den forklaring, så må de trænes på en anden måde. Det er fint hvis et NN kan genkende et tal fra et billede, det skaber næppe de store problemer - men det nytter ikke at afgøre fx en forsikringssag på samme måde. Man må i stedet finde en måde at træne sit NN på, så det fx kan pege på hvilke regelsæt der er i spil, og om de er overholdt.

En anden brugbar anvendelse af NN som "mavefornemmelse" kan være til at screene sager, som man på forhånd kan se kræver særlig behandling, og dermed skal prioriteres op. Her hjælper NN - men det er ikke et NN som foretager afgørelsen - det må der i sidste ende være en person der gør.

Sagsafgørelser er også problematiske i det nogen skal stå til ansvar for beslutningen. Jeg mener ikke at et firma eller en offentlig myndighed kan fralægge sig ansvaret for en afgørelse fordi en computer har besluttet noget - der må i sidste ende være en sagsbehandler, som skriver under på afgørelsen, og som dermed er den ansvarlige.

12
10. april 2018 kl. 13:26

... men for mig lyder det som om, de forskellige bud på brugbare løsninger ser ud til at fokusere på at forstå den model, som monstret har anvendt. Men for mig at se er der vel også et problem i, at monstret kan nå at behandle så enorme datamængder, at det er umuligt at kontrollere, om alle data er så "lødige", som de bør være? F.eks. indenfor sundhedsvæsnet - hvordan får vi indblik i, om den forskning, som en given beslutning baserer sig på, faktisk er valid, videnskabelig holdbar forskning, og ikke noget "fifleforskning", som et medicinalselskab har købt sig til at få lagt ind i monstret?

Tilgiv mig, hvis jeg her bare åbenbarer, at jeg overhovedet ikke har fattet, hvad AI går ud på. Men hvis AI skal definere morgendagens samfund, så er det vel i sig selv et problem, hvis menigmand ikke fatter en brik af, hvordan afgørende beslutninger tages?

11
10. april 2018 kl. 13:11

Det er ikke fordi vi som sådan ikke forstår, hvad der foregår i AI og dybe neurale netværk. Det hele er i bund og grund bare matrice beregninger og differential regning der bruges til at optimere de mange tusinde/millioner frie parametre i sådanne modeller.

Problemattikken opstår af en række forskellige årsager, der alle stammer fra det samme problem. Når mængden af dimensioner i ens dataset bliver store (>10.000) og mængden af frieparametre i modellerne lige så - ja så bliver det ganske svært på en simpel måde at visualisere og kortlægge helt præcist hvilke sammenhænge i datasættet der har givet hvilke udfald.

Eksempelvis består et af de mest simple dybe neurale netværk (LeNet) af ~60.000 frie parametre. Formålet med alle disse frie parametre er, at lære sammehænge i datasættet, og disse sammenhænges sammenhænge som følge af den lagdelte struktur i de dybe neurale netværk.

Det som der altid er vigtigt at holde fast i ang AI er, at en AI aldrig vil blive bedre end dets træninsdatasæt. Derfor er det måske her, det er værd at starte, når man skal retfærdiggøre, hvorfor en AI gør som den gør. Så som at kigge på hvordan data'en er behandlet, hvorvidt den er repræsentativ, osv.

10
10. april 2018 kl. 12:46

... om jeg forstår ovenstående kommentarer rigtigt ...

Jeg sidder også og undrer mig. Jeg er enig med Margrethe i, at vi ikke bør behøve skulle finde os i "jamen, der står på skærmen" afgørelser. Alternativet lyder Kafkask, og at det allerede måtte forekomme, er jo ikke nogen god undskyldning.

Og man kan være enig eller uenig i dette, men GDPR giver os så vidt jeg ved retten til at få automatiske afgørelser forklaret. Jeg tænker at recital 71 kunne være interessant for perspektivering. Men jeg er ikke jura-kyndig, så jeg kan have misforstået den del.

9
10. april 2018 kl. 12:42

Jamen, vil "vi" nu egentligt det!?

Du har ret, Frithiof Jensen. der er meget, der tyder på, at hvis der med "vi" fortås den danske regering og dens medløbere på begge sider i salen, så vil "vi" ikke længere have et sådant samfund.

Gud bevare Danmark! (Gid man var lidt religiøs)

8
10. april 2018 kl. 12:36

Med neurale netværk kan man ikke forklare hvordan modellen er fremkommet, det er en oplæring ud fra kendt input og der til hørende kendt output. Betyder det at det ikke må anvendes? Det er jo slet ikke gennemskueligt når man siger "med dit input fremkommer dette output". Ja, men hvordan og hvorfor?

Jeg forstår udmærket hvad formålet er og her er jeg også enig i at ting skal være gennemskuelige. Men måske man skal arbejde en del med formuleringen af hvad man skal/må.

7
10. april 2018 kl. 12:34

hvis meningen er, at der ikke er nogen realistisk måde at sikre, at vi forstår, hvad der foregår i AI-"beslutningstagere"

Selvfölgeligt er der det, det er deterministiske algoritmer. Det er bare besvärligt og det kan tage lang tid og det kräver ressourcer, så Sillicon Valley vil meget hellere tale om alle de nye fantastiske potentialer og muligheder end om kedelige ting som "compliance".

... hvis vi fortsat gerne vil have et frit og demokratisk retssamfund?

Jamen, vil "vi" nu egentligt det!? Det lyder lidt som noget ineffektivt rod og en håblås mis-allokering af "vores" ressourcer hvis folk bare kan bestemme hvor de har lyst til at bo, hvilket töj de har på, hvad de mener, hvad de spiser, hvad de vil arbejde med, hvordan de bruger deres fritid og alt muligt andet gögl og pjat.

Så er det jo godt at "vi" har Digitaliseringen så "vi" kan få lidt styr på festen, uden at skulle ud og ligefrem "regulere" noget, ikke sandt?

6
10. april 2018 kl. 12:13

... om jeg forstår ovenstående kommentarer rigtigt - det er bestemt ikke sikkert - men hvis meningen er, at der ikke er nogen realistisk måde at sikre, at vi forstår, hvad der foregår i AI-"beslutningstagere", så må konklusionen vel være, at der ikke er nogen fornuftig og forsvarlig måde at implementere denne teknologi på, hvis vi fortsat gerne vil have et frit og demokratisk retssamfund?

5
10. april 2018 kl. 11:45

Man skal nok også tilføje at der meget snart kan forventes AI som løbende opdaterer deres parametre, ligesom alle mennesker gør. ( Det findes allerede fx inden for siri lignende anvendelser)

Og hvad så?

Jeg tror damen behøver nogle rådgivere ( jeg hjælper gerne)

4
10. april 2018 kl. 11:16

Jeg glæder mig til at Margrethe Vestager starter med at kræve dette fra SKAT i DK! Når hun har påtvunget SKAT den logik, kan hun få lov at kigge på private virksomheder..

3
10. april 2018 kl. 10:28

»Det er ikke nok, at sige, ‘se, hvad den har lavet – jeg ved ikke hvordan’. Det er ikke godt nok. Det ville vi aldrig acceptere i nogle andre sammenhænge,« forklarer hun.

Seriøst....... Ok så det betyder det der kommer ud af en politikers mund om tal lavet af embedsmænd har de forstået???? OMG det ville være den perfekte verden!

Lad os starte med privacy by design lavet af staten... hvem der det lavet for? staten eller borgeren?

Andre kan vel komme på bedre udtagelser fra politikere som enten er direkte forkert eller totalt misforstået.

Jeg er enig med Ole at det er muligt at forklare vægte og værdier for små enkelte systemer, men når de først bliver komplekse stiger kompleksiteten også hurtigere og derfor giver det mening at stille krav til læringsæt.... Men det betyder vel at politikeren kan forstå de basale principper i machine learning/neurale netværk etc. (ved ikke hvilket smart navn der benyttes i dag.)

2
10. april 2018 kl. 09:30

Ganske vist er det lidt af en myte at man ikke kan vide hvordan et deep learning program kommer frem til et resultat, men det kan vel næppe kaldes for gennemskueligt. Som forklaring til et resultat ( med de fleste nuværende programmer) er forklaringen en liste over de vægte der er anvendt i systemet tilsammen med aktiverings funktioner og softmax eller lignende udligninger. Alternativt policy og værdi ( eller integrerede samme) netværk som i AlphaZero.

Det ville give mere mening hvis der var regler for lærings nætværkets struktur og hvorledes det var blevet trænet.

Stadigt totalt ugennemsigtigt

1
10. april 2018 kl. 08:51

... og indlysende at kræve mulighed for at se diverse mellemregninger.

"»Det er ikke nok, at sige, ‘se, hvad den har lavet – jeg ved ikke hvordan’. Det er ikke godt nok. Det ville vi aldrig acceptere i nogle andre sammenhænge,« "

Nej - men kan vi så forvente, at det princip også kommer til at gælde indenfor det offentlige, hvor man har planer om at udnytte denne teknologi til alt fra sagsbehandling til sygdomsbehandling?