bloghoved zambach

Bliv klogere med forklarbar kunstig intelligens

Kunstig intelligens er potentielt fordummende.

Okay - forklarbar kunstig intelligens lyder ikke helt så cool som det engelske xAI (eXplainable Artificial Intelligence) - men begrebet er vigtigt på begge sprog. For kunstig intelligens til brug i dataanalyse er potentielt fordummende. I dette indlæg vil jeg argumentere for, hvorfor jeg mener dette, og udrede, hvordan vi kan blive klogere i stedet.

Det er uetisk at blive dummere af sin data

Til diverse af forårets konferencer, som Dansk IT's OffDig og Deloittes Digital Agenda, går debatten om brug af kunstig intelligens. Er det uetisk at bruge AI til prediktion på universiteterne, i bankerne eller i omsorgssektoren? Nu har vi efterhånden ganske meget data og opbevarer det i dyrt anlagte datavarehuse i struktureret form.

Min uforbeholdne holdning er at - nej - det er normalt ikke uetisk at bruge AI til borger- eller studieanalyse og prædiktioner. Men det er uetisk at bruge en metode, hvor vi ikke bliver klogere på, hvad der sker for individet såvel som for hele populationen.

Det er også uetisk at holde de indsigter, man får, ind til kroppen (eller helt undlade at høste dem) til fordel for en 'black box'-model. Black box-modeller er ofte gode til at forudsige, om der er høj risiko for, at lille Lises forældre begår omsorgssvigt, men årsagerne til sandsynligheden kan man ikke uden videre vriste ud af modellen..

Når det er sagt, tager jeg dog forbehold for, at det ikke altid er til gavn for den enkelte borger at få alle forklaringerne (måske især i sundhedssektoren) . Men organisationen skal kunne følge med.

Black box eller forklaring

Nu er der nogle ikke-black box-metoder, der giver nogle muligheder, der er lidt mere komplekse, men de kræver lidt matematikkundskaber og probabilistisk modellering (eller måske er en støvet logistisk regression fin nok) - og her kan man faktisk både udnytte en høj forudsigelsesevne og en høj forklaringsmodel. Derudover undgår man at overmodellere.

Det er, som om der ikke bliver skelnet - i mange af forårets konferencer kører de derudad med black box machine learning-metoder - og hvem vil ikke gerne bruge et 'dybt neuralt netværk' til at forudsige et eller andet? Og tænk på, hvilken business case det er, hvis metoden fanger frafaldstruede, omsorgssvigttruede, spritbilisttruede eller konkurstruede og redder dem ...

Kære algoritme - hvad mener du?

Det er i dag muligt at bruge fx neurale netværk til at forudsige, om Lises forældre begår omsorgssvigt, med høj præcision og sensitivitet. Til gengæld kan vi ikke sige præcist, hvad det er for faktorer, der er brugt til forudsigelsen. Vi finder altså ud af, at der er noget med lille Lise (borgeren i centrum) - men hvad kan vi gøre for at undgå flere 'lille Liser'?

Hvis vi vil blive klogere ud fra vores data, bliver vi nødt til at arbejde langsigtet og ikke bare at købe noget smart og hurtigt. Vi må finde ud af, hvilke faktorer der gør, at Lise lider af omsorgssvigt. Eller at Bent er ved at droppe ud af sit studium. Ellers bliver vi ikke klogere. I værste fald ender vi med at overmodellere og får en sammenhæng, der ikke engang er der.

Hvordan får vi de indsigter? Hvordan bliver vi kloge af vores data? Det kan vi ved hjælp af forretningsanalyse og de lidt støvede teknikker som logistisk regression, eller vi kan arbejde med probabilitstiske metoder (fx bayesiske). Vi kan også arbejde med black box-algoritmer og vride nogle parametre ud af dem - igen dog med fare for ikke at få alle parametrerne med i købet.

Jytte fra sagsbehandlingen skal også forstå resultatet

Det vigtige er, at vi bruger data til at forstå vores model og vores virkelighed. Er det afstand fra uddannelsesstedet eller kombinationen af forældres akademiske baggrund og studium, der er årsagen til frafaldet? Hvordan kan vi bruge denne viden?

Vi skal også lige have med i regnskabet, at ude i kommunen er der nogen, der skal have forklaret resultatet. Disse sagsbehandlere skal forklare resultatet videre til borgeren. Det samme sker i den private sektor, hvor for eksempel bankrådgivere skal give algoritmens vurderinger videre.

Og man kan forestille sig mange steder, hvor det kan gå galt, når man ikke rigtigt forstår, hvad der har gjort udsvinget. Et tænkt eksempel er følgende dialog mellem Jytte og Jens:

Jytte: »Ja, vi kan se, at du er i høj risiko for at gå konkurs, så vi kan ikke låne dig penge til en lejlighed

Jens: »Men hvorfor? Er det, fordi jeg lige har lukket min virksomhed og i stedet er blevet ansat? Jeg tjener jo det samme.«

Jytte: »Det kan vi ikke se, men vi kan se, at du er i høj risiko for at gå konkurs.«

Jytte har ingen indsigt i sin kunde andet end et tal, og Jens har måske nogle anelser, men ingen reel ide om, hvorfor han ikke kunne låne pengene.

Men når de skal bruges til beslutninger som en 'ekspert' inden for området ville tage, er man nødt til at få forklaringen. Hvem ville stille sig tilfreds med en læge, der gav en diagnose uden at forklare' hvilke symptomer eller fund der gav hende den idé?

Skal alt AI kunne forklare sig?

Nogle gange - bevares - kan black box-metoder bruges til at tage nogle automatiske valg, som vi måske ikke behøver forklaringer på.

Billedgenkendelse gider vi ikke have alle detaljer fra, og en selvkørende bil skal måske ikke hele tiden forklare sig. Og meget tekstanalyse behøver vi måske ikke mellemregningerne fra, hvis det drejer sig om simpel kategorisering og løbende læring.

Jeg er bestemt ikke en AI-fornægter, ikke engang skeptiker. Jeg er faktisk rimeligt lalleglad, hvad angår prædiktion og statistiske metoder - vi skal bare stræbe efter at bruge de rigtige til den aktuelle case - og det kræver lidt at overskue, hvad der er den rigtige metode.

Overvågningskapitalisme og mellemregningerne

Til en konference for nylig gav Bodil Biering mig et vokabularium til at beskrive denne konflikt. Det handler om Explainable AI (det med mellemregningerne, der nogle gange ender med at være lidt ordinært) versus ikke-explainable AI (det der foregår i en blackbox). Og det er ikke bare konsulenthusene, der kaster sig efter de sofistikerede metoder. Det er noget, Facebook, Amazon og andre har gjort i længere tid, og som åbenbart er velkendt under begrebet 'overvågningskapitalisme'.

De har måske ikke nødvendigvis brugt black box-metoder, men de har ikke gjort noget for, at mellemregningerne kom ud til folk. Så jobannoncer blev kønsdiskriminerende, og domme blev racistiske.

Her kan det være smart at bruge metoder, der giver mulighed for, at man kan 'løfte kølerhjelmen' og selv se til, at noget ikke løber af sporet - netop i sager med racistisk eller kønsdiskriminerende AI. Kald mig bare kontrolfreak.

Vi, der arbejder med folks data, må altså huske, at etik for AI har mange ansigter. Vi skal både opbevare data sikkert og holde det privat. Vi skal undgå, at det bliver brugt uetisk - og så har vi ansvar for at blive klogere af at bruge data.

Jo mindre vi får (eller kigger på) mellemregningerne, jo dummere bliver vi. Og hvem vil gerne blive dummere?

Netop som jeg sad og skriblede udgav Version2 denne gode artikel om AI. Læs den!
Vil du have en ikke alt for teknisk bog, der dog går ned i forskellige AI-metoder, så tjek Thomas Terneys 'Kampen om fremtiden'.

Relateret indhold

Kommentarer (8)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Pernille Tranberg

På vores konference sidste år fortalte finske Silo om deres måde at arbejde med explainable AI https://vimeo.com/294736243
Og nej, det skal vi ikke kreditere FB og Google for, de er black boxes.
Vi har meget mere AI på vores næste konference hvor vi altid forsøger at komme videre end kritikken og diagnosen men også konstruktivt vise hvordan nogle forsøger at gøre en forskel med ansvarlig brug af data:
Dataethics.eu/conference19

  • 1
  • 0
Povl H. Pedersen

ML er dumt. Det er ikke bedre end det korpus man træner det med. AI er måske / måske ikke bedre.

Når Amazon bliver ved med at foreslå at jeg køber X også lang tid efter at jeg har købt det hos Amazon, så er deres AI ubrugelig.

Når man kan omgå diverse billedegenkendelsesalgoritmer ved at introducere noget uventet i billedet, så er de ikke så gode.

Når crime stats programmer kun udpeger sorte, så stoppes de oftere, og giver et positivt feedback loop der forstærker denne effekt.

Der er masser af ML/AI derude, som har meget store datamængder at analysere, men som alligevel gør det ringere end et under-normalt begavet individ.

Hvis lille Lise lokaliseres, så overser systemet måske lille Dorte, fordi der er er nogle forskelle der gør at man hurtigt har sorteret hende fra. F.eks. jobs hos forældrene.

Så ikke nok med at se på output og forklare det, det er vel lige så vigitgt at have en ide om hvad systemet har overset. Og at holde øje med, at systemet ikke bruger sine successer til at blive endnu mere enøjet.

Jeg har selv spillet Go i mine unge dage, så jeg er imponeret over hvordan det er lykkedes at lave et selvlærende system der kan komme i verdensklasse. Men her er der også ret få regler, mange muligheder (19x19 brædt), men der er altid en vinder og en taber. Så et binært udfaldsrum.

Problemet med AI er, at i de fleste tilfælde er der ikke sort/hvide udfaldsrum. Og når de skal komme op med en liste, så vil der altid være mangler på listen. Så det er meget vigtigt at man forstår en række af de beslutninger der er lavet, og at man sørger for at køre feedback tilbage gennem systemet, så det kan lære af sine fejl. For ligesom ved mennesker, så er et system der ikke lærer af fejl ikke det man ønsker. og jeg tror at man mange steder glemmer at fortælle systemet om fejl, f.eks. i crime systemerne i USA. Hvis man ikke fortæller at 75% af de sorte der stoppes er uskyldige, så lærer systemet ikke af dette.

  • 6
  • 0
Bjarne Nielsen

Jeg har selv spillet Go i mine unge dage, så jeg er imponeret over hvordan det er lykkedes at lave et selvlærende system der kan komme i verdensklasse.

Mens jeg tænker over, hvordan jeg skal svare Sine og Pernille (der imho virker noget ... ubekymrede), så lad mig dele denne (ugh!) Youtube-video:

https://www.youtube.com/watch?v=R9c-_neaxeU (MENACE: the pile of matchboxes which can learn)

Det er genopførsel af en illustration af ML, hvor man lærer en samling tændstikæsker med farvede perler at spille kryds-og-bolle.

Ganske simple regler, ganske primitiv hardware, overraskende kompleks opførsel.

Den opfølgende video er også interessant, for her begynder de at eksperimentere, og det viser nogle af udfordringerne, bl.a. en tendens at falde i lokale minima.

  • 2
  • 0
Bjarne Nielsen

Jeg faldt lige over den her:

https://www.infoq.com/news/2019/04/gaurav-sood-predict-race

Det er et interview med Gaurav Sood som er principal data scientist hos Microsoft, og som har brugt ML til at forudsige køn og etnicitet ud fra folks navne. Eller måske rettere transkriberingen af deres navne, hvad jo i sig selv jo både er en data- og en fejlkilde, men lad det nu ligge.

Her må jeg spørge, hvorfor?

Vi kan selvfølgelig vælge at betragte dette som et 'party-trick' - se maskiner kan nu spille go, og gætte etnicitet og køn, ligesom vi mennesker kan. Og vi kan bruge det til at blive klogere på ML.

Men hvad kan det bruges til?

Tja, for efterhånden en del år siden lavede den lokale avis, der hvor jeg dengang boede, et eksperiment: man sendte enslydende ansøgning om ledige værelser afsted, hvor den eneste forskel var om afsendernavnet var dansk eller udenlandsk. Forskellen i svarprocenten var voldsom.

Er det det, som vi vil kopiere fra os mennesker? At vi bruger navn som proxy for etnicitet, og etnicitet som proxy for noget helt tredje. Det har aldrig været en god ide, og den bliver ikke spor bedre af, at man 'gør det på en computer'. Tværtimod, for hvis man er på vej ud af en tangent, så er det sidste man har brug for, højere hastighed og mindre overblik.

Eller hvad med historierne om, at kvinder ikke bliver indkaldt til samtaler, når de bruger deres eget navn, men bliver det, når de ændrer det til en mandligt klingende kaldenavn? Det er næppe heller bare af venlighed, at mange indere og kinesere tager sig et vestligt kaldenavn.

Ender vi med alle at skulle foregive være 'enlige kristne ikke-rygene studiner' (er det stadig en ting ... det skulle man skrive når man søgte en værelse, sidst jeg prøvede) for i det hele taget at komme i betragtning?

Og ja, det kan godt være, at vi skal insistere på, at afgørelserne kan forklares:


"Hvorfor kom jeg, trods mine åbenlyse kvalifikationer, ikke til samtale?"

"87,3% pga. af dit navn"

“Hvad er der i vejen med mit navn?“

"55,1% at det indeholder en dobbelt-vokal, og 32,7% at det ender på 'a'"

"Og hvad er der i vejen med navne med dobbelt-vokaler og med at de ender på 'a'"?

"91,3% af alle ansøgere, hvis navn opfylder de kriterier, bliver historisk set frasorteret inden 2. samtale"

"Hvad kan jeg gøre for at øge mine chancer?"

“Hvis du ændrer dit navn til 'Lene', så vil dine chancer øges med en faktor 53,9, og hvis du ændrer det til 'Hans' med en faktor 134,7"


Det kan godt være, at "forklarbarhed" er en nødvendig betingelse, men det er bestemt ikke en tilstrækkelig betingelse.

  • 2
  • 0
Bjarne Nielsen

Lad mig lige fortsætte ovenstående samtale:


"Hvor mange ansøgere har I haft med navne som mit?"

"En"

"Synes I ikke at det er et lidt tyndt grundlag? Bør I ikke opdatere jeres algoritme?"

"Opdatererer algoritme med seneste erfaringsdata ... opdateret"

"Ja?"

"Afvist"

"Hvad? Hvorfor?"

"100% af alle ansøgere med dobbeltvokaler i navnet, og hvor navnet slutter med 'a', bliver historisk set afvist inden 1. samtale"

"!!?"

"For yderligere oplysninger kontakt afdelingschef Hans. Hvis du vil genfremsende ansøgning, kan den sendes til Lene fra HR. Tak for deres interesse."

  • 0
  • 0
Niels-Arne Nørgaard Knudsen

at man mister kontrollen over en maskine når man ikke længere kan forklare hvordan den virker. det ser jeg 'kun' som næststørste fare.

jeg tror den største fare ved AI er at vi bliver magelige. ingen grund til at vælge farven på strømperne selv, når en AI'er kan sikre at alle på arbejdet er farvekoordinerede. vi mister evnen til at tænke kritisk og tage selvstændige beslutninger.

  • 3
  • 0
Bjarne Thomsen

The most surprising thing about deep learning is how simple it is. Ten years ago, no one expected that we would achieve such amazing results on machine perception problems by using simple parametric models trained with gradient descent. Now, it turns out that all you need is sufficiently large parametric models trained with gradient descent on sufficiently many examples. As Feynman once said about the universe, "It's not complicated, it's just a lot of it"

Jeg ved ikke, om Feynman har sagt sådan. Chollets parametre er det neurale netværks vægte. Han fortsætter med en lidt mere detaljeret beskrivelse af TensorFlow programmet.

In deep learning, everything is a vector, ie everything is a point in a geometric space. Model inputs (it could be text, images, etc) and targets are first "vectorized", ie turned into some initial input vector space and target vector space. Each layer in a deep learning model operates one simple geometric transformation on the data that goes through it. Together, the chain of layers of the model forms one very complex geometric transvormation , broken down into a series of simple ones. This complex transformation attemps to map the input space to the target space, one point at a time. This transformation is parametrized by the weights of the layers, which are iteratively updated based on how well the model is currently performing. A key characteristic of this geometric transformation is that it must be differentiable, which is required in order for us to be able to learn its parameters via gradient descent. Intuitively, this means that the geometric morphing from inputs to outputs must be smooth and continous -- a significant constraint.

Transformationen antages altså at være kontinuert og differentiabel fra inputrum til outputrum. Jeg kan forstå, at en sådan kontinuert "morphing" af en million kattebilleder kan identificere en kat, men jeg har vanskeligt ved at forestille mig, at en sådan kontinuert deformation med sikkerhed kan identificere en tekst, hvor man kan udskifte synonyme ord uden at et menneske misforstår teksten.

  • 2
  • 0
Torben Mogensen Blogger

En af de første ting, man lærer på matematikstudiet, er, at man altid kan få et polynomium til at gå perfekt gennem et antal målepunkter -- bare man har tilstrækkeligt mange koefficienter til polynomiet. Men det gør ikke polynomiet egnet til at forudsige værdier imellem og udenfor målepunkterne -- tværtimod er der en tendens til, at polynomiet svinger meget mellem målepunkterne og hurtigt divergerer mod +/- uendeligt udenfor målepunkterne. Dermed er det en kvalitet at bruge den laveste grad af polynomuim, der giver en nogenlunde tilnærmelse af måĺepunkterne, og for enhver pris ikke bruge polynomiet til målinger, der ligger udenfor intervallet af de målepunkter, man brugte til at lave polynomiet.

Deep learning har overordentligt mange koefficienter (parametre), og kan derfor give perfekt match for en meget stor mængde måledata. Men man risikerer nemt, at der er meget dårlig forudsigelse mellem målepunkterne og særligt udenfor måledataenes "intervaller".

Grundlæggende har deep learning altså nemt samme problem som at bruge et 27-grads polynomium til at fitte en kurve til 28 målepunkter. Groft sagt skal man have meget mere testdata end variabiliteten i parametre. For hver bit i parametrene skal du groft sagt fordoble mængden af testdata. Med billeder kan du komme et stykke vej ved at lave kunstig variation i billederne: Rotere, skalere og translatere billederne, og indføre støj. Men det hjælper stadig ikke til at forudsige data udenfor træningsdataenes "interval".

  • 4
  • 0
Log ind eller Opret konto for at kommentere
IT Company Rank
maximize minimize