Neurale netværks autonome natur kan true lovligheden af din forretning

Neurale netværk og kraftig regulering er svær kombination.

ORLANDO: Deep learning og neurale netværk er blandt de mest hypede teknologier i analytics-feltet. Men måden systemerne fungere på, kan give hovedpiner for industrier under streng regulering, mener Oliver Schabenberger, CTO hos analyse-giganten SAS.

»I de regulerede industrier skal du kunne forklare, hvordan en model er bygget,« indleder han over for Version2.

Reguleringen kan foregå ned til et punkt, hvor bestemte koefficienter i analysemodellen skal have positive eller negative værdier. Og den form for detaljeindblik kan man ikke få, hvis et neuralt netværk har lært sig selv at foretage analysen.

Læs også: Softwarerobotter til sagsbehandling skal være enkle og gennemskuelige

»Du skal være i stand til at sige, hvad der har ledt til en bestemt beslutning. Hvis du godkender eller nægter et lån, skal du kunne sige, hvad der indgår i den beslutning,« siger Oliver Schabenberger.

»Black box-naturen af de her algoritmer er bestemt et problem,« understreger han.

Debugging

Dybe neurale netværks uigennemsigtighed bliver ikke bedre af, at de er nemme at lave forkert - og svære at fejlrette.

Hvis du designer et stykke software til billedegenkendelse, der ikke genkender de objekter, det skal, så kan du rette det ved at debugge programmet skridt for skridt. Men hvordan debugger du et neuralt netværk, spørger Oliver Schabenberger retorisk.

»Der er 500.000 parametre og komplicerede vægte i mellem dem. Det kan du ikke gennemgå med en debugger,« siger han og fortsætter:

»Vi har før prøvet at visualisere neurale netværk, men som antallet af lag og noder stiger, bliver det meget hurtigt uhåndterligt.«

Læs også: Googles Go-spillende AI har trænet inkognito online mod verdens bedste spillere

Der er reelt kun to måder, hvormed netværket kan blive bedre.

»Enten ænder du konfigurationen - tilføjer flere noder eller lag - eller du introducerer mere data og gentræner netværket, så det får et nyt sæt øjne.«

Uforudsigelig algoritme

Uanset kvaliteten af data er det ikke nogen lige til opgave at gentræne netværket. Et er at det kan tage dage eller uger at gøre. Et andet er risikoen for bias i data.

»Man skal forstå, at de her systemer kun lærer med de data, der blev givet. De markedsvilkår, der var til stede da data blev indsamlet - de er også indskrevne i dataen. Så hvis vilkårene skifter, hvordan ved du så, hvad algoritmen vil gøre,« siger Oliver Schabenberger

»Det er meget svært at sige.«

Læs også: Samfundet er i hænderne på algoritmer, men kode-etikken er helt til rotterne

Det vilkår leder igen til problemer for de regulerede industrier – man ved reelt ikke, hvordan netværket vil reagere på en ny situation.

Eksempler på software, der er kommet galt af sted pga. den data den skulle lære af, er talrige. Som Googles billedgenkendelsesalgoritme, der på et tidspunkt kategoriserede mørke kvinder som gorillaer, fordi den var oplært på datasæt, der fortrinsvis indeholdt fotos af hvide mennesker.

Regler og fri leg

I dag er der mest opmærksomhed på den gren af neurale netværk, der er fuldstændige selvlært på baggrund af dale. Men hvis reguleringshovedpinen skal løses, skal man bevæge sig væk fra den yderlighed, mener Oliver Schabenberger.

»Jeg tror at løsningen er et sted i midten - en kombination af regelbaseret, deterministisk logik og lært logik.«

»Du laver et fundament af velforstået logik, og så lader du systemet udvikle og udforske ekstra regler.«

Læs også: AI's store udfordring: Oplæring af algoritmer uden big data

På den måde kan du stadig stå i en situation, hvor netværket har fundet frem til regler, du ikke kan forklare, siger CTO'en.

»Men hvis vi laver arkitekturen på en måde, så de basale regler altid håndhæves så har vi lavet nogle grænser, så systemet ikke kan give os problemer.«

Version2 er inviteret til SAS Global Forum af SAS.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (2)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Nicolaj Søndberg-Jeppesen

Ja da! Jeg skal lige en tur over åen efter vand! Hvem skal have noget med?

Man vil tage en Black Box teknologi og vride armen om på ryggen af teknologien for at få små bitte glukhuller hvor man - hvis man både er dygtig og heldig - kan få et minimalt indblik i hvorfor teknologien regner som den gør.

Er det ikke i virkeligheden et spørgsmål om at bruge den rigtige teknologi til opgaven? Hvis man vil have et fuldstændigt indblik i - eller kontrol over - hvilke kausale forhold der er imellem forskellige faktorer i ens model, så er det ikke et Neuralt Netværk (NN) der er svaret. Jeg har efterhånden opdaget at NN og deep learning er glødende varme emner p.t., men de er på ingen måde svaret på alt.

Mange andre teknologier end lige netop NN giver langt mere indblik i- og kontrol over hvad der foregår.
Fx er der de mange regressionsbaserede modeller, eller der er beslutningstræer (der bl.a. kan læres med C4.5 algoritmen) som giver en flowchart agtig repræntation af en beslutningsprocess, eller Bayesianske Netværk som giver et meget fint grafisk overblik over afhængigheder og betingede (u)afhængigheder i ens data. Fælles for disse teknologier er at de løser lige netop det problem som Shabenberger efterspørger - helt uden dikkedarer (hvilket bl.a. vil sige: uden brug af SAS's platform).

Lars Skovlund

Hvis du designer et stykke software til billedegenkendelse, der ikke genkender de objekter, det skal, så kan du rette det ved at debugge programmet skridt for skridt. Men hvordan debugger du et neuralt netværk, spørger Oliver Schabenberger retorisk.

Nu bliver NN jo også brugt til billedanalyse, og også til kritiske formål, så det er en lidt søgt sammenligning.

Log ind eller Opret konto for at kommentere