johnny lüchau bloghoved

Få nu forventningerne til AI ned på jorden

Vi hører alt for ofte om AI’s store potentiale og når der endelig skrives om udfordringerne med AI, så er fokus på noget i retning af jordens undergang eller som minimum på at vi alle sammen bliver arbejdsløse. Der mangler en hel del realisme i AI-debatten!

Der er masser af eksempler på AI-projekter som ikke har levet op til forventningerne, f.eks. har jeg i et tidligere indlæg nævnt de mange AI-støttede chatbots, som sjældent kan levere, men der er jo også andre typer software med AI, som ikke leverer på leverandørernes løfter og forretningens forventninger.

I fagforbundet Djøf’s medlemsblad nr. 6, 2019, læste jeg forleden at Djøf, efter et 2-årigt projekt, havde skrottet en AI-baseret løsning til håndtering af 30.000 ansættelseskontrakter, fordi løsningen ikke kunne det man havde lovet dem.

Det lød ellers meget lovende i pressemeddelelsen fra 2017, hvor man kan læse at man bl.a. ville bruge projektet til at ”indhente førstehåndserfaringer med, hvordan automatisering og kunstig intelligens påvirker en arbejdsplads og de forskellige jobfunktioner”. Erfaringerne fik en ret definitiv konsekvens i april i år.

Så hvorfor fyrede Djøf deres AI-baserede ”kontorrobot”?

Djøfs forhandlingschef, Charlotte Thaning, var så venlig at afsætte tid til en snak om baggrunden for fyringen og hun fremhæver netop forventningerne til teknologien, som den primære årsag til at projektet fejlede.

"Kontorrobotten" skulle trænes til at identificere forskelle mellem ansættelseskontrakter, for at man skulle kunne fokusere på det som afveg fra normalen og dermed spare en masse tid.

Som eksempel på det som kontorrobotten forventedes at kunne, nævnte Charlotte Thaning bl.a. sammentælling af beløb vedr. løn og pension i ansættelseskontrakter, en opgave som desværre ikke kunne løses med AI, primært fordi softwaren ikke kunne finde rundt i strukturen i dokumenterne.

Medarbejderne i Djøf så ellers frem til at kunne overlade de mere ensformige opgaver til robotten, for selv at kunne fokusere på mere udfordrende opgaver. En fuldkommen god grund til at implementere software med kunstig intelligens!

Hos Djøf var man været klog nok til at lave en aftale man kunne komme ud af uden omkostninger, såfremt produktet ikke levede op til det aftalte. Men den tid man har brugt, kommer jo ikke tilbage.

For mig lyder det som om der er grundlæggende problemer med AI-funktionaliteten i softwaren iManage fra det engelske firma RAVN. I Wired Magazine online, bliver produktet meget positivt omtalt og de har tilsyneladende opnået en del succes med deres produkt i hjemlandet.

I artiklens eksempel har deres software tygget op til 600.000 sider juridiske dokumenter igennem om dagen, så Djøf’s bare 30.000 kontrakter burde ikke have gjort det ud for meget mere end en formiddags-snack.

Jeg mistænker at det var det danske sprog, der spændte ben for Djøfs’s projekt, måske kombineret med for små datamængder. Produktet klarer sig tilsyneladende fint når det skal arbejde med meget større datamængder og på engelsk.

Er Danmarks digitalisering i fare på grund af vores modersmål?

En variation af AI som vi ikke hører så meget om som vi nok burde, er Natural Language Processing (NLP). Det er den teknologi som får aflyt-dig-selv applikationer som Apples Siri og Amazons Alexa til at virke, hvis du altså taler engelsk.

Det er også centralt i løsninger som Djøfs iManage og de talrige programmer til tale-genkendelse og stemme-identifikation, som man kan finde i markedet. Sprog, hvad enten det er talt eller skrevet, er meget vanskeligt at håndtere for en computer og derfor er korrekt sprogunderstøttelse, i form af NLP, helt nødvendigt for at få den type software til at fungere.

Det er helt grundlæggende ting som syntaks og semantik, som giver problemer for de algoritmer der gemmer sig i NLP. Også sådan noget som sarkasme, tvetydigheder, ironi og grammatik er en kæmpe udfordring. Hvis jeg nu skriver "Det er fint", så kan det jo tolkes på mange forskellige måder. Og når vi taler utydeligt eller med slang og dialekt, bliver det endnu værre.

Faglige termer, som f.eks. jura, er et helt kapitel for sig, men burde kunne håndteres af en slags standard-bibliotek for juridiske termer, hvis eller nogen ville producere og vedligeholde sådan et.

Der bruges enorme summer, udenfor Danmark, for at få NLP til at virke bedre og bedre, men de små sprog som dansk, bliver der ikke investeret i. Det får nogle producenter af software med NLP til at påstå, at NLP er uafhængigt af sprog, men jeg har bevist overfor de samme producenter at det ikke passer. Charlotte Thaning fra Djøf bekræftede overfor mig at det var præcis hvad sælgerne af Djøfs kontorrobot havde sagt, hvilket var medvirkende til at man købte iManage.

Hvis vi skal være med på NLP-vognen skal vi enten droppe dansk og skifte til engelsk, eller også skal vi have politikerne med. Jeg har spurgt vores IT-ambassadør Casper Klynge, eller rettere hans kontor i Palo Alto, hvad han gør for at få vores modersmål ind i varmen hos de store producenter over there? Det fik jeg ikke svar på, men jeg blev gjort opmærksom på at den netop afgåede regering faktisk havde tænkt over det og lavet en strategi for AI. Den er fra marts 2019, så den er meget ny og man kan jo ikke regne med at den næste regering vil støtte op om den, men den er faktisk meget interessant.

Først og fremmest så bemærker jeg, at man fra politisk hold, er klar over problemet med NLP og at det holder digitaliseringen tilbage. På side 36 kan du læse at man har planlagt at udvikle en "fælles dansk sprogressource" som skal stilles gratis til rådighed. Sådan! Og der er meget andet godt i dokumentet. Måske skal vi have den, forhåbentligt, kommende IT-minister til at tage fat på udfordringen med at få det virkeliggjort. Vi er flere år bagud.

Men lad mig komme tilbage til det med forventningerne.

Hvordan siger man til ledelsen at deres forventninger til AI er helt ude af trit med virkeligheden?

Man fristes til at sige lad være. De vil alligevel ikke tro på dig, for de flinke konsulenter og sælgere har for længst forsikret dem om at deres AI-software er helt sprog-uafhængigt og kan klare enhver opgave. "Millionbesparelserne ligger lige om hjørnet og alle de andre gør det jo allerede", plejer det at lyde.

Jo, du skal naturligvis spille din viden på banen og gøre dem opmærksom på risikoen, selvom det ikke altid er populært.

Det andet du kan gøre som IT-medarbejder er at insistere på at kontrakten med leverandøren indeholder en testperiode, der skal bevise at AI-delen af produktet rent faktisk virker og hvis ikke, så kan dit firma komme ud af aftalen uden omkostninger. På den måde kan du redde firmaet fra en dum brøler, ledelsen kan redde lidt ansigt og IT-afdelingen kan vise sit værd.

Den tredje mulighed er at styre interessen over på områder hvor AI har bevist sit værd igennem længere tid, typisk indenfor det man kalder decision support, altså analyser på big data til understøttelse af ledelses-beslutninger.

Til sidst vil jeg gerne opfordre til at vi taler lidt mere om vores fiaskoer i IT-afdelingerne og generelt IT-branchen. Vi har en meget kedelig tendens til at feje svipserne ind under gulvtæppet (med mindre det er statens milliard-bøffer), at lade hunden spise business casen eller at tale et bittert flop op til en nær-succes og det gavner ingen i det lange løb.

Hvis ikke vi taler om vores fejlskud, så tror andre virksomheder på de fantastiske historier som sælgerne løber med og det koster bunker af penge, som kunne være brugt bedre. Det går også ud over IT-afdelingernes troværdighed hvis ikke de i det mindste prøver at få lidt realisme ind i debatten, især når det drejer sig om noget så kompliceret som AI og NLP.

Hvem er først? Eller jeg mener, hvem er nummer to, nu da Djøf, modigt, er gået foran.

Relateret indhold

Kommentarer (15)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Michael Ellegaard Nielsen

God blog og yderst relevante kommentarer. Jeg kender ikke DJØF projekt, men har hos os selv en del lignende projekter med RPA og AI i sammenhæng...

Tror mange af os arbejder med, kæmper med NLP på dansk på et højt nok niveau. Tænker selv det kunne være den del af teknologien, som der blev anvendt midler på til udvikling af AI (ja det er ML :-)) Det så vi på tværs af virksomheder kan dele..

Vi lærer vores AI NLP model at forstå dansk gennem læsning og forståelse af GPDR og ESDH dokumentet. Det giver resultate, så over tid bliver det godt. Det skal "blot" udvikles og vedligeholdes... Det gode ved denne teknologi med RPA i knytning til det er, at vi kan mere en bare håndtere regler, så systemudviklingsperspektivet inkl mønstergenkendelse er stort og spændende. Men vi er lige startet - på dansk -!

  • 2
  • 0
Johnny Lüchau Blogger

Ja, hvis nu vi fik sprogstyringen leveret som en gratis service, så kunne vi bruge vores kræfter på at lave fede løsninger i stedet for.

Har i tænkt over hvordan i måler om jeres løsning lærer bedre over tid?

  • 0
  • 0
Michael Ellegaard Nielsen

Jeps, det er en komponent alle skal kunne g have glæde af, så kan vi istedet fokusere på løsningerne.. Vil bringe det videre i ITB... Det må værecfx derfra med Digitaliseringsstyrelsen, dette skal løftes...

Indtil videre er det "kun" ord og sætningssammenhænge, det tælles, det er en pointe, jeg tager med til vores folk, så vi kan finde løsninger og svar på det

  • 1
  • 0
Glenn Møller-Holst

03.04.2019, finans.dk: Mærsks storstilede milliardsats på ny robotteknologi flopper:
https://finans.dk/erhverv/ECE11281674/maersks-storstilede-milliardsats-p...
Citat: "...
Mærsk har brugt milliarder af kroner på at effektivisere sin havnedivision med robotteknologi. Nu viser det sig, at et stort prestigeprojekt til 4 mia. kr. har haft den stik modsatte effekt.
...
Stik mod forventningen har det vist sig, at fuldautomatiserede terminaler er langt mindre produktive end dem, der er fuldt bemandede med havnearbejdere.
..."

  • 2
  • 0
Aslak Stage

Johnny Lüchau

Tak for et rigtigt godt indspark i debatten om AI og forventningerne til det.

Vedr. Mærsk casen tror jeg ikke det var en regnefejl, som var problemet.

Jeg tror ganske enkelt at de manglede at gøre deres forarbejde ordentligt og huske at lytte til "nej-sigerne". Det er meget nemt at blive forblændet og særligt ledere, som er under pres for at skulle "change", "optimere" mv. At være den leder, som siger " Det vi har i forvejen er faktisk noget af det mest optimale, selvom det består af mennesker" er svært i en tid hvor dagsordenen alle steder er digitalisering og IT kan erstatte alle mennesker uanset hvad (Bare se det offentlige).

Det er bare ikke sandt, vi er meget langt derfra og konsekvenserne tænkes ikke igennem.

Mærsk har haft samme problem vedr. blockchain, som de også så meget store muligheder i, men glemte at sætte sig ind hvad det egentligt er.

Også her har de trukket sig. Og godt nok er jeg her bagklog, men jeg vil påstå at der er et mønster, som vi ser gentage sig gang på gang og det er at vi lader os fascinere af IT og løber med uden at tænke os om og lære af historien. Dotcom-boblen er faktisk et rigtigt godt eksempel.

Er det fordi folk er bange for at virke dumme eller er folk bare dumme?

Jeg vil helst tro det første og jeg savner at der lyttes til de folk, som faktisk er konstruktivt kritiske og netop gør opmærksom på når kejseren ikke har nogen klæder på.

Tak for en god debat.

  • 1
  • 0
Anne-Marie Krogsbøll

Jeg frygter, at det kan blive samme historie med denne nyhed: Vi skal selvovervåge vores helbred med diverse apps, smartwatches osv:
https://jyllands-posten.dk/indland/ECE11438668/smartphones-skal-levere-s...

Er det nu ordentligt tænkt igennem? Alle konsenvenser, eks, risikoen for overbehandling - den er massiv - hvilket vil give yderligere pres på sundhedsvæsnet? Fejlbehandling, fordi algoritmerne alligevel ikke er helt så pålidelige som lovet? Hvordan med datasikkerhedsproblemerne omkring dette? Hvad kræver det at skulle tage imod alle disse data fra tusindevis af forskellige devices? Er visionen afhængig af 5G, så vi endnu engang binder os op på endnu mere sårbar teknologi, som vi ikke har styr på endnu? Hvem skal betale for alle disse devices? Skal borgerne tvinges til selv at købe dem? Hvis er ansvaret, hvis noget går galt - producenten? Sygehuset/lægen - Teleudbyderen i tilfælde af fejl i nettet? Hvad kræver det af investeringer og vedligholdelse af kæmpe databaser/servere etc - omkostninger, som skal tages fra det øvrige sundhedsvæsenbudget, som så udsultes til fordel for tech-branchen? Hvem skal have adgang til data? Hvad skal det samkøres med i forebyggelsens hellige navn - eks. Storebox, som logger borgernes indkøbsvaner - eller genomcenterdata? Hvad hvis borgeren/patienten ikke vil have en sådan dims til at overvåge sig?

Og hvordan med overvågningsaspektet - som jo er meget markant? Skal det være tvungent at bruge - af hensyn til forskningen, og fordi man skal bruge kontrolgrupper til at forbedre algoritmerne med? Sikkert ikke fra start - man bruger snedigt salami-metoden. Men hen ad vejen vil det blive til: "Hvis ikke du vil bidrage til udviklingen af sundhedsvæsnet, kan vi desværre ikke behandle dig, når det bliver din tur". Ganske som med de øvrige sundhedsdata.

Jeg kan sagtens se, at der kan være grupper af kronisk syge, som vil kunne få et lettere liv ved ikke at skulle til kontroller så ofte - men derudover forekommer det mig at være et mareridtsscenarie, at man begynder at bygge sundhedsvæsnet op omkring tech-industriens og Singularity Universitys våde drømme.

For et halvt års tid siden var jeg til konference, arrangeret af regionerne, hvor disse tanker blev luftet - for ikke at sige direkte solgt - med store ord og fedt flæsk. Bl.a. blev det af en bagmand for et af disse produkter påstået, at det ville medføre et mere lige sundhedsvæsen, og være med til at udjævne forskelle i sygelighed og livslængde. Lige indtil nogen spurgte, om det nu var dokumenteret, at det ville virke på den måde? Det var det så ikke - det var ren ordgejl. Faktisk var der forskning, der pegede i modsat retning, for der er stor forskel på befolkningsgruppers adgange til "dimser", og på evner og kræfter til at bruge dem fornuftigt. Der var også påstande om, at man så kunne fange stort set alle sygdomme, stort set inden de går i gang. Igen manglede dokumentationen, da der blev spurgt ind til det. Og heller ikke risikoen for mange falsk positive/negative havde man noget godt svar på - ud over, at jo flere man kunne få lov at overvåge (man ønskede samarbejde med Google og de andre giganter inden for overvågnings-"dims"-området, så man kunne overvåge normalbefolkningen), jo bedre ville algoritmerne blive. Det var meget tydeligt, at mange af oplægsholderne havde været til møder/på kurser med disciple fra Singularity University - sprogbrugen var den samme, den fuldstændigt ukritiske tech-begejstring på bekostning af menneskelig omsorg og pleje var den samme. Det lader ikke til, at vore beslutningstagere har taget nogen af de kritiske røster med sig fra konferencen - de er glemt. Det var samme billede for et par uger siden ved "Data redder Liv"-konferencen hos Dansk Erhverv. Ukritisk eksponentiel tænkning, ingen plads til kritiske brokkehoveder, for vi står på en brændende platform, mens kineserne sejler fra os - huj, hvor det går (hovedløst) derudaf! Det gyser i mig ved tanken om, at det er disse folk, der er toneangivende i sundhedsvæsnet - og det er de, det er blevet tydeligt fra deltagelse i flere af sådanne konferencer.

Men omkostningerne? For samfundet? For ofre for falsk positive/negative? For demokratiet? For friheden?

Hvem står bag ideen? Hvilke firmaer og lobbyister har man holdt mere eller mindre hemmelige møder med? Har beslutningstagerne endnu engang ladet sig forføre/fascinere/bestikke af tech-giganter og udsendte fra Singularity University?

Mit gæt: Ja!!!!!!!!

Gid de ville læse denne Politico-gennemgang af, hvad sådan hovedløs og ukritisk lytten til tech-sælgere fører med sig:
https://www.politico.com/story/2019/06/06/epic-denmark-health-1510223?fb...

Men det vil de med garanti ikke!

  • 1
  • 1
martin nielsen

Det gør ingen forskel om den hedder AI, NLP, ML, Mads, Jens eller Bitten. Der er stadig kun 1% af befolkningen der ved hvad en "machine learning" algoritme overhovedet indebærer, og hvad man kan have af realistiske forventninger til den.

Det store problem i dagens samfund er ikke at AI findes, det er ikke at AI bruges, men derimod er det at AI skal diskuteres af alle og enhver der ikke har kvalifikationerne til at diskutere til at starte med. Så vi ender med en komplet ligegyldig diskussion blandt ligegyldige mennesker.

De der rent faktisk har travlt med at implementere diverse former for AI har ikke tid til at sidde og diskutere pedantiske milimetermål med Twitter-pøblen.

"AI må ikke slå folk ihjel" råber folk i kor, men det gør ingen forskel for ligeså snart Kina laver den første dræberrobot er alle nødt til at følge med.

"AI må ikke udspionere" råber folk i kor, men det gør ingen forskel for der udspioneres allerede på alle mulige måder.

"AI må ikke tage vores jobs" råber folk i kor, men det gør ingen forskel for den forandring har været på vej de sidste 100 år. Ingen kunne stoppe traktorerne, ingen kunne stoppe fabrikkerne og samlebåndet, og ingen kan stoppe udviklingen af ML algoritmer.

  • 1
  • 3
Log ind eller Opret konto for at kommentere