Version 2’s læsere efter chatbotten Tay: Computeren mangler en frontallap!

Microsofts spektakulære fiasko med chatbotten Tay rejser spørgsmålet blandt Version 2’s læsere: Kan computere lære at tænke selv?

I sidste uge slap Microsoft deres chatbot Tay løs på Twitter – målet var, hed det fra Microsoft, at ‘engagere og underholde folk online via afslappet og legende samtale’.

»Jo mere du chatter med Tay, desto klogere bliver hun, så din oplevelse kan blive mere personlig,« skrev Microsoft om Tay ved frigivelsen.

Læs også: Twitter lærte Microsoft-chatbot at blive racist på et døgn

Inden for blot 24 timer havde Twitters brugere imidlertid lært Tay at udtrykke sig i såvel racistiske som sexistiske og nazi-sympatiserende kommentarer. Ikke overraskende valgte Microsoft at lukke Tay ned.

Historien var en, for Version 2, helt almindelig citathistorie. Imidlertid udviklede den efterfølgende debat i kommentartråden sig i en meget spændende retning omkring machine learning generelt, og hvordan vi lærer computere at tænke selv.

Version 2-læser Rune Jensen kan for eksempel fint sætte sig ind i Microsofts tilgang til udviklingen af en chatbot og skriver blandt andet:

»Det er helt klart, at hvis man vil lære en bot at efterligne mennesker med et naturligt sprog, så er den nemmeste og hurtigste metode at få brugernes hjælp og næsten direkte 'hugge' deres sprogbrug. Så kan man måske sige, at Microsoft var lidt naiv og tro, at alle brugere er gode brugere.«

Læs også: Facebook klar til at understøtte AI og machine-learning i Europa

Microsoft på rette spor med Tay

Rune Jensen synes, at chatbotter generelt er teknisk interessante, og ville have fulgt samme strategi med hensyn til indlæring som Microsoft. Han ville så blot ikke have gjort indlæringsresultatet offentligt, men holdt det i lukkede fora.

»Jeg tror helt ærligt bare, at de (Microsoft, red.) var så fokuserede på og begejstrede for selve teknologien, at det slet ikke faldt dem ind, de ville blive snydt. Det er tydeligt, at det er kommet direkte fra ingeniørerne og tech nørderne i Microosft og uden om det sidste sanitytjek (never trust user input),« skriver Rune Jensen.

Rune Jensen beskriver princippet i sproglig oplæring af en chatbot som meget lig arbejdet med at indeksere websider i en søgemaskine. Hvor der her kigges på parametre som backlinks med videre, kan det samme gøres med sprog, hvor bestemte ord og sætninger ikke optræder lige hyppigt eller i populære sammenhænge.

»Laver man en interpolering imellem de mest hyppigt brugte ord efter samme parametre som med SEO, kommer man ganske tæt på naturligt sprog. Problemet er naturligvis, at man også her kan lave en form for black hat SEO, fordi det stadig er en dum computer, som æder og analyserer dataene,« fortæller Rune Jensen.

Læs også: Programmører frygter machine learning: Computere overtager vores arbejde

Sætter vi spørgsmålstegn nok ved machine learning?

Version 2-læser Anne-Marie Krogsbøll vælger imidlertid at træde et skridt tilbage fra den aktuelle sag og trække paralleller til IBM's Watson:

»Hvis ovennævnte ubehagelige historie er et eksempel på ’machine learning’ og AI, som ligner det, der er kernen i Watson Health, så er der da grund til at blive bekymret – for hvordan forhindrer man maskinen i at lære en masse bras? Hvordan beskytter man den mod, at skumle interessenter (læs: medicinalfirmaer) bombarderer den med underlødige forskningsresultater, som vil medføre en storm af fejlagtige diagnosticeringer og flere fejlagtige forskningsresultater fra Watsons side?« spørger Anne-Marie Krogsbøll.

Læs også: Læger afviser machine learning til bedre diagnosticering

Rune Jensen supplerer med, at problemet ikke kun er, at maskinen risikerer at lære en masse bras. Det helt store problem, i hans optik, er, at computeren kommer til at følge, hvad der er mest populært - uden en selvstændig stillingtagen.

»Hvordan man får en computer til at forholde sig kritisk til et synspunkt. Den har jo ingen frontallap, sådan et bæst, så den har ingen mening og ingen personlighed i sig selv. En chatbot skal svare efter samme devise som Googles ’I feel lucky’. Den kan ikke give samme muligheder som en søgeresultatliste. Den er nødt til at vælge ét og kun ét svar,« skriver han.

Rune Jensen påpeger dog også, at IBM's Watson og en chatbot efter hans opfattelse ikke er helt det samme, blandt andet fordi Watson kan fodres direkte med rene fakta, og fordi den ikke bliver spurgt om en selvstændig mening.

Anne-Marie Krogsbøll frygter dog, at hvis ikke IBM aktivt prioriterer at kvalitetsvurdere de forskningsresultater, som Watson skal læne sig op ad, så bliver resultatet ’garbage in - garbage out’.

»Hvis resultatet kommer ud af Watson, så frygter jeg, at man ikke gør sig den ulejlighed at kigge særligt dybt i de bagvedliggende data og resultater, som man så skal gøre sig ekstra besvær med at hente frem og kigge kritisk på. For en forkert diagnose eller behandlingsforslag springer jo ikke i øjnene på samme måde, som når Tay begynder at tale grimt,« mener Anne-Marie Krogsbøll.

En kommentar, der får Version 2-læser Kenn Nielsen til at citere forfatteren Arthur C. Clarkes tredje lov: 'Any sufficiently advanced technology is indistinguishable from magic.'

Inden han konkluderer:

»Når vi først har accepteret tanken om, at ’Watsons veje er uransalige, men lige så gode som en speciallæge’, holder vi op med at stille spørgsmål ved Watsons udgydelser.«

Giver Microsoft forsøg med chatbotten Tay dig grund til at tvivle på værdien af machine learning? Version2 vil gerne høre læsernes meninger og holdninger – benyt kommentarfeltet herunder.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk

Følg forløbet

Kommentarer (9)

Rune Jensen

Man kan se lidt af idéen her:
http://answers.wikia.com/wiki/Wikianswers

Jeg forsøgte på et tidspunkt at lave et API udfra Wikianswers, man kan nok ane, hvor sårbarhederne består.

Sådan noget som "Who is Einstein" eller "Einstein, who is he" (det er forholdsvist nemt at lave sådanne muligheder udfra Wikianswer) vil som regel give gode resultater.

Men prøv abstrakte spørgsmål, som "what is god". Så kommer der meninger ind i stedet for fakta, og så bliver det sjovt (omend svaret på Wikianswer ikke er dårligt).

Man kunne også direkte stille et forholdsspørgmål, som "Was Einstein a good scientist?".

En bot skal kunne forholde sig til reelle fakta, som ejerskab "Jeg har" lidt mindre reelle fakta "Jeg har set" og så de mere abstrakte som "Jeg tror på" og "X findes i virkeligheden", "jeg kan lide", "X er bedre end Y" eller i den retning.

Det er faktisk ret svært, omend mange botter så snyder lidt ved at give svar a la poliktikerne.. Dvs. tag hovedordene i spørgsmålet og brug det til at formulere et helt andet svar. Eks.:

?: Was Einstein a good scientist?
!: Einstein formulated the theory of relativity

Men et af de problemer, jeg har tumlet med, er ejerskab ifht. fantasi og virkelighed og mening. Hvis man f.eks. har eller ejer en ting (en kat), så må den også findes. Hvilket så ikke nødvendigvis betyder, man kan lide den.. Her skal botten være konsekvent i sit svar, og det skal helst passe med virkeligheden (om noget findes eller ej).

Det er her, jeg snyder med at bruge en hash, så botten vil være konsekvent i sit svar, men ikke nødvendigivs særlig bevidst om virkeligheden. Katte kan være ligeså virkelige som ildsprudende drager.

Og så kan mennesker lyve bevidst. Det har med ironi at gøre også, som computere ikke er så gode til, og netop ironi er kontekst-afhængig, hvilket gør det rigtigt svært. Men tror jeg vil kunne simuleres ganske godt med big data.

Meget af dette her behøver Watson nok ikke forholde sig til, fordi den ikke som sådan kommer ud for de samme abstrakste spørgsmål, ejheller omkring mit og dit. Men som flere, deriblandt Anne-Marie gør opmærksom på, så vil man stadig kunne snyde den ved at give falske eller forkerte ind-data. Derfor er kontrol af input nok ret vigtigt..

Iøvrigt... Watson kan forholde sig til udtryk, som ikke nødvendigvis er direkte intuitive, som f.eks. "fødderne lugter". Så måske den faktisk på et tidspunkt vil kunne efterligne ironi.. forhåbentlig så kun som underholdning og ikke som medicinsk sandsiger.

PS. Jeg er ikke ekspert på nogen måde, men udfordringen ved at få en computer til at efterligne et menneske selv på mini-plan er ret sjov. Så tag kommentaren her for hvad det er, leg. Og så synes jeg det vil være fedt, hvis andre også vil prøve. Man kan snyde ganske meget af vejen, og der er flere gode websider om, hvilke teknikker, man kan benytte til det.

Anne-Marie Krogsbøll

Debatindlæg i Indformation af pH.d-sturende ved "afdeling for computervidenskab" "
"Velkommen til den arbejdsløse fremtid"
https://www.information.dk/comment/1115904#comment-1115904

Han har indtil nu været rigtigt flink til at svare på diverse spørgsmål i kommentarerne.

I øvrigt: At problemet med mulig korrumpering af AI indenfor sundhedsområdet er en reel risiko kan ses af nyheden for et par dage siden om Novartis bestikkelse af amerikanske læger:
http://politiken.dk/oekonomi/virksomheder/ECE3133623/medicinalfirma-ankl...

Novartis har strategisk samarbejde med Region Hovedstaden: http://www.dagensmedicin.dk/search/?q=Novartis

Jesper Vingborg Andersen

Vi glemmer ofte, at maskinernes grundlæggende "problem" er, at de ikke har deres egne hensigter. Derfor har de heller ingen muligheder for at vurdere, om deres indlæring er hensigtsmæssig. Eller om deres handlinger "bærer frugt".

Et gennemgående træk ved alle de spektakulære eksempler på "maskinintelligens", som vi har set de sidste 10-15 år -- helt tilbage til Deep Blue -- er jo, at maskinerne aldrig er alene. De er omgivet af store teams af både maskineksperter (hardware såvel som software) og domæneeksperter (skak, medicin og alt muligt), som konstant giver dem alt muligt feedback. Disse teams svarer vel egentlig til de frontallapper, som denne artikel nævner, men det også fra dem, at maskinernes hensigter (deres målsætninger) stammer. De er deres lillehjerne, for at blive i terminologien.

Maskinerne har indtil videre ikke noget selvstændigt formål. De har ingen drifter, om man så må sige. Indtil de får det, så kan vi egentlig tage det ganske roligt, men derefter er alle scenarier mulige.

Anne-Marie Krogsbøll

Jesper Vingborg Andersen:

Indtil de får det, så kan vi egentlig tage det ganske roligt, men derefter er alle scenarier mulige.

Du har selvfølgelig ret i dine betragtninger - men jeg tror nu, at vi allerede er ved at være kørt bagud af dansen i forhold til at styre, hvordan disse teknologier bruges.

Forfatteren til den debatartikel, jeg linker til ovenfor, fortæller i en kommentar, at hans afdeling (Computerscience på KBH. Uni.) primært arbejder med at udvikle AI til medicinalområdet. Herunder at de i øjeblikket f.eks. arbejder med at udvikle algoritmer til tidlig opsporing af demens.

Allerede der synes, jeg, at udviklingen har overhalet den overordnede stillingtagen. For vi har ingen gode behandlingsmuligheder til at behandle begyndende demens. Medicinen er stort set uvirksom og med mange, grimme bivirkninger - herunder at den muligvis ligefrem forværrer sygdomsforløbet på længere sigt.

Så hvorfor starte med at opspore tidligt, når der ingen god behandling er? Hvem har glæde af at få at vide i en ung alder, at man vil udvikle demens senere i livet - når der indtil videre ikke er noget at gøre ved det?

Svaret er, at dem, der har glæde af denne forskning, er medicinalfirmaerne - herunder måske især Lundbeck, som satser stort på dette marked. Jeg bliver meget forbavset, hvis ikke Lundbeck viser sig i et eller andet omfang at stå bag denne forskning (er ved at undersøge dette) - evt. indirekte via nogle af de store forskningsfonde, eller via direkte aftaler med nogle af de involverede forskere (hvor det f.eks. pænt kan kaldes noget i retning af "konsulentarbejde", "advisory board" eller "undervisning" e.l.)

Medicinalfirmaerne har dels brug for denne type tidlig opsporing, fordi det kan hjælpe dem med at finde forsøgskaniner - dels kan det være med til at sygeliggøre store dele af befolkningen, som kan sættes på "forebyggende" medicin, når man har fået bildt nogle politikere og læger ind, at det er en god ide - oftest uden særligt meget evidens (som det er tilfældet med den overbehandling med statiner, som det er lykkedes at påtvinge befolkningen). Der er et kæmpe potentielt marked i dette område, så det er garanteret ikke tilfældigt at det lige er det, man forsker i..

Så via de evindelige nedskæringer i bevillingerne til den offentlige, uafhængige forskning, lukker man medicinalindustrien ind ad bagdøren, da disse er villige til at betale.

Typisk vil man fra institutionen side hævde, at der ikke stilles betingelser til deres forskningsresultater fra medicinalindustriens side - og at forskningen derfor er at regne for uafhængig . Men det er "røv og nøgler" - for forskerne ved udmærket, at hvis deres resultater går selskaberne imod, så vanker der ingen forskningskontrakter næste år. Forskerne (visse modige whistleblowers) har selv råbt vagt i gevær overfor denne udvikling, men lige meget hjælper det - politikerne bliver ved med at accelerere denne udvikling.

Om det så er pga. af deres egne pengepung (direkte korruption) eller ud fra et ønske om at neddrosle den offentlige sektor af ideologiske grunde - det er ikke til at vide. Men hele systemet er så råddent, at vi allerede mere eller mindre har solgt vores sjæl til djævelen på det punkt - for når man giver ham en lillefinger, så tager han jo hele hånden! - og hele vores privatliv og liv og alle vore sundhedsdata ryger jo med i købet!

Jesper Vingborg Andersen

Anne-Marie Krogsbøll:

Jeg har ingen generelle indvendinger mod dine betragtninger (og de specifikke er off-topic i.f.t. artiklen), min kommentar gik mere på den filosofiske side af sagen. De problemer, du peger på, er ganske vist en følge af udviklingen indenfor AI/machine learning/Big Data, men som de fleste andre af slagsen, er det stadig problemer, der hører hjemme i menneskenes verden ... indtil videre ;-)

Anne-Marie Krogsbøll

Jesper Vingborg Andersen:

Tak for svaret. Jeg kan godt se nu, at jeg måske ramte lidt ved siden af, hvad du mente. Det skyldes, at jeg forstod din kommentar på den måde, at du sidestillede maskinernes "drifter" med de hensigter, som mennesker koder ind i dem - f.eks. profitmaksimering fremfor folkesundhed. Forstået på den måde synes jeg ikke, at mine kommentarer er off topic.

Men jeg kan forstå, at du mere tænkte på, at maskinerne hen ad vejen bogstaveligt får deres egne, helt uafhængige drifter (Som i filmen Ex_Machina)?

Så langt kan jeg simpelthen ikke tænke - ud over at det gør udviklingen decideret ustyrlig, hvis det sker. Men for mig starter bekymringerne længe før - nemlig allerede, når de rigeste 10 % mere eller mindre er de eneste, der har adgang til de bagvedliggende algoritmer - og de udnytter denne adgang til at fremme deres egen agenda på fællesskabets bekostning. Og der mener jeg allerede, at vi er.

I praksis frygter jeg, at det for den store brede befolkning kommer ud på et, om det er den ene eller den anden form for "ustyrlighed", der er tale om.

Rune Jensen

Vi glemmer ofte, at maskinernes grundlæggende "problem" er, at de ikke har deres egne hensigter. Derfor har de heller ingen muligheder for at vurdere, om deres indlæring er hensigtsmæssig. Eller om deres handlinger "bærer frugt".

Men det er jo netop hvad man gør ved indoktrinering. Det sker som regel ved en person, som man er indkodet tillid til fra barnsben. Dawkins har ganske gode forklaringer til, hvorfor dette er muligt. F.eks. vil det være en evolutionsmæssig fordel for os, at vi lytter til vores forældre, når de siger "gå ikke ud i floden, for der er krokodiller". Dem, som ikke lytter, bliver spist, og dem som lytter bærer "lyttegenet" videre til næste generation (sådan, groft sagt).

Dén autoritet vil man kunne simluere ved at give dem, som indpoder "viden" i botten en slags credibility score. F.eks. en lille test af, hvor mange gange man svarer korrekt udfra indkodede spørgsmål. Eller bruge idéerne fra SEO. Eller simpelthen gennemgnaske big data, for at se, hvad der er mest populært.

Problemet er, det kan udnyttes til ondartede formål både på mennesker og på maskiner.

Forældre har denne autoritet til deres børn, så de kan jo også indpode dem alt muligt snask, som ikke har hold i virkeligheden.

Og et PS her... Dem, som ikke har set Space Odyssey 2001, se at få gjort det - den er helt klart on topic her :)

Læg mærke til navnet HAL. Læg 1 til hvert bogstav, og det bliver til IBM :)

Iøvrigt, et interessant filosofisk spørgsmål er, om man nogen sinde vil kunne konstruere en computer, som er et menneske.

Jeg tror ikke rigtigt på det. Det vil altid i sidste ende være en rad af nuller og ettaller. Med mindre, man tyr til biologiske computere. men det er lidt at snyde.

Men simuleringen af et menneske udført af en maskine kan måske være så overbevisende, at mennesker selv ikke kan se forskel.

En god måde at få indtryk af, hvor nemt ens hjerne kan snydes, er faktisk ved at se illusionsvideoer på Youtube. F.eks. korttrick. Det er utroligt, så overbevisende de kan laves. Det ligner magi, men er ikke magi.
https://www.youtube.com/watch?v=QyqdJnXpvz0

Jeg tror godt, man kan lave en maskine, en bot, som kan snyde vores hjerne på samme måde. Allan Turings test vil formentlig på et tidspunkt blive løst af en maskine.

Jeg kunne godt forestille mig det vil ske i en ikke så fjern fremtid.

Omkring "drifter", så er de jo også formet af evolution. Om de kan simuleres... måske, men her stopper min fantasi så også. For så kommer man vel over i noget med "bevidsthed". Hvordan simulerer man bevidsthed, uden det er bevidsthed... Det betyder også skabertrang. F.eks. at kunne skabe musik udfra at man "kan lide" musik. Hvordan simulerer man "at kunne lide" noget.

Men skynd jer at se Space Odyssey 2001. Den er genial.

Rune Jensen

Svaret er, at dem, der har glæde af denne forskning, er medicinalfirmaerne - herunder måske især Lundbeck, som satser stort på dette marked.

Men vil den sårbarhed ikke også være der uden AI?

Det er vel så mere den helt generelle holdning til forskning, som skal forbedres. AI accellerer den udvikling, men uden AI, så tror jeg den stadig vil finde sted.

Det betyder, vi skal stille højere krav til forskning helt generelt.

Her er det jo så interessant nok, at det amerikanske "Science and health" har folk med magt dér, som ikke tror på den videnskabelige metode.

http://www.naturalnews.com/050867_ACSH_harmful_chemicals_financial_backe...

Og er det så ikke også, hvad vi iøvrigt ser fra regeringen, når den afviser forskningsresultater ifbm miljøpakken, for i stedet at satse på "deres egen selvopfundne" metode?

Videnskab som metode er kun brugbar, hvis man rent faktisk følger metoden.

Normalt ville jeg da sige, at hvis man påvirker forskningsresultater med baggrund i "donering" eller andet, for at få et bestemt resultat, så er det ikke længere videnskabeligt hvad der kommer ud. Forudsætningen må være, at man ikke har en mening fra start om resultatet.

Vi må have flere midler til UVVU... Og så kontrol med alle, som får "donering".

Anne-Marie Krogsbøll

Rune Jensen:

Men vil den sårbarhed ikke også være der uden AI?


Jo, bestemt - det er allerede et kæmpe problem. Jeg frygter bare, at det vil blive endnu større med f.eks. Watson, fordi det bliver endnu mere uigennemskueligt, hvad der gemmer sig i dens algoritmer - for kan man forestille sig, at disse bliver offentligt tilgængelige? Mon ikke det hører under forretningshemmeligheder? Indrømmet - Jeg gætter ud fra min almene mistro overfor medicinalindustrien.

Men selv hvis det blev offentligt tilgængeligt - jeg har ikke viden om, hvordan en sådan algoritme ser ud, men jeg forestiller mig, at det ikke er sådan bare lige at tjekke dens beslutninger, efter at den har trevlet hele internettet og alle forskningsdatabaser og alle patientjournaler igennem. Hvis det var menneskeligt muligt, så ville der jo ikke være noget epokegørende ved Watson? Så jeg gætter på, at det vil være ret vanskeligt at tjekke dens tankerække. Fagflok må gerne korrigere mig her.

Normalt ville jeg da sige, at hvis man påvirker forskningsresultater med baggrund i "donering" eller andet, for at få et bestemt resultat, så er det ikke længere videnskabeligt hvad der kommer ud. Forudsætningen må være, at man ikke har en mening fra start om resultatet.
Vi må have flere midler til UVVU... Og så kontrol med alle, som får "donering".


Fuldstændigt enig - men desværre i strid med realiterne i den medicinske forskningsverden, hvor udviklingen jo går i retning af stadig mere "offentligt-privat" samarbejde. Netop i disse dage er der panik over udtjente scannere, som man ikke har budgetteret med at udskifte. Lur mig, om ikke det ender med, at nogle medicinalfirmaer får lov at spytte i kassen mod at få noget "forskning" den anden vej.

Hvad betyder det f.eks., at Novartis (som jo er anklaget for korruption i USA) og Region Hovedstaden har indgået såkaldt "strategisk samarbejde"? Hvad yder Regionen til gengæld for den økonomiske støtte, som Novartis åbenbart bidrager med?

Jeg har vist allerede trættet folk med evindelige links til laegerudensponsor.dk, hvor man kan finde massevis af historier om dette emne.

Log ind eller opret en konto for at skrive kommentarer