bloghoved erik david johnson

GPT-3 er ikke stærk AI

Sidste år så vi GPT-3 melde sin ankomst på AI-scenen. For de af jer der ikke bemærkede det, kunne man med GPT-3 producere meningsfulde tekster i natursprog (menneskelige sprog) på et hidtil uset niveau. Autogenererede sætninger og mindre artikler var svære at skelne fra dem med en menneskelig forfatter, og endnu en gang blev AI fremhævet som en både trussel og mulighed på vej til at ændre verden.

Ikke så imponerende som det lyder

Sagen er bare at det ikke er så revolutionerende som det lyder. Hvis bare man havde lyttet til skaberne af GPT-3 et øjeblik ville man forstå at der ikke var tale om AI der kunne fungere på menneskelige præmisser og forstå det menneskelige sprog eller den menneskelige verden sådan som vi tit er alt for hurtige til at forestille os.

Siden da har Microsoft erhvervet sig rettighederne og APIet er gjort tilgængeligt for dem der ønsker at afprøve det, men ingen applikationer af GPT-3 har rykket nævneværdigt ved de AI-applikationer vi ser i dag. Hvorfor? Fordi GPT-3 er dum – på en smartere måde. Skaberne siger det bedst: ”GPT-3 modellerer relationerne mellem ord uden at have en forståelse af betydeningen af de enkelte ord”. Det vi har er altså matematiske vurderinger af hvilke ord der hænger sammen i hvilken kontekst.

Modellen er prætrænet i det ekstreme, så vi kan vise den nogle få eksempler af tekst og stort set bede GPT-3 ”lave en af de her”, og det sker så ret overbevisende, men uden at det der kommer ud har været en del af nogen form for forståelsesproces andet end hvilke ord der plejer at stå ved siden af hinanden. Den samme svaghed i GPT-3 er samtidig årsagen til at man risikerer at GPT-3 producerer uetisk tekst, hvis træningsgrundlaget har været det samme – for der er ingen forståelse; menneskelig eller simuleret.

Fejlen i den logiske atomisme

Det skyldes at det hele baserer sig på ”logisk atomisme” – ideen om at essensen eller meningen med tingen består i dens mindste bestanddele – for sprogets vedkommende ordene. Den tidlige Ludwig Wittgenstein forsøgte og fejlede med logisk atomisme i sit værk ”Tractatus Logico-Philosophicus”, og moderne sprogforskere bryder som regel ud i latter når man foreslår at bygge en sprogforståelse på denne måde.

For det man gør, er at man antager om sprog at det er en kontinuerlig funktion hvor et bestemt input giver et bestemt output. Sproget er meget mere end det. Det er bygget omkring en menneskelig ontologi, og meningen ligger i menneskers sprogbrug i en kontekst – igennem vores fælles livsform; Sådan som den sene Wittgenstein også måtte erkende. Jeg siger mere om dette i denne artikelserie.

Et eksempel

Men kan vi så ikke bruge denne matematiske mestring af sprog til noget? Jo bestemt! De tilfælde hvor at vores sproglige kontekst er indrammet og vi har brug for at kategorisere sprog og tekst. Lad mig præsentere et eksempel:

En virksomheds kundeserviceafdeling har 3 teams. En tager sig af nye ordrer, en tager sig af kommunikation vedr. igangværende ordrer, og en behandler ris og ros for afsluttede ordrer. Når der tikker en ny mail ind lander den i en kø og man sorterer så mails ud til de relevante teams. Igennem tiden har man opbygget en stor base af eksempler på mails der er blevet kategoriseret på denne måde.

Med teknologier som Word2Vec og andre prætrænede modeller, kan man omdanne en mail til en matematisk repræsentation, som derved kan indgå som træningsinput sammen med den historiske viden om hvilken af de 3 teams den blev smidt over til af en menneskelig part. Den kan så trænes til med rimelig høj nøjagtighed at udføre opgaven som består i at scanne en mail og vurdere hvilket team den skal over til. Men hvad sker der så her? Sammenhængen mellem en mails indhold og det team den skal til findes som mønstre i hjernerne på de mennesker der har kategoriseret den manuelt. Det er et menneskeligt handlingsmønster i en given kontekst – et adfærdsmønster. En AI model kan uden nogen ontologisk dybde approksimere dette mønster og derved kan opgaven automatiseres.

Konklusion

Hvad har vi så lært? Den rute AI (særlig den sprogteknologiske side af AI) er på, leder os ikke til stærk AI, som kan agere på menneskelige præmisser, udvide sin kontekst og simulere en forståelse. Tværtimod holder den logiske atomisme der gennemsyrer nuværende AI-initiativer os på et spor jeg vil argumentere for aldrig vil føre os til stærk AI (Jeg argumenterer også for dette i min egen forskning, som er frit tilgængelig).

Til gengæld er der mange gode muligheder for at automatisere de repetitive, menneskelige opgaver som gør at kontekster bliver så snæver at mønstergenkendelse og AI kan udnyttes til at opbygge en fornuftig business case. Så kom i gang med at indsamle jeres adfærdsdata – og husk dataetikken når dataindsamlingsstrategien skal tegnes op.

Kommentarer (11)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#2 Jonas Hvelplund

Ligger det ikke et andet sted?

Fra forbes artikel

Artificial general intelligence (AGI) is focused on creating intelligent machines that can successfully perform any intellectual task that a human being can. This comes down to three aspects: (1) the ability to generalize knowledge from one domain to another and take knowledge from one area and apply it somewhere else; (2) the ability to make plans for the future based on knowledge and experiences; and (3) the ability to adapt to the environment as changes occur.

Ligger problemet ikke i, at de fleste NLP teknologier lige præcis laver en matematisk ontology, som er fixed? Så kan man aldrig få opfyldt #3. I så fald er stort set intet ML strong AI, måske med forskel fra Re-inforcement Learning.

Fordi GPT-3 er dum – på en smartere måde.

Nu får du næsten til at lyde som om at problemet er, at man laver en matematisk modelering. Jeg vil nok påstå, at matematik er en ret god måde at repræsentere verden på. Hvis det er en simpel word2vec (Denmark is to England, as Copenhagen is to ?), så er jeg enig i, at du kun har matematisk sammenhæng mellem ordene. Men når du begynder at lave en ontology eller lignende, så har du jo reelt set også kontekst på relationen (England contains London which is a City etc.).

  • 1
  • 0
#4 Erik David Johnson Blogger

Hej Jonas

Gode indsigter.

1: Den menneskelige ontologi skal mestres matematisk for at AI kan være med, MEN vi skal bygge den op omkring hvad det vil sige at være menneske, og det er langt fra fixed. Se evt. den artikelserie jeg linker til - den er forholdsvist kort ;) Jeg er fuldstændig i at intet AI vi har i dag er Strong AI!

2: Her vil jeg være så fræk at henvise til min forskning jeg linker til i artiklen for et dybdegående svar på det du siger her, og tag fat i mig hvis du stadig er uenig.

  • 2
  • 0
#5 Henrik Dalsager

Intet nyt under solen. Det kaldes papegøjesnak i pædagogik og handler om at små børn eller folk med funktionsniveau som et lille barn, kan lære en masse udtryk med højt lix tal, og lære hvornår man siger dem, men ikke hvad de betyder.

Så f.eks. en pædagog tror man kan lave en aftale om at de selv henter maden i dag, men efter frokost står barnet og græder og er sulten

  • 6
  • 0
#6 Nis Schmidt

Tak for indsigten i din artikelserie og forskning. Min egen undersøgelse er begyndt "et andet sted", så her følger en "lille pause", mens jeg "synkroniserer" ...

Men pyt, det bliver alligevel ikke i vores tid, at vi ser resultatet - i form af "strong AI".

  • 1
  • 0
#7 Anders Hansen

Det generelle problem der medfører mange misforståelser er nok det brede brug af ordet AI blandt lægmænd, og en misforstået ide om at nyt arbejde indenfor eksempelvis ML og NLP altid bare er ”AI”, selvom det faktisk altid er klart specificeret i litteraturen. I tilfældet med GPT-3 var det på daværende tidspunkt det nyeste skud på stammen af language models, baseret på smarte trænings objectives og ekstreme mængder data og regnekraft, men i dens essens er målet ikke meget anderledes end de statistiske tællebaseret metoder fra 1980’erne.

Moderne NLP er stærkt empirisk drevet, og siden Transformer modellen blev introduceret i 2017 har mange af de største nye resultater (groft sagt) de seneste år primært været drevet af muligheden for at bygge (og bruge dem i eksisterende/nye problemer) større og større language modeller (fx 175 milliarder parametre i GPT-3 vs. 1,5 milliarder for GPT-2) som trænes på store mængder data. I dette og tidligere blogindlæg bruger du tit filosofiske vinkler og den menneskelige ontologi som omdrejningspunkt til at tale om NLP problemstillinger, hvor jeg tit kommer til at tænke på et citat fra Frederick Jelinek: ”Every time I fire a linguist, the performance of the speech recognizer goes up”.

Du nævner dit eget speciale fra 2011, som jeg ikke umiddelbart kan se er publiceret i en anerkendt journal/konference (?), men har du eksempler på publiceret peer-reviewed forskning der aktivt bruger nogen af de nævnte begreber på en nævneværdig måde til at bygge nye state-of-the-art (NLP) modeller -- og ikke bare som en filosofisk eller lingvistisk diskussion?

  • 2
  • 0
#9 Erik David Johnson Blogger

Hej Anders Hansen

Vi er ret enige om tingene kan jeg høre, og som supplement til dine underbyggende pointer vil jeg også sige at hvis vi skal "skifte spor" kræver det massive investeringer, da det er de kortsigtede investeringer i AI der fastholder os i det nuværende, hvor Deep Learning, mere prætræning i flere dimensioner og så videre dominerer scenen, fordi det er måden man kan bygge en business case!

Denne trend ser jeg også i markedet, hvor organisationer og virksomheder ønsker quick-wins på AI frem for at bruge deres AI-drevne innovationsmål som pejlemærker for igangsættelse af en målrettet dataindsamlingsstrategi (se tidligere artikler her på Version2 om emnet).

Ift. min status som forsker, så lad mig helt tydeligt sige at det er forskning i en kapacitet af at jeg har brugt ca. 10 år af mit liv, på egen tid, på at dykke ned i hvad er skal til for at vi i fremtiden kan bygge stærk(ere) AI, ved at sammenbringe felter som kognitiv semantik, analytisk sprogfilosofi og kunstig intelligens programmering (og studerede ontologier på CST også). Jeg brugte så mit speciale til at publicere alt jeg var nået frem til - en akademisk noget risikabel manøvre, som heldigvis gik godt.

Dengang blev det valideret af George Lakoff og hans NTL-team (Neural Theory of Language):

https://en.wikipedia.org/wiki/George_Lakoff https://lx.berkeley.edu/news/neural-theory-language-project

Jeg kontaktede dem dengang, da jeg ikke kunne finde andre der arbejdede sig i den specifikke retning jeg gjorde, for blot at høre om jeg var helt galt afmarcheret eller måske havde fat i noget. Han bekræftede at han og deres Team lige var noget frem til det samme facit, og havde fået et stort legat af den amerikanske regering til at forfølge det. Siden blev intet hørt fra dem - man kan jo tænke over hvorfor. Anden validering forefindes ikke, og jeg betragter mig selv som amatørforsker uden de store akademiske aspirationer.

  • 0
  • 0
#10 Christian Nobel

kan lære en masse udtryk med højt lix tal, og lære hvornår man siger dem, men ikke hvad de betyder.

Min yngste datter er udstyret med en fotografisk hukommelse, men er let ordblind - det betød i de små klasser at hvis hun skulle læse noget op i dansk, så gik det sådan set ok.

Men man kunne på det nærmeste tage bogen fra hende, og hun ville læse videre, fordi hun læste ikke op, men reciterede det hun havde memoreret.

Og det er lidt det samme problem jeg kan ane her, nemlig at AI'en muligvis er god til at recitere og lave logiske (defineret ud fra forhåndsdefinerede algoritmer) sammensætninger, men den mangler evnen til at "føle" hvad der sker omkring den - hvis man begynder at bruge den slags over for mennesker, og til at afgøre deres ve og vel, så er jeg bange for at resultatet bliver et sted mellem Kafkask og fatalt (nu endte Processen jo så også fatalt).

  • 1
  • 0
#11 Christian Lynbech

det brede brug af ordet AI blandt lægmænd

Det er vist ikke kun lægmænd der slynger om sig med ordet "AI", det er noget der er udbredt over hele det teknologiske spektrum, og der er nok ikke det hele der kan karakteriseres som en ærlig mangel på indsigt. Desværre skaber det nogen helt forkerte billeder i hovederne på folk (herunder selvfølgelig især lægfolk) der ikke forstår hvor langt vi netop ikke er kommet indenfor AI feltet.

Man kan evt læse med her: https://timmccloud.net/blog-the-bs-industrial-complex-of-phony-a-i/

  • 2
  • 0
Log ind eller Opret konto for at kommentere