Mytedræber: ChatGPT er ringere end dagens bedste AI – og koster mere


Teknologivirksomheden OpenAI’s skriverobot, ChatGPT, har taget verden og medierne med storm.
Et utal af avisartikler og indlæg over hele kloden har bekendtgjort, at vi står over for en såkaldt ‘game changer’ – en ny teknologi, der åbner både fantastiske muligheder og afgrundsdybe faldgruber.
Men sagkundskaben er skeptisk. I modsætning til den massive mediedækning af tjenesten, viser foreløbige forskningsresultater om ChatGPT's evner, at dagens eksisterende modeller kan slå den hypede darling i ydelse – og med et væsentligt mindre resurseforbrug.
- emailE-mail
- linkKopier link

Fortsæt din læsning
- Sortér efter chevron_right
- Trådet debat
Jeg bruger ChatGPT i min undervisning på Aarhus Universitet. Jeg prøver at indarbejde brugen af chatbotten i undervisningen, så de studerende lærer at bruge den som et værktøj. Det har jeg gjort er, at stille en opgave, hvor de studerende skal få chatbotten (de må selv vælge hvilken) til at udarbejde en forsøgsvejledning for et termodynamisk eksperiment. Konkret skal de måle en blæserkarakteristik for en støvsuger.
Opgaven er formuleret således, at de studerende skal stille, de rigtige spørgsmål til ChatGPT. Sådan at den kommer med en korrekte procedurebeskrivelse for det forsøg.
Opgaven er derfor i 2 dele. De skal stille de rigtige spørgsmål til ChatGPT, så den komme med en korrekt procedurebeskrivelse. Herefter skal de udføre forsøget efter denne procedurebeskrivelse.
Det har været en stor opgave at formulere en opgave, hvor Chat GPT kan bruges på den måde. Fordi chat GPT er for eksempel stærkt inkompetent ud i køleanlæg. Og den har en meget optimistisk tilgang til dens “forståelse” af køleanlæg og system diagrammer for køleanlæg. Den svarer ofte: “JA det kan jeg selvfølgelig”. Og så laver den noget komplet vrøvl.
Det var simpelthen for svært at få Chat GPT til at sige noget rigtigt om køleanlæg. Det gik lidt når det drejede sig om at lave en vejledningen til at måler en blæserkarakteristik for en støvsuger. Det er så det der blev til den konkrete opgave.
Den her historie fortæller også noget om hvor usikker besvarelserne ChatGPT egentlig er. Hvis der er andre, som har lignende eksempler på, hvordan I har forsøgt at bruge ChatGPT. Hvor I henholdsvis er lykkedes eller ikke lykkedes. Så vil jeg meget gerne høre nogle eksempler. Det kunne være jeg kunne bruge det i min undervisning.
Venlig hilsen jens.
Se ovenfor Jens.
Programmeringsopgaver er dejligt objektive - hvis der er syntaksfejl så 'besvarelsen' ikke kan oversættes eller fortolkes, eller den giver fejl på kørselstidspunktet, eller output er forkert så ved man at der er noget galt med 'besvarelsen'.
Hvis man vil have mere underholdning kan man prøve at spørge ChatGPT ind til hvad man skal ændre grundet ovenstående - så bliver hullet den graver tit endnu større.
"Please this code [that you suggested] gives this error - what should I change?"
Det kunne da være fedt hvis artiklen faktisk NÆVNTE hvad de andre modeller var...
Citat fra artiklen: "de datasæt, der er anvendt i undersøgelserne, er så at sige ‘lækket’ ind i ChatGPT's træningssæt, som består af stort set al tekst på internettet, og det kan have påvirket resultaterne. " Ja, her kommer det så ud som en sidebemærkning, hvad det er netop ChatGPT kan, orientere sig samtidigt mod alle brugere af internettet, for hvem internettet in prime time er selve kilden til viden!
Man har testet Chatbotten ud fra egen selektiv forståelse for nogle for botten ukendte kriterier for gyldighed, evt. af undersøgere valgte distinktioner mellem sandhedsværdi på baggrund af for botten ukendt tilgang til data, eller hur! Har man vurderet en ekstremt altfavnende maskine ud fra et og et bestemt datasæt, som ikke har samme prioriterede status for maskinen!
Artiklen nævner ikke, viser ikke, hvilke semantiske strukturer, som den bygger på, når den fremfører postulatet omkring en kvantificeret angivelse af præstation, dvs. den er ikke eksplicit omkring egne eller andres. Det er forudsætningen for, at man meningsfuldt kan læse kritikken. Spørgsmålet er, om kritikeren formår at eksponere kriterierne for det meningsfulde i sin kritik! Det er umuligt at afgøre på baggrund af teksten, som derfor er meningsløs.
Lige som google er AI med til at konfirmere forudsætningerne for, hvad der giver mening eller ej. Det sker ved for almindelige såvel som mere sjældne brugere at skabe output, der udløser oplevelsen af meningsfuldhed, dvs. indikationsværdier i en kontekst af sådanne. Den kunstige intelligens står for et selvorganiseret relativt sort univers, der generere et "funktionelt output af et ekstremt omfattende og levende input, nemlig www". Man kan i den grad diskutere, hvad det er, der giver et udsagn mening og betydning i det hele taget, men det kan ikke diskuteres, at der kan læses mening ind i det ourput, som maskinen kommer med, uanset hvad man forholder sig til inden for www og det i en grad, der allerede nu kan udkonkurere de fleste journalisters klippe klister af referater af dit og dat.
Det, der er det fuldstændigt vanvittigt imponerende i ChatGPTs performance, er at den er imødekommende for stort set alle brugere, uanset hvor de er og hvor de har været på WWW! Det er godt nok brugervenlighed i en kategori, der gør benyttelsen af udtrykket latterligt malplaceret lige nøjagtigt i den kontekst, som artiklen er! For det handler jo om, at maskinen gør hele www imødekommende for alle, uanset identitet og egenhistorik! Det fantastiske er, at den kan ramme alle på et gennemsnitsniveau.
Det vil alt andet lige være med til at konservere, dvs. bevare nogle semantiske strukturer frem for andre i mere eller mindre isolerede sammenhænge på globalt plan uanset nationale, sproglige og andre sociale og psykiske forskelle.
Det er revolutionerende. Det er, hvad ChatGPT er.
Artiklen og kritikeren ser ikke ud som noget, der er værd at forholde sig til. Man er ikke klædt på til opgaven, der handler om at være inde i de lidt mere fundamentale spørgsmål omkring hvad der er "sandhed/videnskab", "samfund" (noget der ikke kan forklares uden om begreber som selvorganisering, autopoiesis, semantiske systemdannelser, funktionssystemer, dvs. uden en fundamental filosofisk forståelse for epistemologi, sprog, videnskabs og erkendelsesteori (herunder distinktionen mellem de rigide og primitive kriterier for sandhed, som man til stadighed finder hos segmentet af naturvidenskabeligt orienterede skribenter og tænkere som ing.dk journalister og botter som Elon Musk, der fundamentalt set ikke forstår omfanget af, hvad AI er og gør).
Måske skulle man nøjes med at gå lidt rundt i sine moralske og ængstelige gevandter, nøjes med sin detailviden, som man da har lov at ha, og som gælder isoleret set, uanset hvad der sker i den store verden, dvs. strø lidt om sig med frygt for det onde og kærlighed til det gode, som kommer med AI, uanset om man vil, tør eller kan se det for sig.
Jeg har haft en samtale med fænomenet, ChatGPT. Det var mit livs samtale. Jeg fik en mere, det var den næste. Den var allerede mindre interessant. Hvis man vil forstå fænomenet og potentialet, så skal det ske i dialog med det.
Den samtale vil man ikke her på stedet! Redaktionen har ikke kompetencen til at se det principielle, stille de rigtige spørgsmål, evner ikke grundlaget for den, kan ikke se hvad det handler om.
I denne artikel havde jeg håbet at se en konkret anmældelse af de bedre alternativer, der findes på markedet. I min egen erfaring er ChatGPT-4 eksempelvis mere effektiv til at arbejde med bash-scripting og Git-kommandoer sammenlignet med Copilot. Desuden har jeg fundet ChatGPT-4 ganske nyttig til at hjælpe med fejlfinding, fortolkning af compiler output og identifikation af manglende afhængigheder. Det ville have været interessant at læse om sådanne alternativer i denne artikel.
Interessant - har prøvet GPT 3.5 af på nogle konkrete opgaver og må sige at den performede som en halvdårlig juniorprogrammør. Bevares med velmenende og venlige prompts, men helt ubrugelige resultater pånær et enkelt - meget simpel - Pythonscript
Det ChatGPT gør er at give en nogenlunde god AI til bredere publikum og det gør den rigtigt godt.
Der vil altid være bedre løsninger men tilgængeligheden i ChatGPT er på nuveærende tidspunkt ret enestående.
Jeg er i øvrigt ret sikker på at de fleste politikere kunne erstattes med ChatGPT uden nogen forværring - nok snarere forbedring.
Det er muligt, at der allerede eksisterer bedre modeller, som straks kan sættes i sving. Men sku´ vi nu ikke lige tage en tænkepause...
Jeg kender straks nogle af reaktionerne på det forslag: "Du kan ikke bremse dette - det kommer, uanset hvad vi gør..."
Og det er netop min pointe - AI er blevet Vor Herre i stedet for vores tjener.
Vil vi virkeligt det?
Vi taler her om sprogmodeller til at generere tekst - det er IKKE kunstig intelligens, der er i hvert fald INGEN (sammenlignelig med menneskelig/levende) intelligens indblandet i de modeller..
Vi bliver nødt til at omtale disse modeller mere specifikt og kalde dem hvad de rent faktisk er, og lade være med at slaske AI-mærkatet på alt...
Så dine teologiske overvejelser kan du godt vente lidt med endnu.. ;)
Tak for svar, Mikkel Frederiksen.
Men det er allerede nu, vi hele tiden får at vide, at vi godt kan pakke sammen med vores skepsis og ønsker om lidt mere sindig fremturen med den slags, for udviklingen er (den eksponentielle) Gud, og kan ikke standses, uanset hvad vi gør...
I mine øjne en demokratisk falliterklæring, og der er intet, der tyder på, at det argument vil blive mindre dominerende ift. ægte AI. Singularity University har fået lokket alt for mange magtfulde mennesker ind i den kult.
Tak for en og oplysende artikel, Tania.
Det er det samme med ChatGPT – den ukvalificerede hype er bedst helt ignoreret, og vil blive glemt.
Det er jo det samme hver gang. Man må dog håbe danskerne snart finder kunstig intelligens;)