Mytedræber: ChatGPT er ringere end dagens bedste AI – og koster mere

Plus19. april kl. 05:0011
ChatGPT
Illustration: Bigstock / Iryna Imago.
I modsætning til massiv medieomtale viser ny forskning, at OpenAI's skriverobot yder ringere end dagens eksisterende AI-modeller – både i forhold til ydelse og resurseforbrug. Den kan anvendes til prototyper, mener ITU-forsker – men bedre og billigere modeller kan allerede bruges i produktion.
Artiklen er ældre end 30 dage

Teknologivirksomheden OpenAI’s skriverobot, ChatGPT, har taget verden og medierne med storm. 

Et utal af avisartikler og indlæg over hele kloden har bekendtgjort, at vi står over for en såkaldt ‘game changer’ – en ny teknologi, der åbner både fantastiske muligheder og afgrundsdybe faldgruber.

Men sagkundskaben er skeptisk. I modsætning til den massive mediedækning af tjenesten, viser foreløbige forskningsresultater om ChatGPT's evner, at dagens eksisterende modeller kan slå den hypede darling i ydelse – og med et væsentligt mindre resurseforbrug. 

Gratis adgang i 30 dage

Tegn et gratis prøveabonnement og få adgang til alt PLUS-indhold på Ing.dk, Version2 og Radar, helt uden binding eller betalingsoplysninger.

Alternativt kan du købe et abonnement
remove_circle
Har du allerede et PLUS-abonnement eller klip?
close

Velkommen til PLUS

Da du er ved at tilmelde dig en gratis prøve beder vi dig hjælpe os med at gøre vores indhold mere relevant for dig, ved at vælge et eller flere emner der interesserer dig.

Vælg mindst et emne *
Du skal vælge en adgangskode til når du fremover skal logge ind på din brugerkonto.
visibility
Dit medlemskab giver adgang
Som medlem af IDA har du gratis adgang til PLUS-indhold, som en del af dit medlemskab. Fortsæt med MitIDA for at aktivere din adgang til indholdet.
Oplever du problemer med login, så skriv til os på websupport@ing.dk
Abonnementsfordele
vpn_key
Fuld adgang til Ing.dk, Version2 og Radar
Fuld digital adgang til PLUS-indhold på Ing.dk, Version2 og Radar, tilgængeligt på din computer, tablet og mobil.
drafts
Kuraterede nyhedsbreve
Det seneste nye fra branchen, leveret til din indbakke.
Adgang til andre medier
Hver måned får du 6 klip, som kan bruges til permanent at låse op for indhold på vores andre medier.
thumb_up
Adgang til debatten
Deltag i debatten med andre kloge læsere.
11 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
10
20. april kl. 08:41

Jeg bruger ChatGPT i min undervisning på Aarhus Universitet. Jeg prøver at indarbejde brugen af chatbotten i undervisningen, så de studerende lærer at bruge den som et værktøj. Det har jeg gjort er, at stille en opgave, hvor de studerende skal få chatbotten (de må selv vælge hvilken) til at udarbejde en forsøgsvejledning for et termodynamisk eksperiment. Konkret skal de måle en blæserkarakteristik for en støvsuger.

Opgaven er formuleret således, at de studerende skal stille, de rigtige spørgsmål til ChatGPT. Sådan at den kommer med en korrekte procedurebeskrivelse for det forsøg.

Opgaven er derfor i 2 dele. De skal stille de rigtige spørgsmål til ChatGPT, så den komme med en korrekt procedurebeskrivelse. Herefter skal de udføre forsøget efter denne procedurebeskrivelse.

Det har været en stor opgave at formulere en opgave, hvor Chat GPT kan bruges på den måde. Fordi chat GPT er for eksempel stærkt inkompetent ud i køleanlæg. Og den har en meget optimistisk tilgang til dens “forståelse” af køleanlæg og system diagrammer for køleanlæg. Den svarer ofte: “JA det kan jeg selvfølgelig”. Og så laver den noget komplet vrøvl.

Det var simpelthen for svært at få Chat GPT til at sige noget rigtigt om køleanlæg. Det gik lidt når det drejede sig om at lave en vejledningen til at måler en blæserkarakteristik for en støvsuger. Det er så det der blev til den konkrete opgave.

Den her historie fortæller også noget om hvor usikker besvarelserne ChatGPT egentlig er. Hvis der er andre, som har lignende eksempler på, hvordan I har forsøgt at bruge ChatGPT. Hvor I henholdsvis er lykkedes eller ikke lykkedes. Så vil jeg meget gerne høre nogle eksempler. Det kunne være jeg kunne bruge det i min undervisning.

Venlig hilsen jens.

11
20. april kl. 11:25

Se ovenfor Jens.

Programmeringsopgaver er dejligt objektive - hvis der er syntaksfejl så 'besvarelsen' ikke kan oversættes eller fortolkes, eller den giver fejl på kørselstidspunktet, eller output er forkert så ved man at der er noget galt med 'besvarelsen'.

Hvis man vil have mere underholdning kan man prøve at spørge ChatGPT ind til hvad man skal ændre grundet ovenstående - så bliver hullet den graver tit endnu større.

"Please this code [that you suggested] gives this error - what should I change?"

9
19. april kl. 19:38

Det kunne da være fedt hvis artiklen faktisk NÆVNTE hvad de andre modeller var...

5
19. april kl. 14:06

Citat fra artiklen: "de datasæt, der er anvendt i undersøgelserne, er så at sige ‘lækket’ ind i ChatGPT's træningssæt, som består af stort set al tekst på internettet, og det kan have påvirket resultaterne. " Ja, her kommer det så ud som en sidebemærkning, hvad det er netop ChatGPT kan, orientere sig samtidigt mod alle brugere af internettet, for hvem internettet in prime time er selve kilden til viden!

Man har testet Chatbotten ud fra egen selektiv forståelse for nogle for botten ukendte kriterier for gyldighed, evt. af undersøgere valgte distinktioner mellem sandhedsværdi på baggrund af for botten ukendt tilgang til data, eller hur! Har man vurderet en ekstremt altfavnende maskine ud fra et og et bestemt datasæt, som ikke har samme prioriterede status for maskinen!

Artiklen nævner ikke, viser ikke, hvilke semantiske strukturer, som den bygger på, når den fremfører postulatet omkring en kvantificeret angivelse af præstation, dvs. den er ikke eksplicit omkring egne eller andres. Det er forudsætningen for, at man meningsfuldt kan læse kritikken. Spørgsmålet er, om kritikeren formår at eksponere kriterierne for det meningsfulde i sin kritik! Det er umuligt at afgøre på baggrund af teksten, som derfor er meningsløs.

Lige som google er AI med til at konfirmere forudsætningerne for, hvad der giver mening eller ej. Det sker ved for almindelige såvel som mere sjældne brugere at skabe output, der udløser oplevelsen af meningsfuldhed, dvs. indikationsværdier i en kontekst af sådanne. Den kunstige intelligens står for et selvorganiseret relativt sort univers, der generere et "funktionelt output af et ekstremt omfattende og levende input, nemlig www". Man kan i den grad diskutere, hvad det er, der giver et udsagn mening og betydning i det hele taget, men det kan ikke diskuteres, at der kan læses mening ind i det ourput, som maskinen kommer med, uanset hvad man forholder sig til inden for www og det i en grad, der allerede nu kan udkonkurere de fleste journalisters klippe klister af referater af dit og dat.

Det, der er det fuldstændigt vanvittigt imponerende i ChatGPTs performance, er at den er imødekommende for stort set alle brugere, uanset hvor de er og hvor de har været på WWW! Det er godt nok brugervenlighed i en kategori, der gør benyttelsen af udtrykket latterligt malplaceret lige nøjagtigt i den kontekst, som artiklen er! For det handler jo om, at maskinen gør hele www imødekommende for alle, uanset identitet og egenhistorik! Det fantastiske er, at den kan ramme alle på et gennemsnitsniveau.

Det vil alt andet lige være med til at konservere, dvs. bevare nogle semantiske strukturer frem for andre i mere eller mindre isolerede sammenhænge på globalt plan uanset nationale, sproglige og andre sociale og psykiske forskelle.

Det er revolutionerende. Det er, hvad ChatGPT er.

Artiklen og kritikeren ser ikke ud som noget, der er værd at forholde sig til. Man er ikke klædt på til opgaven, der handler om at være inde i de lidt mere fundamentale spørgsmål omkring hvad der er "sandhed/videnskab", "samfund" (noget der ikke kan forklares uden om begreber som selvorganisering, autopoiesis, semantiske systemdannelser, funktionssystemer, dvs. uden en fundamental filosofisk forståelse for epistemologi, sprog, videnskabs og erkendelsesteori (herunder distinktionen mellem de rigide og primitive kriterier for sandhed, som man til stadighed finder hos segmentet af naturvidenskabeligt orienterede skribenter og tænkere som ing.dk journalister og botter som Elon Musk, der fundamentalt set ikke forstår omfanget af, hvad AI er og gør).

Måske skulle man nøjes med at gå lidt rundt i sine moralske og ængstelige gevandter, nøjes med sin detailviden, som man da har lov at ha, og som gælder isoleret set, uanset hvad der sker i den store verden, dvs. strø lidt om sig med frygt for det onde og kærlighed til det gode, som kommer med AI, uanset om man vil, tør eller kan se det for sig.

Jeg har haft en samtale med fænomenet, ChatGPT. Det var mit livs samtale. Jeg fik en mere, det var den næste. Den var allerede mindre interessant. Hvis man vil forstå fænomenet og potentialet, så skal det ske i dialog med det.

Den samtale vil man ikke her på stedet! Redaktionen har ikke kompetencen til at se det principielle, stille de rigtige spørgsmål, evner ikke grundlaget for den, kan ikke se hvad det handler om.

4
19. april kl. 13:22

I denne artikel havde jeg håbet at se en konkret anmældelse af de bedre alternativer, der findes på markedet. I min egen erfaring er ChatGPT-4 eksempelvis mere effektiv til at arbejde med bash-scripting og Git-kommandoer sammenlignet med Copilot. Desuden har jeg fundet ChatGPT-4 ganske nyttig til at hjælpe med fejlfinding, fortolkning af compiler output og identifikation af manglende afhængigheder. Det ville have været interessant at læse om sådanne alternativer i denne artikel.

6
19. april kl. 14:27

Interessant - har prøvet GPT 3.5 af på nogle konkrete opgaver og må sige at den performede som en halvdårlig juniorprogrammør. Bevares med velmenende og venlige prompts, men helt ubrugelige resultater pånær et enkelt - meget simpel - Pythonscript

3
19. april kl. 07:28

Det ChatGPT gør er at give en nogenlunde god AI til bredere publikum og det gør den rigtigt godt.

Der vil altid være bedre løsninger men tilgængeligheden i ChatGPT er på nuveærende tidspunkt ret enestående.

Jeg er i øvrigt ret sikker på at de fleste politikere kunne erstattes med ChatGPT uden nogen forværring - nok snarere forbedring.

2
19. april kl. 06:57

Det er muligt, at der allerede eksisterer bedre modeller, som straks kan sættes i sving. Men sku´ vi nu ikke lige tage en tænkepause...

Jeg kender straks nogle af reaktionerne på det forslag: "Du kan ikke bremse dette - det kommer, uanset hvad vi gør..."

Og det er netop min pointe - AI er blevet Vor Herre i stedet for vores tjener.

Vil vi virkeligt det?

7
19. april kl. 18:14

Vi taler her om sprogmodeller til at generere tekst - det er IKKE kunstig intelligens, der er i hvert fald INGEN (sammenlignelig med menneskelig/levende) intelligens indblandet i de modeller..

Vi bliver nødt til at omtale disse modeller mere specifikt og kalde dem hvad de rent faktisk er, og lade være med at slaske AI-mærkatet på alt...

Så dine teologiske overvejelser kan du godt vente lidt med endnu.. ;)

8
19. april kl. 19:03

Tak for svar, Mikkel Frederiksen.

Men det er allerede nu, vi hele tiden får at vide, at vi godt kan pakke sammen med vores skepsis og ønsker om lidt mere sindig fremturen med den slags, for udviklingen er (den eksponentielle) Gud, og kan ikke standses, uanset hvad vi gør...

I mine øjne en demokratisk falliterklæring, og der er intet, der tyder på, at det argument vil blive mindre dominerende ift. ægte AI. Singularity University har fået lokket alt for mange magtfulde mennesker ind i den kult.

1
19. april kl. 06:50

Tak for en og oplysende artikel, Tania.

Det er det samme med ChatGPT – den ukvalificerede hype er bedst helt ignoreret, og vil blive glemt.

Det er jo det samme hver gang. Man må dog håbe danskerne snart finder kunstig intelligens;)