IBM's Watson i modvind: Foreslog livsfarlig medicin til danske patienter

Flere kræftlæger advarer om, at IBM's kognitive intelligens, Watson Oncology, er alt for umoden. Dansk forsøg på Rigshospitalet blev stoppet efter massiv fejlrate.

Strålebehandling eller kemoterapi? IBM's kunstige intelligens Watson er inviteret indenfor på kræftafdelinger over hele verden for at give sit bud på en behandling. Men Watsons svar får ikke alle læger til at juble.

På Rigshospitalet har centerdirektør Leif Panduro Jensen oplevet AI-doktoren foreslå præparater, som risikerer at slå patienten ihjel.

»Vi har for eksempel oplevet Watson foreslå en behandling med stoffer, som patienten aldrig mere måtte få i sit liv, fordi det var livsfarligt,« lyder det.

På Finsenscentret på Rigshospitalet har en gruppe læger for nylig kørt forsøg med Watson, hvor computeren skulle foreslå behandlinger på tre kræftområder: bryst-, lunge- og tyktarmskræft. Lægerne testede Watsons svar på 31 patienter, der allerede havde været i behandling, og i to tredjedele af tilfældene var Watson og lægerne nogenlunde enige om valget af behandling.

Læs også: Overlæge: Uetisk ikke at anvende sundhedsdata bedre

Men i en tredjedel af tilfældene var Watsons forslag ‘helt i skoven', som Leif Panduro Jensen udtrykker det. I et tilfælde foreslog Watson trestof-kemoterapikuren Folfox til en patient, der allerede havde fået 11 serier Folfox og viste bedring, men havde skader på nervebanerne.

Finsenscentret samarbejder nu ikke længere med IBM på det område, men de danske læger har ikke opgivet Watson og samarbejder med IBM på andre områder. Desuden har Region H indgået en femårig rammeaftale med IBM om fortsat at udforske Watson-teknologien.

»Egentlig er jeg helt overbevist om, at Watson eller andre AI-systemer er fremtiden på området, men vi er slet ikke der, hvor den kan hjælpe os med at vælge behandling på et meget højt specialistniveau. Slet ikke,« siger Leif Panduro Jensen.

I evalueringsrapporten ‘Kunstig intelligens og innovation i sundhedsvæsnet’ udarbejdet af IBM og Region H, kan man også læse lignende klare konklusioner: »Watson for Oncology er endnu ikke fuldt udviklet, og fejl kan opstå,« og »Watson for Oncology er ikke trænet til at håndtere komplekse behandlingsforløb, f.eks over en længere årrække.«

Watson bliver pisket af kritikere

Samme melding kom for nylig fra et hav af læger verden over på det anerkendte amerikanske sundhedssite STAT, der ejes af avisen Boston Globe.

I en usædvanligt grundig artikel har journalisterne blandt andet interviewet læger på en stor del af de 50 hospitaler i 13 lande, der i dag bruger Watsons kræftprogram Watson Oncology i sin dagligdag. Og der tegner sig et meget klart mønster af en umoden teknologi.

»Watson Oncology er på børnestadiet, og vi må vente og aktivt engagere os i håb om at hjælpe dem med at vokse,« siger en sydkoreansk kræftspecialist ved navn Taewoo Kang til Stat.

Læs også: Kunstig intelligens bedre til at afsløre sygdom hos patienter end læger

Kritikken er nådesløs, hvis man sammenfatter pointerne i STAT: Watson Oncology skaber ingen ny viden, den har svært ved at læse og forstå journaler, den er ikke underlagt offentlig regulering eller kvalitetskontrol, den er ikke underlagt en kritisk vurdering af dens kvalitet (peer-review), dens resultater er uigennemsigtige, og den er ikke godt nok opdateret med den seneste viden på området.

»Watsons styrke er at søge i dokumenter og hjælpe med at finde baggrundsinformation til lægerne. Til det fungerer den rigtig godt. Men så snart den skal i gang med at kigge i patientjournaler og give forslag, så går det mindre godt,« siger Lars Kai Hansen fra DTU Compute, der har arbejdet med kunstig intelligens på området for medicin i 30 år.

Watson er for amerikansk

DTU-forskeren peger på et problem, som også et utal af ikke-amerikanske læger peger på, nemlig at Watson er alt for præget af en amerikansk tilgang til kræftbehandling. En almindelig fejlslutning blandt læger er nemlig, at Watson Oncology trækker på erfaringer fra hele verden, når den kommer med forslag til behandlinger.

Men her er det nødvendigt at forstå følgende: Watsons erfaringer med patienter stammer alene fra kræftcentret Memorial Sloan Kettering i New York. Det er her, Watson bliver trænet i sessioner, hvor de dygtigste læger fra hospitalet bliver samlet med IBM's folk og propper data ind i Watson ved at fortælle, hvordan de ville behandle patient x i et x-scenarie.

Den erfaring kobler Watson med sin evne til at læse gennem forskningsartikler, og igen er det kræftspecialisterne på Memorial Sloan Kettering, der udvælger, hvilke artikler Watson skal læse, og hvilke computeren skal lægge mest vægt på.

Læs også: Sikkerhedsforsker blev ramt af pacemaker-fejlkonfiguration på vej op ad trapperne

Da Watson Oncology blev testet på Rigshospitalet var den i et sent prototypestadie og var baseret på mere end 17.000 onkologitimer, fremgår det af en evalueringsrapport fra Region H.

»Vi tror, at den høje grad af amerikansk dominans i Watson er årsagen til, at vi oplever så store fejlmargener i arbejdet med den,« siger Leif Panduro Jensen.

USA og Europa har nemlig ikke altid samme tilgang til anbefalinger og god praksis. Og Watson har også kun adgang til amerikanske data og ikke til de europæiske retningslinjer på området. Og det er en skam, mener den danske centerdirektør.

»Vi har foreslået IBM at give Watson løbende adgang til de nyeste europæiske retningslinjer og teste systemet igen på vores patienter. Men det passede ikke ind i deres udviklingsplaner på det tidspunkt,« siger han.

Læger vil vide det, som de ikke ved

Til gengæld ser Watson ud til at klare sig markant bedre i kræftafdelinger, der har større ligheder med amerikanerne. I Indien og Sydøstasien er der glæde over, at Watson spare tid og øger kvaliteten af behandlingen. I nogle lande er der 96 procent overensstemmelse mellem Watsons valg af behandling og lægernes valg. Men det viser jo alene, at Watson kan tilbyde det samme som lægerne, lyder kritikken.

»Vi har jo ikke brug for at vide, at det, vi allerede ved, er rigtigt. Værdien ligger i, hvis Watson kan foreslå os behandlinger, når vi har prøvet alt, og patienten stadig har det så godt, at det ikke giver mening at give op,« siger Leif Panduro Jensen.

Men ifølge centerdirektøren er der meget lang vej til det scenarie.

»Det kræver et langt juridisk og teknologisk skridt, hvor Watson også kan få udstrakt adgang til internationale databaser,« siger han.

... men hvorfor kom du til det svar Watson?

Endelig er der en udfordring i gennemsigtighed. Watson er god til at give læger og forskere indsigt i, hvordan den er kommet frem til konklusioner baseret på forskningsartikler. Her kan eksperterne gå direkte ind og læse baggrundsartiklerne bag Watsons beslutning.

En faktor, der i øvrigt kan vise sig at give Watson en rolle i undervisningssammenhæng, peger flere læger på.

Det er også fremragende i forskningsøjemed, hvis Watson bliver bedt om at finde oplagte kandidater til medicinske forsøg. Men når det gælder Watsons forslag til behandlinger baseret på data om patienter, så er det lukket land.

I artiklen i STAT fortæller en sydkoreansk kræftkirurg, Taewoo Kang, for eksempel, hvordan Watson anbefaler en kemokur ved navn taxan til en bestemt patient. Lægen undrer sig over Watsons valg, da taxan normalt kun gives til patienter med lymfeknudekræft, og patienten har ikke kræft, der har spredt sig til lymfeknuderne.

Om Watson har ret er ikke pointen. Problemet er, at Taewoo Kang ikke kan få svar på, hvorfor Watson tager det valg.

Samme udfordring har Lars Kai Hansen i sit arbejde med Watson:

»Vi mangler stadig at komme helt ned under kølerhjelmen og forstå, hvordan Watson arbejder. Hvis man skal anvende det ordentligt i sundhedssektoren, så skal man kende systemet bit for bit. Det har IBM ikke givet mulighed for endnu,« siger han.

Brug Watson andre steder

Betyder det så, at Watson er helt uduelig og slet ikke kan bruges til noget. Nej, lyder det klare svar fra både Leif Panduro Jensen og Lars Kai Hansen. Ifølge begge er Watson endnu under udvikling, og der er en række andre anvendelsesmuligheder, som er mest oplagte i første omgang.

Centerdirektøren peger blandt andet på brug af Watson til at gennemgå røntgenbilleder eller scanninger efter brystkræft, og den anbefaling var også at finde i en rapport til Region Hovedstaden i marts.

Læs også: Hvordan skal vi konkurrere mod en IQ på 12.000?

Rapporten fremhæver flere punkter, som Watson-teknologien er oplagt til. For eksempel:

»Watson for Oncology vil kunne bruge som second opinion, hvis onkologen var i tvivl om bedste behandling eller ønskede at udfordre egen vurdering,« står der.

Og

»Watson for Oncology vil potentielt kunne anvendes i uddannelsesøjemed, f.eks til at kvalitetsforbedre og effektivisere prægraduate uddannelsesforløb på lægeuddannelser,« fremgår det.

Lars Kai Hansen ser også mønstergenkendelse og diagnostik som en mulig vej for Watson, men har et forbehold.

»Watson er dog ikke den stærkeste spiller på det område. Watson er dygtig til at læse og forstå forskningsartikler. Når vi nærmer os billedgenkendelse, så er der internationalt set spillere både i forsknings- og forretningsverdenen, der har forspring på disse områder,« siger han.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (7)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Anne-Marie Krogsbøll

Super artikel! Især da Marianne Frederik fra Regionsrådet d. 27/9 bad administrationen i Region Hovedstaden om svar på netop disse spørgsmål - de spørgsmål har man ikke formået at svare på endnu:
https://www.regionh.dk/politik/spoergsmaal-fra-regionsraadet-til-adminis...

https://www.regionh.dk/politik/spoergsmaal-fra-regionsraadet-til-adminis...

Regionen har lige sat en del millioner af til et samarbejde med IBM om Watsons indtog i regionen, bl.a. i diabetesbehandlingen, se pkt. 2:
https://www.regionh.dk/politik/nye-moeder/Documents/EVU/EVU%20referat%20...
Og indstillingsnotat her:
https://www.regionh.dk/politik/nye-moeder/Documents/BILAG%20til%20FU%20b...

Jeg kan undre mig over, om det er regionen, der skal til at betale IBM's udviklingsudgifter via disse projekter? Og borgerne, der kommer til i det skjulte til at betale med deres data?
Og så er der lige det med tilladelser og persondata:

"På Rigshospitalet har centerdirektør Leif Panduro Jensen oplevet AI-doktoren foreslå præparater, som risikerer at slå patienten ihjel.
»Vi har for eksempel oplevet Watson foreslå en behandling med stoffer, som patienten aldrig mere måtte få i sit liv, fordi det var livsfarligt,« lyder det."

"På Finsenscentret på Rigshospitalet har en gruppe læger for nylig kørt forsøg med Watson, hvor computeren skulle foreslå behandlinger på tre kræftområder: bryst-, lunge- og tyktarmskræft. Lægerne testede Watsons svar på 31 patienter, der allerede havde været i behandling, og i to tredjedel af tilfældene var Watson og lægerne nogenlunde enige om valget af behandling."

Jeg bad i sommer Region Hovedstaden om aktindsigt i databehandleraftalerne mellem Region Hovedstaden og IBM vedr. Watson - og fik det svar, at det kunne jeg ikke få, for der er ikke indgået databehandleraftaler. Da jeg henviste til artikler i dagspressen om, at man afprøvede Watson på konkrete patienter på bl.a. RH, fik jeg det svar, at der ikke var udleveret personfølsomme oplysninger til Watson, og derfor var databehandleraftale ikke nødvendig. Og på trods af henvisninger til artiklerne i dagspressen er det ikke lykkedes mig at få rykket ved den forklaring, som blot gentages robotagtigt, uanset hvordan jeg spørger.

Jeg går ud fra, at man ikke kan stille behandlingsforslag, uden at have en del oplysninger på patienten. Så er spørgsmålet, hvordan man i forbindelse med Watson opfatter "personfølsomt" - er det mon nok blot at fjerne navn og cpr (hvis man altså overhovedet har gjort det)? I så fald er det meget lidt betryggende, for det vil jo være en smal sag for Watson af afanonymisere ud fra det data, som vel må være nødvendige for at komme med et behandlingsbud til en konkret patient?

Bjarne Nielsen

... er det mon nok blot at fjerne navn og cpr ...

Off topic, så kan jeg bekræfte, at den holdning findes. Man fjernede navn og cpr, men efterlod emailadresse og telefonnummer - og så mente man, at det var anonymt. Da jeg gav udtryk for en anden holdning, var det eneste synlige resultat, at jeg ikke blev inviteret til næste møde.

...men det er nu også en del år siden. Det er sikkert blevet meget bedre siden da.

Lars Jensen

Det udstiller jo AI som umodent og grænsende til uanvendeligt. Når man tidligere har læst hvor AI har en fremtid er det skræmmende. Infrastruktur, herunder elforsyning, flytrafik osv. Jeg tror det varer lidt før AI får den udbredelse mange hyper den til.

Frithiof Jensen

Elforsyning er mere rimeligt for “AI” det er mere et temmeligt grotesk matrix problem som man sandsynligt kan bruge machine learning til at finde et mindre sæt parametre som man kan håndtere i stedet for at regne det hele ud med standard numeriske metoder over et par dage.

Log ind eller Opret konto for at kommentere
Brugerundersøgelse Version2
maximize minimize