IBM’s Watson anbefaler medicin der forhindrer blod i at størkne til blødende patient

26. juli 2018 kl. 10:399
IBM’s Watson anbefaler medicin der forhindrer blod i at størkne til blødende patient
Illustration: Wikimedia Commons.
Watson har længe været et rost prestigeprojekt for IBM, men dens sundheds-orienterede machine learning-algoritmer er ikke ufejlbarlige.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

De medicinfaglige eksperter der arbejder med at udvikle supercomputeren Watsons evene til at diagnosticere sygdomme og foreslå behandlinger til dem har fundet ‘adskillige eksempler på farlige og forkerte behandlingsforslag’ fra supercomputerens algoritmer.

Helt konkret foreslog den en blødende lungekræftpatient medicin, der forhindrer blod i at størkne. En om muligt fatal fejlslutning, der slet ikke bør kunne ske idet bivirkningerne er tydeligt listet i systemet.

Artiklen fortsætter efter annoncen

Det viser interne dokumenter fra IBM, skriver Gizmodo.

Dokumenterne indeholder desuden en overordnet, krads kritik af hele Watsons kræft-system, der ifølge dokumenterne ofte er upræcist i en sådan grad, at det ‘rejser alvorlige spørgsmål om processen omkring opbygningen af viden i Watson og den underliggende teknologi.'

Watson er ellers tidligere blev kørt frem i medierne som god til at behandle kræft, men har da også tidligere foreslået livsfarlig medicin til danske patienter.

9 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
9
9. november 2018 kl. 17:48

... over denne overskrift, men har ikke abonnement. https://www.computerworld.dk/art/245370/region-hovedstaden-vil-ophaeve-million-aftale-om-kunstig-intelligens-med-ibm

Hvad mon der gemmer sig i dette?

  • Er det GDPR, som er kommet i vejen for den deling af data med IBM's globale cloud, som Watson, så vidt jeg husker, indebærer?
  • Eller kan Dr. Watson ikke (som så meget andet) bringes til at enes med Sundhedsplatformen?
  • Eller fungerer Watson bare elendigt og med elendigt datagrundlag, som Version2 tidligere har omtalt?
  • Har regionsledelsen også i dette tilfælde ladet sig besnære og forføre af besøgene til UGM i Verona, som var kombinerede med besøg hos IBM (aktindsigt) - og glemt at gøre sit forarbejde med at undersøge, om det overhovedet kunne fungere i Danmark, og hvad Watson overhovedet kan præstere?
  • Eller er det noget helt femte, som vi slet ikke ved noget om? I så fald bliver man jo ikke overrasket, hvis det er yderst tavshedsbelagt.

Og så er det interessante spørgsmål jo, om der der overhovedet er mulighed for at opsige kontrakten? Det ville egentligt undre mig, men det ville være glædeligt. Så kan man koncentrere sig om at få SP til at fungere. Det er trods alt vigtigere end at lege med halvdumme AI-robotter.

7
1. september 2018 kl. 09:04

... ift. manglende dokumentation for effektivitet og sikkerhed for denne type "devices" (og lige så relevant ift. medicinalindustrien): Netflix har netop udgivet en ny dokumentar "The Bleeding Edge", om skruppelløsheden i medicobranchen, den manglende regulering, lobbyisternes hærgen og løben om hjørner med politikere og læger, korruptionen og "the revolving door" indenfor topledelserne i medico/medicinalfirmaer og de offentlige regulerende styrelser:https://www.firstpost.com/entertainment/the-bleeding-edge-review-a-well-intentioned-combative-documentary-about-american-medical-device-industry-4910781.html

Så måske er det slet ikke så mærkeligt, at Watson har så dårlig dokumentation? Det er simpelthen en gennemgribende, hurtigtspredende sygdom indenfor en grådig og skruppelløs branche - og jeg er ikke engang sikker på, at "devices" som Watson kræver godkendelse, selv om den arbejder med vores liv og helbred.

Filmen har vakt furore i USA - med flotte anmeldelser - og ser ud til indtil nu, med en måned på bagen, allerede at have tvunget Bayer til at trække et produkt tilbage. Men den er mindst ligeså relevant herhjemme. Problematikkerne er de samme (det viser Watson/Region H-sagen), vi har hentet vores lægemiddelstyrelsesdirektør fra industrien, og det er snart ikke til at skelne regeringen fra Novos og Lundbecks topledelser - hvor jeg ikke bliver overrasket, hvis en del ministre havner senere i karrieren.

Så den manglende dokumentation for Watsons intelligens er blot toppen af isbjerget, og hvis ikke vi indser det, og sætter hårdt mod hårdt ift. evidens, gennemsigtighed og uafhængighed, så graver vi vores egen og vore nærmestes grave - under særdeles smertefulde omstændigheder.

Filmen kan allerede ses på Netflix. Hvis man tør.

4
28. juli 2018 kl. 21:16

Synes da jeg har læst akkurat det samme for et år eller to siden ?

Du har da ganske ret..https://www.computerworld.dk ..."Interne dokumenter fra IBM afslører rapporteringer om potentielt fatale fejl i supercomputeren Watsons behandlingsforslag til kræftpatienter. "This product is a piece of shit," lyder det i et internt statement til IBM fra en læge i Florida.

Rigshospitalet har tidligere dumpet Watson af lignende årsager.[1]"

[1] ..https://www.onkologisktidsskrift.dk/diagnostik/607-dr-watson-for-oncology-er-upraecis-og-fuld-af-fejl.html

3
26. juli 2018 kl. 21:08

Synes da jeg har læst akkurat det samme for et år eller to siden ?

1
26. juli 2018 kl. 11:32

"Dokumenterne indeholder desuden en overordnet, krads kritik af hele Watsons kræft-system, der ifølge dokumenterne ofte er upræcist i en sådan grad, at det ‘rejser alvorlige spørgsmål om processen omkring opbygningen af viden i Watson og den underliggende teknologi."

Jeg kan desværre ikke komme ind på linket og læse Gizmodo-artiklen, så jeg kan se, hvad der ligger i dette. Men hvorfor i alverden er sådanne oplysninger "interne"? Hvad bilder de sig ind?

Og hvilken form for dokumentation og evidens har Region Hovedstaden mon indhentet, inden man gik i seng med Watson - vist stort set på IBM's betingelser, regionens regning? Jeg har ikke lige tid til at finde aktindsigterne frem - men regionen betaler, så vidt jeg husker, ligefrem Watson for at øve sig på regionens patienter - og de indhøstede data ryger ned i maven på Watsons verdensomspændende sky - det fremgår af kontrakten, at de har ret til det (igen efter hukommelsen).

Har regionen bedt om dokumentation for sikkerheden? Og har man i givet fald fået ovennævnte meget bekymrende oplysninger? Eller har man haft nogle hyggestunder her og hisset med IBM's lobbyister og et par prominente, dataglade forskere, og ud fra disse konkluderet, at det ville være givtigt (måske også i partikassen?) at indgå et samarbejde?

Hvordan kan IBM få lov at holde den slags internt - hvis det er det, der er sket?

Det minder om den aktuelle historie om Facebooks fakenews-algoritmer - er de mere sikre - sådan rent demokratisk - end Watsons mørklagte heksedoktor-algoritmer?