IBM’s Watson anbefaler medicin der forhindrer blod i at størkne til blødende patient

Illustration: Wikimedia Commons
Watson har længe været et rost prestigeprojekt for IBM, men dens sundheds-orienterede machine learning-algoritmer er ikke ufejlbarlige.

De medicinfaglige eksperter der arbejder med at udvikle supercomputeren Watsons evene til at diagnosticere sygdomme og foreslå behandlinger til dem har fundet ‘adskillige eksempler på farlige og forkerte behandlingsforslag’ fra supercomputerens algoritmer.

Helt konkret foreslog den en blødende lungekræftpatient medicin, der forhindrer blod i at størkne. En om muligt fatal fejlslutning, der slet ikke bør kunne ske idet bivirkningerne er tydeligt listet i systemet.

Det viser interne dokumenter fra IBM, skriver Gizmodo.

Dokumenterne indeholder desuden en overordnet, krads kritik af hele Watsons kræft-system, der ifølge dokumenterne ofte er upræcist i en sådan grad, at det ‘rejser alvorlige spørgsmål om processen omkring opbygningen af viden i Watson og den underliggende teknologi.'

Watson er ellers tidligere blev kørt frem i medierne som god til at behandle kræft, men har da også tidligere foreslået livsfarlig medicin til danske patienter.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (9)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Anne-Marie Krogsbøll

"Dokumenterne indeholder desuden en overordnet, krads kritik af hele Watsons kræft-system, der ifølge dokumenterne ofte er upræcist i en sådan grad, at det ‘rejser alvorlige spørgsmål om processen omkring opbygningen af viden i Watson og den underliggende teknologi."

Jeg kan desværre ikke komme ind på linket og læse Gizmodo-artiklen, så jeg kan se, hvad der ligger i dette. Men hvorfor i alverden er sådanne oplysninger "interne"? Hvad bilder de sig ind?

Og hvilken form for dokumentation og evidens har Region Hovedstaden mon indhentet, inden man gik i seng med Watson - vist stort set på IBM's betingelser, regionens regning? Jeg har ikke lige tid til at finde aktindsigterne frem - men regionen betaler, så vidt jeg husker, ligefrem Watson for at øve sig på regionens patienter - og de indhøstede data ryger ned i maven på Watsons verdensomspændende sky - det fremgår af kontrakten, at de har ret til det (igen efter hukommelsen).

Har regionen bedt om dokumentation for sikkerheden? Og har man i givet fald fået ovennævnte meget bekymrende oplysninger? Eller har man haft nogle hyggestunder her og hisset med IBM's lobbyister og et par prominente, dataglade forskere, og ud fra disse konkluderet, at det ville være givtigt (måske også i partikassen?) at indgå et samarbejde?

Hvordan kan IBM få lov at holde den slags internt - hvis det er det, der er sket?

Det minder om den aktuelle historie om Facebooks fakenews-algoritmer - er de mere sikre - sådan rent demokratisk - end Watsons mørklagte heksedoktor-algoritmer?

  • 4
  • 3
Finn Christensen

Synes da jeg har læst akkurat det samme for et år eller to siden ?

Du har da ganske ret..
https://www.computerworld.dk ..."Interne dokumenter fra IBM afslører rapporteringer om potentielt fatale fejl i supercomputeren Watsons behandlingsforslag til kræftpatienter. "This product is a piece of shit," lyder det i et internt statement til IBM fra en læge i Florida.

Rigshospitalet har tidligere dumpet Watson af lignende årsager.[1]"

[1] ..https://www.onkologisktidsskrift.dk/diagnostik/607-dr-watson-for-oncolog...

  • 1
  • 0
Anne-Marie Krogsbøll

... ift. manglende dokumentation for effektivitet og sikkerhed for denne type "devices" (og lige så relevant ift. medicinalindustrien): Netflix har netop udgivet en ny dokumentar "The Bleeding Edge", om skruppelløsheden i medicobranchen, den manglende regulering, lobbyisternes hærgen og løben om hjørner med politikere og læger, korruptionen og "the revolving door" indenfor topledelserne i medico/medicinalfirmaer og de offentlige regulerende styrelser:
https://www.firstpost.com/entertainment/the-bleeding-edge-review-a-well-...

Så måske er det slet ikke så mærkeligt, at Watson har så dårlig dokumentation? Det er simpelthen en gennemgribende, hurtigtspredende sygdom indenfor en grådig og skruppelløs branche - og jeg er ikke engang sikker på, at "devices" som Watson kræver godkendelse, selv om den arbejder med vores liv og helbred.

Filmen har vakt furore i USA - med flotte anmeldelser - og ser ud til indtil nu, med en måned på bagen, allerede at have tvunget Bayer til at trække et produkt tilbage. Men den er mindst ligeså relevant herhjemme. Problematikkerne er de samme (det viser Watson/Region H-sagen), vi har hentet vores lægemiddelstyrelsesdirektør fra industrien, og det er snart ikke til at skelne regeringen fra Novos og Lundbecks topledelser - hvor jeg ikke bliver overrasket, hvis en del ministre havner senere i karrieren.

Så den manglende dokumentation for Watsons intelligens er blot toppen af isbjerget, og hvis ikke vi indser det, og sætter hårdt mod hårdt ift. evidens, gennemsigtighed og uafhængighed, så graver vi vores egen og vore nærmestes grave - under særdeles smertefulde omstændigheder.

Filmen kan allerede ses på Netflix. Hvis man tør.

  • 1
  • 0
Anne-Marie Krogsbøll

... over denne overskrift, men har ikke abonnement. https://www.computerworld.dk/art/245370/region-hovedstaden-vil-ophaeve-m...

Hvad mon der gemmer sig i dette?
- Er det GDPR, som er kommet i vejen for den deling af data med IBM's globale cloud, som Watson, så vidt jeg husker, indebærer?
- Eller kan Dr. Watson ikke (som så meget andet) bringes til at enes med Sundhedsplatformen?
- Eller fungerer Watson bare elendigt og med elendigt datagrundlag, som Version2 tidligere har omtalt?
- Har regionsledelsen også i dette tilfælde ladet sig besnære og forføre af besøgene til UGM i Verona, som var kombinerede med besøg hos IBM (aktindsigt) - og glemt at gøre sit forarbejde med at undersøge, om det overhovedet kunne fungere i Danmark, og hvad Watson overhovedet kan præstere?
- Eller er det noget helt femte, som vi slet ikke ved noget om? I så fald bliver man jo ikke overrasket, hvis det er yderst tavshedsbelagt.

Og så er det interessante spørgsmål jo, om der der overhovedet er mulighed for at opsige kontrakten? Det ville egentligt undre mig, men det ville være glædeligt. Så kan man koncentrere sig om at få SP til at fungere. Det er trods alt vigtigere end at lege med halvdumme AI-robotter.

  • 1
  • 0
Log ind eller Opret konto for at kommentere