Algoritme-koks i Sundhedsplatformen: 500 hjertepatienter kan være opereret unødvendigt

Illustration: Hanne Kokkegård
Forkert beregning af score til risikovurdering forud for hjertekirurgi betyder at 513 patienter kan risikere at være blevet opereret unødigt.

En algoritme-fejl i Sundhedsplatformen betyder, at mere end 500 hjertepatienter siden 2019 kan være blevet opereret unødvendigt.

Det fremgår af et internt notat fra Region Hovedstadens Center for IT, Medico og Telefoni (CIMT) til regionsrådets medlemmer, som Version2 er i besiddelse af.

Helt specifikt er det fejl i beregningen af hjertepatienters risikoscore, der bruges til at vurdere, om en patient skal opereres eller ej.

Læs også: Fejl i Sundhedsplatformen gav forkerte medicinoplysninger til kræftpatienter

»Fejlen indebærer, at algoritmen har beregnet en forkert risikoscore (euroscore), hvilket potentielt indebærer en risiko for at patienter er blevet opereret unødigt,« skriver CIMT i notatet, hvor det også fremgår, at 513 patienter har været berørt af fejlen.

Hård kritik af Sundhedsplatformen

Jacob Rosenberg, der er medlem af regionsrådet for Det Konservative Folkeparti, rejste et politikerspørgsmål om fejlen den 1. november, men han har endnu ikke fået en redegørelse.

CIMT afviser at svare på spørgsmål om sagen, før Jacob Rosenbergs spørgsmål er besvaret, men bekræfter fejlen over for Version2.

Læs også: Fejl i opdatering af Sundhedsplatformen: Medarbejdere brugte nødprocedure i otte timer

Jacob Rosenberg stillede spørgsmålet på baggrund af en bekymringshenvendelse fra en bekendt kardiolog, som var blevet informeret om at man straks skulle stoppe med at bruge beregningen.

Spurgt ind til fejlen, så er han først og fremmest bekymret for de potentielt fejlbehandlede patienter:

»Jeg synes det er helt forfærdeligt, for at sige det ligeud. Det er en pinlig affære for region Hovedstaden, at vi har et system, hvor det her kan forekomme.« siger han til Version2.

Daglig praksis siden 2019

Den fejlbehæftede algoritme er en del af den samlede risikoscore, der kaldes Euroscore. Euroscore blev ifølge notatet introduceret i daglig praksis tilbage i 2019, og fejlen blev opdaget 11. oktober i år.

Og på de to år, algoritmen har været i brug, har der altså været 513 berørte patienter, der kan risikere at have fået en fejlbehandling.

De patienter, der har fået planlagt et fremtidigt indgreb på baggrund af algoritmen er blevet revurderet af hjertekirurgiske overlæger. Ifølge notatet har der dog ikke været grund til at replanlægge eller aflyse nogle af de planlagte operationer.

De berørte patienter, der allerede er blevet opererede vil få deres sag gennemgået af en speciallæge, med henblik på at vurdere, om de er blevet fejlbehandlede. Gennemgangen forventes afsluttet inden årets udgang. Der vil blive udfærdiget en samlet rapport med resultaterne.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (58)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Anne-Marie Krogsbøll

Er denne algoritme en del af selve Sundhedsplatformen? Jeg var slet ikke klar over, at Sundhedsplatformen på den måde indeholdt behandlingsbesluttende funktioner.

Hvor er der mere den slags? Det kunne da være rart at vide, så man kan gardere/forberede sig. Man har vel som patient ret til at få at vide, hvis det er en algoritme, der er ens behandler?

Men det viser vel faren ved algoritmer i sådanne sammenhænge. I denne situation har algoritmen åbenbart taget beslutningen uden om lægerne, som bare har rettet sig efter den. Er det i overensstemmelse med procedurerne, eller er der sket det, vi før har diskuteret - at når først en algoritmen har talt, så er beslutningen mere eller mindre taget, for ingen tjekker beslutningsgangen? Hvor algoritmen går ind, går forstanden ud? Enten pga. travlhed/dovenskab, eller fordi denne er fuldstændig uigennemskuelig.

Jeg kommer til at tænke på den nylige artikel her om algoritmer, som skal prioritere socialsager i Århus, hvor det bedyredes, at algoritmen absolut ikke skulle træffe beslutninger. Skulle den - i følge vejledningerne - det i Sundhedsplatformen, eller skulle den kun være vejledende?

Det kunne være rart at få oplyst. Og som sagt: Hvilke andre algoritmebehandlere gemmer sig i Sundhedsplatformen?

  • 32
  • 2
#2 Claus Bobjerg Juul

Er det manglende:

A.14.3.1 Protection of test data Control: Test data shall be selected carefully, protected and controlled.

A.14.2.8 System security testing Control: Testing of security functionality shall be carried out during development.

A.14.2.9 System acceptance testing Control: Acceptance testing programs and related criteria shall be established for new information systems, upgrades and new versions.

?????

  • 14
  • 1
#10 Jan E. Sørensen

Sundhedsplatformen ordinerede kraftig medicin, der ville have modarbejdet den medicin jeg får, og muligvis have slået mig i hjel.

Efter lidt recearch gik det op for mig at et fundamentalt problem ser ud til at være at der ikke er nogen, der tager ansvaret for at Sundhedsplatformens data er rigtige, retvisende og bliver brugt rigtigt.

MVH Jan - der tilfældigvis var ved bevidsthed og forhørte sygeplejersken om doseringen

  • 31
  • 0
#15 Bjarne Nielsen

Alt IT involvere databehandling på et eller flere niveauer.

Alle mennesker dør før eller siden, og al mad er fremstillet ved brug af bestråling og atomkraft. Goddag mand, økseskaft.

Det er yderst relevant at spørge ind til, hvorvidt systemet, formelt og/eller de facto, har været besluttende eller beslutningsstøttende, og det taler lige ind i en række aktuelle diskussioner, som f.eks. diskussionen om såkaldt "automation bias".

Det er da også fornuftig, og endda udtryk for rettig omhu, at spørge ind til, om dette er et enestående tilfælde, eller om der er lignende funktionaliteter, og om de på lignende vis kan formå at lede til fejlslutninger.

Og det er lige så lidt udtryk for maskinstormeri at stille spørgsmål til, hvad der gik galt, hvorfor det gik galt, og om noget lignende kan gå galt andre steder, som det er udtryk for flyskræk at have havarikommisioner.

  • 24
  • 0
#16 Morten Svendsen

Hej,

Brug af forskellige “algoritmer” til forskellige risikovurderinger er meget normalt. Det kan være simple udregninger til mere statistisk avancerede modeller.

De algoritmer i denne forstand, som jeg har mødt, baserer sig på kliniske studier. Og bliver også tjekket i kliniske forsøg. Så hvis de er rigtigt implementeret, så er deres brug meget rationelt.

Det er vist kun CIMT der kan svare på hvor mange af den slags der findes implementeret i SP. Efter gældende regler er de vist i gråzone omkring hvorvidt sådanne modeller er medicinsk udstyr eller ej.

Det er også min erfaring at når man taler om modeller og algoritmer i dette felt, så er der forskellig betydning af ordene for fx ingeniører, dataloger og medicinsk personale.

Den omtalte Euroscore er også tilgængelig online. Se wiki

https://en.m.wikipedia.org/wiki/EuroSCORE

Kender ikke sagen, men det kunne godt lugte lidt af at implementeringen af den i SP er skudt ved siden af.

Mvh Morten

  • 10
  • 0
#17 Bjarne Nielsen

Kender ikke sagen, men det kunne godt lugte lidt af at implementeringen af den i SP er skudt ved siden af.

Artiklen siger, at der er blevet beregnet en forkert score, så det er ikke euroscore som sådan, der sættes spørgsmålstegn ved:

Fejlen indebærer, at algoritmen har beregnet en forkert risikoscore (euroscore)

... hvilket uddybes yderligere længere nede:

Den fejlbehæftede algoritme er en del af den samlede risikoscore, der kaldes Euroscore.

Det lugter langt væk af problemer med input kvalitet, og dermed også med kvaliteten af output. Det ligner klart en tilståelsessag fra SPs side. Nu må vi bare håbe, at der udtrækkes maksimal læring af hændelsen.

  • 6
  • 0
#18 Bjarne Nielsen

Udover fejlen, så hæfter jeg mig ved flg. passager i artiklen:

De patienter, der har fået planlagt et fremtidigt indgreb på baggrund af algoritmen er blevet revurderet af hjertekirurgiske overlæger. Ifølge notatet har der dog ikke været grund til at replanlægge eller aflyse nogle af de planlagte operationer.

Hvad med de patienter, som på baggrund af algoritmen ikke har fået planlagt et indgreb? Ved vi at fejlen altid falder ud til den ene side?

Ved vi, hvor tilbøjelige hjertekirurgiske overlæger er til afvige fra algoritmens anbefaling, dvs. hhv. anbefale indgreb hvor algoritmen ikke giver belæg, men nok mere interessant, fravælge indgreb hvor algoritmen anbefaler det? Er det sidste nogensinde sket?

Ved vi, om der er sket en genberegning med en korrekt algoritme, og ved vi, om det har ændret score på en betydende måde?

Ved vi, hvor tilbøjelige hjertekirurgiske overlæger er til i det hele taget af ombestemme sig, hvor en pt. først er indstillet til operation?

Mit indtryk af overlæger er, at de er gode til at træffe hurtige beslutninger, og de generelt ikke efterfølgende har for vane at sætte spørgsmålstegn ved det ... jeg har også hørt en sige, at hvis ikke man var en person både med stor dømmekraft og med stor tillid til egen dømmekraft, så ville man ikke overleve længe som overlæge.

Der er også det aspekt, at det næppe er karrierefremmende at være den, som tog beslutningen om at gå tilbage på allerede planlagt operation, hvor pt. senere viser sig at falde om.

De berørte patienter, der allerede er blevet opererede vil få deres sag gennemgået af en speciallæge, med henblik på at vurdere, om de er blevet fejlbehandlede. Gennemgangen forventes afsluttet inden årets udgang. Der vil blive udfærdiget en samlet rapport med resultaterne.

Ideelt set, så ville det kunne bidrage til maksimal læring ... men sket er sket, og man gør klogt i at lade sovende hunde i fred. Hvem vinder noget ved at der skabes tvivl og måske grund til erstatningssager? Så hvad vinder: ønsket om maksimal læring, eller ønsket om at skabe ro og genskabe "tillid"?

Kort sagt: godt at fejlen blev opdaget, håber at det generelt højner niveauet af omhu og sikkerhed - men der er for meget subjektivitet i de opfølgende undersøgelser til, at jeg vil tillægge dem nogen særlig betydning.

  • 9
  • 0
#19 Anne-Marie Krogsbøll

"De berørte patienter, der allerede er blevet opererede vil få deres sag gennemgået af en speciallæge, med henblik på at vurdere, om de er blevet fejlbehandlede. "

Umiddelbart synes jeg ikke, at " en speciallæge" lyder af så meget i en så alvorlig sag. Forhåbentlig er det en, der ikke selv er part i sagen. Jeg kunne godt ønske mig et panel af uafhængige eksperter, for fejlene i behandlingen har jo åbenbart ikke været så åbenlyse, at de indtil nu involverede læger har reageret på dem.

Men det er måske så enkelt som at tjekke, om den korrekt udregnede risikoscore ville have ændret behandlingen? I så fald må man vel sige, at det er risiko-scoren, der beslutter behandlingen.

Men jeg vender tilbage til min undren fra tidligere: Den fejlbehæftede score er åbenbart ikke selve Euroscore, men er en algortimeberegnet værdi, som fodres ind i Euroscore - som Sundhedsplatformen har beregnet (har jeg forstået det rigtigt?). Hvem har så udformet den, og er den selvlærende på basis af de data om patientforløb som løbende går gennem SP?

  • 2
  • 0
#21 Nicolaj Rosing

Normalt vil den slags beslutningsstøttende algoritmer være kategoriseret som software as a medical device (SaMD) og er dermed underlagt reglerne i MDR i Europa. Der er naturligvis altid fejl i software men at en sådan score skulle kunne regnes forkert ud lyder faktisk ret usandsynligt med mindre der er tale om faktorer der slet ikke nævnt i artiklen. Der er sådan set temmelig høje krav til kvalitet for den slags produkter så der stikker noget under. Hvilket firma står bag den algoritme og er de overhovdet ISO13485 certificeret? Er produktet CE mærket?

  • 4
  • 1
#22 Nicolaj Rosing

I mine øjne er det regionens ansvar at teste implementeringen i den anvendte software og også sikre at man har gode testdata.

Nej det er det nu ikke. Det er leverandøren af det software,der har produkt ansvaret og dermed ansvaret for at algoritmen regner rigtigt og at dette er eftervist i tilstrækkelig grad, i reglen ved en række forskellige verifikations og valideringstests inden det bliver CE mærket og frigivet. Lægemiddelstyrelsen har ansvar for godkendelse af produktet i henhold til gældende krav (indtil 2020 MDD og derefter MDR)

  • 4
  • 0
#24 Lars Skovlund

Men jeg vender tilbage til min undren fra tidligere: Den fejlbehæftede score er åbenbart ikke selve Euroscore, men er en algortimeberegnet værdi, som fodres ind i Euroscore - som Sundhedsplatformen har beregnet (har jeg forstået det rigtigt?). Hvem har så udformet den, og er den selvlærende på basis af de data om patientforløb som løbende går gennem SP?

Mjah, der ligger officielle beregnere her: http://www.euroscore.org/calculators.htm Det er svært at sige på det foreliggende, men en oplagt fordel ved at implementere i SP/Epic kunne være at (forsøge på at) udtrække svarene på de enkelte spørgsmål fra patientens historik, således at lægen ikke behøver foretage sig andet end at bede systemet om en score. Det kan sagtens være i dette udtræk, den er gal. Hvem har i så fald implementeret, er det Epic, CIMT eller den danske leverandør?

Rapporten vil forhåbentlig vise det, men alle parter har desværre en tendens til at være meget hemmelighedsfulde (jvf. vejledningen til skift mellem sommer/vintertid, der var hemmeligtstemplet, selvom den var genstand for tilbagevendende debat hvert år).

  • 4
  • 0
#25 Anne-Marie Krogsbøll

Det kan sagtens være i dette udtræk, den er gal. Hvem har i så fald implementeret, er det Epic, CIMT eller den danske leverandør?

Ja, netop.

Rapporten vil forhåbentlig vise det, men alle parter har desværre en tendens til at være meget hemmelighedsfulde (jvf. vejledningen til skift mellem sommer/vintertid, der var hemmeligtstemplet, selvom den var genstand for tilbagevendende debat hvert år).

Ja - det er mig en gåde, at vi borgere ikke har ret til indblik den slags. Ikke nødvendigvis detaljer i algoritmen. Men vi burde da kunne få oplyst, hvem der har lavet den, og hvem der har implementeret den, og hvad der er gået galt. Det burde ikke være forretningshemmeligheder. Men mht. SP er hvad som helst erfaringsmæssigt forretninghemmeligheder, og det kræver års tovtrækkeri om aktindsigt, før det hænder, at de alligevel er nødt til at udlevere det.

Sådan gik det i hvert fald med businesscasen (eller businesscasene, for der var jo et udvalg) og med IT-sikkerhedsrevisions rapporten.

  • 2
  • 0
#27 Morten Svendsen

Enig. Det kunne meget vel være regionh’s eget plug-in til SP. Eller en tredjepart. Det kunne også være lavet før de nye regler trådte i kraft og endt i limbo CE og MDR mæssigt . Min erfaring fra regionen siger mig det er en gråzone på flere niveauer.

  • 2
  • 0
#29 Finn Christensen

Det kan sagtens være i dette udtræk, den er gal. Hvem har i så fald implementeret, er det Epic, CIMT eller den danske leverandør?

Hvis man tager situationen fra begyndelsen af..

As the go-live date of May 20, 2016 approached, Galster[1] and his colleagues strongly argued for a delay. But the authorities followed what they described as Epic's strategy, 'throw it all out there, fix the problems later, build the road while you’re traveling down it,'

så er alt jo ganske almindeligt kommunalt, forventeligt og helt efter bogen ;)

There were no pilots, no tests, just go-live, said Galster. I’ve worked on health IT for 20 years and never seen anything like it. This was worse than amateurish.

[1] ..Gert Galster, https://gert.galster.dk/ [1] ..https://www.politico.com/story/2019/06/06/epic-denmark-health-1510223

  • 3
  • 0
#30 Lars Skovlund
  • 2
  • 0
#31 Ditlev Petersen

[1] ..Gert Galster, https://gert.galster.dk/ [1] ..https://www.politico.com/story/2019/06/06/epic-denmark-health-1510223

Hold da k...!

“We’re an easy target for a big company like Epic,” he said.

Det er så Søren Lauesen, der citeres der.

“At one point I thought, this just isn’t right for us,” said Nanna Skovgaard, the Health Ministry’s digital director. But "Epic is too big to fail.”

Men kan det andet end ikke at fejle?

Som en eller anden sagde engang, hvis man graver et hul det forkerte sted, så kan nok så meget yderligere graveri ikke løse fejlen.

Hvis der nu en dag blev ansat folk i ministeriet, der turde tænke selv. Og tale. Og blive ved, ville man så overhovedet være i stand til at konvertere de data, der ligger i Too-big-to-fail til et mere velfungerende system?

  • 5
  • 0
#33 Nicolaj Rosing

Jeg har brugt rigeligt tid på at slås med regionen om aktindsigter i SP, Nikolaj Rosing. Lige nu er tid og kræfter der ikke.

Det kan jeg godt forstå. Det bør heller ikke være almindelige borgere der skal gøre en indsats for at udrede trådene. Det er myndighedernes pligt og hvis patientsikkerheden er i fare skal produktet tilbagekaldes og en undersøgelse iværksættes. Der er veldefinerede procedurer for det hele i regulativet og standarderne.

Lad os håbe at pressen herunder Version2 holder fast i historien.

  • 2
  • 0
#36 Nicolaj Rosing

Du får lige en downvote. Og et spørgsmål: hvis vi ikke skal bruge IT til at udføre opgaver som sundhedspersonalet ellers skulle lave, skal vi så overhovedet ha en elektronisk journal? Vil du tilbage til papir? (held og lykke med den tanke).

Jeg ser ikke nogen der foreslår at vi skal tilbage til papir? Og hvem siger at vi ikke skal bruge IT? Det er vel rimeligt nok hvis man bruger beslutningsstøttende algoritmer og det viser sig at en fejl i algoritmen medfører at 500 patienter potentielt er blevet fejlbehandlet, at man stiller spørgsmålstegn ved om reglerne for brug af den slags software i et reguleret område er overholdt

  • 9
  • 2
#38 Louise Klint

Er det det, der kaldes ”beslutningsstøtte”? (/Sarkasm off).

Det her er en kæmpe skandale. Som burde på flere forsider.

Nu har jeg læst alle de gode kommentarer. Men mange spørgsmål melder sig fortsat.

Hvilket indgreb er her tale om? Er patienterne orienteret?

Så vidt jeg forstår, definerer specialevejledningerne behandlingerne samt hvilke hospitalsafdelinger, der må udføre hvad. Vi kunne godt bruge noget fagprofessionel assistance her.

Forrige, 06.11.18: https://www.sst.dk/-/media/Viden/Specialplaner/Specialeplan-for-intern-m... Nuværende, gældende fra 22.07.21: https://www.sst.dk/-/media/Viden/Specialplaner/Specialeplan-for-intern-m... Herfra: https://www.sst.dk/da/Viden/Specialeplanlaegning/Gaeldende%20specialepla... https://www.sst.dk/da/Viden/Specialeplanlaegning/Gaeldende-specialeplan

  • 1
  • 0
#39 Nis Schmidt

Jeg introducerede "vist" linket til det "klip" på politico.com, hvor en tidligere medarbejder udtaler sig om SP/Epic Systems.

Algoritmer er i de senere år blevet ensbetydende med AI/ML (artificial intelligence/machine learning), men "algoritmer" har været i IT hele tiden. A er "opskrifter" på hvordan programmer udfører behandling af data.

Indlæggets titel henviser til at resultaterne af disse behandlinger (af data) sjældent er bedre end de data, de arbejder på.

  • 1
  • 0
#40 Lars Skovlund

Algoritmer er i de senere år blevet ensbetydende med AI/ML (artificial intelligence/machine learning), men "algoritmer" har været i IT hele tiden. A er "opskrifter" på hvordan programmer udfører behandling af data.

Yes, og lægerne bruger så ordet på en tredje måde (om det som vi andre ville kalde flowcharts). Så forvirringen er total. Jeg mener i og for sig at man burde havde indført et nyt ord; opkomsten af "data science" som studieretning havde været en udmærket lejlighed. Selv en gammel bog som Russell/Norvig (grundbog i machine learning), som jeg brugte i 00'erne, bruger den klassisk-datalogiske definition.

  • 0
  • 0
#41 Michael Nielsen

Må jeg opfordre til at læse indlæg #16 fra Morten der er det mest fornuftige det er skrevet i denne tråd! Fordi noget betegnes som en algoritme er det ikke nødvendigvis fordækt, bias'ed og opfundet i de mørke kældre under Mark Zuckerbergs kontor - nogen gange er det en kendt matematisk formel, og nogen gange implementeres selv simple matematiske formler forkert i software... Så måske er der ikke tale om en fordækt beslutningstagene algoritme, men blot en alvorlig softwarefejl

  • 14
  • 0
#42 Bjarne Nielsen

men blot en alvorlig softwarefejl

Hvis en læge begår en alvorlig fejl, så må han stå til ansvar. Hvordan stiller man en alvorlig softwarefejl til ansvar?

Og software og anden automatisering kan både være fejlfri og alligevel voldsomt farligt. Det kan afspore sund fornuft, omtanke og almindelig skepsis hos dem, som bliver udsat for den. Det kommer helt an på sammenhængen.

Dels fordi at det kræver meget mod at gå op imod en algoritmisk anbefaling - man skal virkelig have kønskirtler, overskud og pondus for at gøre det, og har man det, så kan man spørge sig selv, om man i det hele taget har brug for algoritmisk støtte. De, som kan få det største udbytte af algoritmisk støtte er også dem, om har de ringeste forudsætninger for at forstå, hvis den er på vildspor ... og de ringeste forudsætninger for at sætte hælene i - nemlig de grønne og uerfarne, dem med mest på spil.

Der er også det aspekt, at folk der er pressede, kan udvikle tunnelsyn og ende med at forlade sig blindt på automatikken, selvom når der er klare signaler for det modsatte. Det behøver ikke engang være en decideret fejl, det kan bare være, at den er kommet udenfor det parameterrum, hvor den giver mening. Folk i vores sundhedsvæsen er vist bredt sig pressede for tiden, så det kan være farlig cocktail.

Et nøgleord her er "automation bias" - lad mig citere lidt fra wikipedia:

Automation bias is the propensity for humans to favor suggestions from automated decision-making systems and to ignore contradictory information made without automation, even if it is correct.

This has become a growing problem for decision making as intensive care units, nuclear power plants, and aircraft cockpits have increasingly integrated computerized system monitors and decision aids to mostly factor out possible human error.

Bemærk at vi ikke engang er begyndt at snakke om softwarefejl, endsige de alvorlige af slagsen. Man er godt nok naiv, hvis man stoler blindt på, at alt bliver bedre med en computer. Jeg vil stadig mene at forsigtigt er på sin plads.

  • 5
  • 1
#43 Michael Nielsen

Hvis en læge begår en alvorlig fejl, så må han stå til ansvar. Hvordan stiller man en alvorlig softwarefejl til ansvar

Det er vist en hel anden diskussion, men skal jeg alligevel afspore debatten lidt og gi mit bud, så er det på tide vi dropper den wild west tilgang til softwareudvikling der er fremherskende, teenagealderen er overstået, det er på tide branchen opfører sig voksent, modent og ansvarligt.

Softwareleverandører skal autoriseres, det skal ikke længere være ansvarsfrit at levere software mod betaling, hvis du leverer, tager dig betalt for det og der er fejl i, så er det dit ansvar, ikke modtagerens.

  • 9
  • 0
#44 Ditlev Petersen
  • 8
  • 0
#45 Nis Schmidt

@44: (fnis)

Re: Ikke alle algoritmer er fordækte

Jeg venter stadig på, at en eller anden politiker kræver et forbud mod algoritmer! Men det vil nok blive til et forbud mod logaritmer.

Det er altid fint med et godt grin, men da jeg omsider fik vejret igen, indså jeg, at tilsætter man politikere til debatten, så får man "på sigt": at du får ret.

Den tanke er lidt skræmmende!

  • 1
  • 0
#47 Anne-Marie Krogsbøll

Så måske er der ikke tale om en fordækt beslutningstagene algoritme, men blot en alvorlig softwarefejl

Ja, det er det, vi så gerne vil have opklaret.

Men i mine øjne er der - uanset om det er det ene eller det andet - et voldsomt stort advarselsflag i, at det har stået på siden 2019 (hvad skete der mon lige der?), og er nået at gå ud over 513 patienter, uden at nogen har nået at undre sig/reagere.

Nu er det forhåbentligt ikke ret mange, der direkte er blevet fejlbehandlet, men uanset om det er en "algoritme" eller en "formel" eller et "beslutningstræ" eller en "softwarefejl", så er det jo nok for den menige læge i praksis en Black Box, og sagen viser i mine øjne, at der er en risiko for overdreven tillid til, hvad der kommer ud af sådanne. Og det interessante er, hvorfor rettidig testning ikke har opdaget fejlen - for hvis det er fejl i testsprocedurerne, kan det samme jo gøre sig gældende andre steder i SP. Sjusker man? Har man måttet spare på testprocedurerne?

Og jeg kunne godt tænke mig at vide, hvordan man opdagede fejlen? Steg dødeligheden, eller var der pludseligt en vågen læge, som ikke kunne få anbefalingen til at passe med patienten, og som havde mod til at sige det højt, og efterprøve vurderingerne?

(eller kan det tænkes, at disse operationer er blevet farligere som følge af, at sygehusene er voldsomt pressede - og hastværk er lastværk? Og så har man glemt at tilpasse "algoritmen" til den nye virkelighed (hvis den ikke er selvlærende)? Nå , det er et vildt bud - jeg ved det...)

  • 2
  • 3
#48 Louise Klint

Så måske er der ikke tale om en fordækt beslutningstagene algoritme, men blot en alvorlig softwarefejl

Egentlig er jeg ikke særligt interesseret i det specifikt tekniske. Selvfølgelig for at indkredse, afdække og rette miseren. Men jeg prøver at se det fra patientens perspektiv.

Overvej engang, hvis det var dig selv. Dit hjerte!

Og du har stået igennem en hjerteoperation, som måske kunne være undgået. Pga. en softwarefejl...

Et invasivt indgreb – en operation – vælges vist kun, hvis man ikke kan behandle på anden vis. Der kan være risici og komplikationer forbundet hermed, også efterfølgende. Patienten kan også have andre sygdomme samtidig. Være gammel, svækket. Hvilken operation er her tale om?

Hertil kan du lægge de økonomiske omkostninger. (For noget, der muligvis er overflødigt?) Prioritering i sundhedsvæsenet, mv. ”Skal vi gøre det/ikke gøre det? Er det nødvendigt? Skal vi bruge pengene anderledes?” Det afgøres af en algoritme... (Tænk over det). Hjerteoperationer er ikke billige.

Aktuelle priser: Første excel-ark herunder, DRG-takster 2021. Hjerteoperationsomkostninger findes ca. mellem række 188-203, synes det. https://sundhedsdatastyrelsen.dk/da/afregning-og-finansiering/takster-dr...

  • 1
  • 4
#49 Michael Nielsen

Overvej engang, hvis det var dig selv. Dit hjerte!

Hvis du læser mit indlæg som om jeg negligerer alvorligheden af fejlen, så har du fuldstændigheden misforstået pointen med det og måske skal du lige læse det engang til.

Jeg argumentrerer for at fejlen sandsynligvis ikke skyldes teknologi liderlige AI konsulenters behov for at implementere beslutnings algoritmer alle steder, men forklaringen er den langt simplere at det er en fejlagtig implementering af den metode Morten linker til i #16 og dermed er der tale om en alvorlog software fejl.

Vi kan alle opfinde mere eller mindre vilde (konspitations) teorier, men ofte er forklaringen langt mere simpel.

  • 2
  • 0
#51 Anne-Marie Krogsbøll

fejlagtig implementering

Men det forklarer jo ikke, at der går 2 år, inden nogen opdager, at der er noget galt.

Det er vist kun CIMT der kan svare på hvor mange af den slags der findes implementeret i SP. Efter gældende regler er de vist i gråzone omkring hvorvidt sådanne modeller er medicinsk udstyr eller ej.

Jeg håber sandelig ikke, at det er en gråzone, om det er medicinsk udstyr eller ej, for hvis det er medicinsk udstyr, så er der, mig bekendt, netop ikke de samme sikkerhedskrav mht. dokumentation og testning, som der er for medicin. Det har der jo i tidens løb netop været en del sager om. Så jeg håber, at den type "algoritmer" og udstyr faktisk er underlagt nogle egentlige - og skrappe - sikkerhedskrav.

https://www.naturli.dk/artikel/svigt-fejl-og-mangler-i-medicinsk-udstyr/ Lad nu være med at stirre jer blinde på web-adressen - indholdet i artiklen er rigtigt nok. Det springende punkt er, om der er sket ændringer i kravene til den slags udstyr/software. Det er jeg ikke klar over, men det er andre måske.

  • 0
  • 1
#53 Jørgen Kanters

Jeg er ikke fagmand, men nysgerrig: Kan man læse ud af artiklen, at der er tale om en statisk regressionsmodel?

Og er det godt eller skidt i denne sammenhæng? Eller ligegyldigt?

0 0

Euroscore (II) er en simpel model der tager patientoplysninger og beregner dødeligheden efter en hjerteop. Der er ikke noget galt med modellen, men den er implementeret forkert i SP, og fortæller mest om det niveau programmørerne har. Ville være fundet med en simpel kvalitetskontrol. Det kan man så konkludere at de ikke har lavet,

Jeg ved ikke hvad statisk regression er (dit eget ord?) men metoden er irrelevant for programmeringsfejlen dvs ligegyldigt. Problemet er manglende kvalitetskontrol i CIMT.

  • 3
  • 0
#55 Niels Jensen

Euroscore har sin egen hjemmeside http://www.euroscore.org/euroscore_scoring.htm . Der er en beregner som du kan teste. Der findes lignende beregnere indenfor andre sygdomme, fx MDS. De hjælper læger med at fastlægge hvor alvorlig patientens sygdomssituation er. Som det allerede fremgår af diskussionen, så har Region H eller S ikke tested implementeringen af algorithmen i Sundhedsplatformen godt nok. Det er simpelthen dårligt IT håndværk der er tale om her, da det er en europæsisk score, så vil jeg være forbavset hvis Epic har lavet implementeringen.

  • 1
  • 0
#56 Louise Klint

Det må du undskylde, Michael Nielsen!

Jeg har intet at udsætte på dit indlæg. Det er godt. Det er mig, der har kludret.

Min kommentar var egentligt ikke rettet til dig. Jeg mente det generelt. Prøvede at perspektivere. Jeg skulle have formuleret det anderledes. Skrevet man, jer eller lignende. Det må du undskylde.

Jeg tog blot udgangspunkt i din pointe med softwarefejlen.

Min egen pointe var egentlig bare, at uanset hvilken teknisk fejl, der her er tale om, så har den potentielt omfattende konsekvenser. Menneskeligt. Økonomisk. Synes det.

Det må du undskylde.

  • 1
  • 0
#57 Claus Bobjerg Juul

Nej det er det nu ikke. Det er leverandøren af det software,der har produkt ansvaret og dermed ansvaret for at algoritmen regner rigtigt og at dette er eftervist i tilstrækkelig grad, i reglen ved en række forskellige verifikations og valideringstests inden det bliver CE mærket og frigivet. Lægemiddelstyrelsen har ansvar for godkendelse af produktet i henhold til gældende krav (indtil 2020 MDD og derefter MDR)

Produkt ansvar er et forhold mellem en køber og sælger, og ikke noget der vedrøre en borger/patient.

Konsekvensen er at patientet lider kropslig skade og måske dør og ansvaret er sundhedsmyndigheden.

Jeg vil vædde med at epic, i en retssag, vil argumentere for at deres standard produkt er blevet ændret meget og at regionerne har indgået i et udviklingsforløb og at det er deres ansvar at teste at systemet.

  • 1
  • 0
Log ind eller Opret konto for at kommentere