Algoritme-koks i Sundhedsplatformen: 500 hjertepatienter kan være opereret unødvendigt
En algoritme-fejl i Sundhedsplatformen betyder, at mere end 500 hjertepatienter siden 2019 kan være blevet opereret unødvendigt.
Det fremgår af et internt notat fra Region Hovedstadens Center for IT, Medico og Telefoni (CIMT) til regionsrådets medlemmer, som Version2 er i besiddelse af.
Helt specifikt er det fejl i beregningen af hjertepatienters risikoscore, der bruges til at vurdere, om en patient skal opereres eller ej.
»Fejlen indebærer, at algoritmen har beregnet en forkert risikoscore (euroscore), hvilket potentielt indebærer en risiko for at patienter er blevet opereret unødigt,« skriver CIMT i notatet, hvor det også fremgår, at 513 patienter har været berørt af fejlen.
Hård kritik af Sundhedsplatformen
Jacob Rosenberg, der er medlem af regionsrådet for Det Konservative Folkeparti, rejste et politikerspørgsmål om fejlen den 1. november, men han har endnu ikke fået en redegørelse.
CIMT afviser at svare på spørgsmål om sagen, før Jacob Rosenbergs spørgsmål er besvaret, men bekræfter fejlen over for Version2.
Jacob Rosenberg stillede spørgsmålet på baggrund af en bekymringshenvendelse fra en bekendt kardiolog, som var blevet informeret om at man straks skulle stoppe med at bruge beregningen.
Spurgt ind til fejlen, så er han først og fremmest bekymret for de potentielt fejlbehandlede patienter:
»Jeg synes det er helt forfærdeligt, for at sige det ligeud. Det er en pinlig affære for region Hovedstaden, at vi har et system, hvor det her kan forekomme.« siger han til Version2.
Daglig praksis siden 2019
Den fejlbehæftede algoritme er en del af den samlede risikoscore, der kaldes Euroscore. Euroscore blev ifølge notatet introduceret i daglig praksis tilbage i 2019, og fejlen blev opdaget 11. oktober i år.
Og på de to år, algoritmen har været i brug, har der altså været 513 berørte patienter, der kan risikere at have fået en fejlbehandling.
De patienter, der har fået planlagt et fremtidigt indgreb på baggrund af algoritmen er blevet revurderet af hjertekirurgiske overlæger. Ifølge notatet har der dog ikke været grund til at replanlægge eller aflyse nogle af de planlagte operationer.
De berørte patienter, der allerede er blevet opererede vil få deres sag gennemgået af en speciallæge, med henblik på at vurdere, om de er blevet fejlbehandlede. Gennemgangen forventes afsluttet inden årets udgang. Der vil blive udfærdiget en samlet rapport med resultaterne.
- Bølgerne gik højt til AI-debat på Christiansborg: 'Det er mere end i 11. time, vi diskuterer det her'
- »Helvedesplatformen:« Norske læger raser over pendant til Sundhedsplatformen
- »Nok er er nok«: Konservative i Region Sjælland vil skrotte Sundhedsplatformen
- AI kryber ind i investerings-beslutninger, men vi overser langsigtede effekter af bias, mener forsker
- Halvdelen af danskerne tvivler på det offentliges beskyttelse af persondata
- Danmark nummer et i digitalisering fastslår ny EU-rapport
- Denne artikel
- Fejl i opdatering af Sundhedsplatformen: Medarbejdere brugte nødprocedure i otte timer
- Fejl i Sundhedsplatformen gav forkerte medicinoplysninger til kræftpatienter
- emailE-mail
- linkKopier link

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
Fortsæt din læsning
- Sortér efter chevron_right
- Trådet debat
forudsat at producenten har designet og testet produktet i henhold til sit kvalitetssystem og givet myndighederne de rigtige oplysninger som forudsætning for godkendelsen. Det er ikke altid det sker.Konsekvensen er at patientet lider kropslig skade og måske dør og ansvaret er sundhedsmyndigheden
Nej det er det nu ikke. Det er leverandøren af det software,der har produkt ansvaret og dermed ansvaret for at algoritmen regner rigtigt og at dette er eftervist i tilstrækkelig grad, i reglen ved en række forskellige verifikations og valideringstests inden det bliver CE mærket og frigivet. Lægemiddelstyrelsen har ansvar for godkendelse af produktet i henhold til gældende krav (indtil 2020 MDD og derefter MDR)
Produkt ansvar er et forhold mellem en køber og sælger, og ikke noget der vedrøre en borger/patient.
Konsekvensen er at patientet lider kropslig skade og måske dør og ansvaret er sundhedsmyndigheden.
Jeg vil vædde med at epic, i en retssag, vil argumentere for at deres standard produkt er blevet ændret meget og at regionerne har indgået i et udviklingsforløb og at det er deres ansvar at teste at systemet.
Det må du undskylde, Michael Nielsen!
Jeg har intet at udsætte på dit indlæg. Det er godt. Det er mig, der har kludret.
Min kommentar var egentligt ikke rettet til dig. Jeg mente det generelt. Prøvede at perspektivere. Jeg skulle have formuleret det anderledes. Skrevet man, jer eller lignende. Det må du undskylde.
Jeg tog blot udgangspunkt i din pointe med softwarefejlen.
Min egen pointe var egentlig bare, at uanset hvilken teknisk fejl, der her er tale om, så har den potentielt omfattende konsekvenser. Menneskeligt. Økonomisk. Synes det.
Det må du undskylde.
Euroscore har sin egen hjemmeside https://www.euroscore.org/euroscore_scoring.htm . Der er en beregner som du kan teste. Der findes lignende beregnere indenfor andre sygdomme, fx MDS. De hjælper læger med at fastlægge hvor alvorlig patientens sygdomssituation er. Som det allerede fremgår af diskussionen, så har Region H eller S ikke tested implementeringen af algorithmen i Sundhedsplatformen godt nok. Det er simpelthen dårligt IT håndværk der er tale om her, da det er en europæsisk score, så vil jeg være forbavset hvis Epic har lavet implementeringen.
Tak for opklaring, Jørgen Kanters.
Det var Morten Svendsens bud ovenfor.Jeg ved ikke hvad statisk regression er (dit eget ord?)
Jeg er ikke fagmand, men nysgerrig: Kan man læse ud af artiklen, at der er tale om en statisk regressionsmodel?</p>
<p>Og er det godt eller skidt i denne sammenhæng? Eller ligegyldigt?</p>
<p>0 0
Euroscore (II) er en simpel model der tager patientoplysninger og beregner dødeligheden efter en hjerteop. Der er ikke noget galt med modellen, men den er implementeret forkert i SP, og fortæller mest om det niveau programmørerne har. Ville være fundet med en simpel kvalitetskontrol. Det kan man så konkludere at de ikke har lavet,
Jeg ved ikke hvad statisk regression er (dit eget ord?) men metoden er irrelevant for programmeringsfejlen dvs ligegyldigt. Problemet er manglende kvalitetskontrol i CIMT.
Tak, Morten Svendsen.
Jeg er ikke fagmand, men nysgerrig: Kan man læse ud af artiklen, at der er tale om en statisk regressionsmodel?
Og er det godt eller skidt i denne sammenhæng? Eller ligegyldigt?
fejlagtig implementering
Men det forklarer jo ikke, at der går 2 år, inden nogen opdager, at der er noget galt.
Det er vist kun CIMT der kan svare på hvor mange af den slags der findes implementeret i SP. Efter gældende regler er de vist i gråzone omkring hvorvidt sådanne modeller er medicinsk udstyr eller ej.
Jeg håber sandelig ikke, at det er en gråzone, om det er medicinsk udstyr eller ej, for hvis det er medicinsk udstyr, så er der, mig bekendt, netop ikke de samme sikkerhedskrav mht. dokumentation og testning, som der er for medicin. Det har der jo i tidens løb netop været en del sager om. Så jeg håber, at den type "algoritmer" og udstyr faktisk er underlagt nogle egentlige - og skrappe - sikkerhedskrav.
https://www.naturli.dk/artikel/svigt-fejl-og-mangler-i-medicinsk-udstyr/Lad nu være med at stirre jer blinde på web-adressen - indholdet i artiklen er rigtigt nok. Det springende punkt er, om der er sket ændringer i kravene til den slags udstyr/software. Det er jeg ikke klar over, men det er andre måske.
Hej,
Den er ikke selvlærende. Det lader til at være en ‘statisk’ regressionsmodel
Mvh Morten
Overvej engang, hvis det var dig selv. Dit hjerte!
Hvis du læser mit indlæg som om jeg negligerer alvorligheden af fejlen, så har du fuldstændigheden misforstået pointen med det og måske skal du lige læse det engang til.
Jeg argumentrerer for at fejlen sandsynligvis ikke skyldes teknologi liderlige AI konsulenters behov for at implementere beslutnings algoritmer alle steder, men forklaringen er den langt simplere at det er en fejlagtig implementering af den metode Morten linker til i #16 og dermed er der tale om en alvorlog software fejl.
Vi kan alle opfinde mere eller mindre vilde (konspitations) teorier, men ofte er forklaringen langt mere simpel.
Så måske er der ikke tale om en fordækt beslutningstagene algoritme, men blot en alvorlig softwarefejl
Egentlig er jeg ikke særligt interesseret i det specifikt tekniske. Selvfølgelig for at indkredse, afdække og rette miseren. Men jeg prøver at se det fra patientens perspektiv.
Overvej engang, hvis det var dig selv. Dit hjerte!
Og du har stået igennem en hjerteoperation, som måske kunne være undgået. Pga. en softwarefejl...
Et invasivt indgreb – en operation – vælges vist kun, hvis man ikke kan behandle på anden vis. Der kan være risici og komplikationer forbundet hermed, også efterfølgende. Patienten kan også have andre sygdomme samtidig. Være gammel, svækket. Hvilken operation er her tale om?
Hertil kan du lægge de økonomiske omkostninger. (For noget, der muligvis er overflødigt?) Prioritering i sundhedsvæsenet, mv. ”Skal vi gøre det/ikke gøre det? Er det nødvendigt? Skal vi bruge pengene anderledes?” Det afgøres af en algoritme... (Tænk over det). Hjerteoperationer er ikke billige.
Aktuelle priser: Første excel-ark herunder, DRG-takster 2021. Hjerteoperationsomkostninger findes ca. mellem række 188-203, synes det.https://sundhedsdatastyrelsen.dk/da/afregning-og-finansiering/takster-drg/takster-2021
Ja, det er det, vi så gerne vil have opklaret.Så måske er der ikke tale om en fordækt beslutningstagene algoritme, men blot en alvorlig softwarefejl
Men i mine øjne er der - uanset om det er det ene eller det andet - et voldsomt stort advarselsflag i, at det har stået på siden 2019 (hvad skete der mon lige der?), og er nået at gå ud over 513 patienter, uden at nogen har nået at undre sig/reagere.
Nu er det forhåbentligt ikke ret mange, der direkte er blevet fejlbehandlet, men uanset om det er en "algoritme" eller en "formel" eller et "beslutningstræ" eller en "softwarefejl", så er det jo nok for den menige læge i praksis en Black Box, og sagen viser i mine øjne, at der er en risiko for overdreven tillid til, hvad der kommer ud af sådanne. Og det interessante er, hvorfor rettidig testning ikke har opdaget fejlen - for hvis det er fejl i testsprocedurerne, kan det samme jo gøre sig gældende andre steder i SP. Sjusker man? Har man måttet spare på testprocedurerne?
Og jeg kunne godt tænke mig at vide, hvordan man opdagede fejlen? Steg dødeligheden, eller var der pludseligt en vågen læge, som ikke kunne få anbefalingen til at passe med patienten, og som havde mod til at sige det højt, og efterprøve vurderingerne?
(eller kan det tænkes, at disse operationer er blevet farligere som følge af, at sygehusene er voldsomt pressede - og hastværk er lastværk? Og så har man glemt at tilpasse "algoritmen" til den nye virkelighed (hvis den ikke er selvlærende)? Nå , det er et vildt bud - jeg ved det...)
Man kan altid gør gældende at det så går ud over Danmarks programmels køretid og dermed konkurrenceevne.Det er altid fint med et godt grin, men da jeg omsider fik vejret igen, indså jeg, at tilsætter man politikere til debatten, så får man "på sigt": at du får ret.
@44: (fnis)
Re: Ikke alle algoritmer er fordækte</p>
<p>Jeg venter stadig på, at en eller anden politiker kræver et forbud mod algoritmer! Men det vil nok blive til et forbud mod logaritmer.
Det er altid fint med et godt grin, men da jeg omsider fik vejret igen, indså jeg, at tilsætter man politikere til debatten, så får man "på sigt": at du får ret.
Den tanke er lidt skræmmende!
Jeg venter stadig på, at en eller anden politiker kræver et forbud mod algoritmer! Men det vil nok blive til et forbud mod logaritmer.Fordi noget betegnes som en algoritme er det ikke nødvendigvis fordækt, bias'ed og opfundet i de mørke kældre under Mark Zuckerbergs kontor - nogen gange er det en kendt matematisk formel, og nogen gange implementeres selv simple matematiske formler forkert i software.
Det er vist en hel anden diskussion, men skal jeg alligevel afspore debatten lidt og gi mit bud, så er det på tide vi dropper den wild west tilgang til softwareudvikling der er fremherskende, teenagealderen er overstået, det er på tide branchen opfører sig voksent, modent og ansvarligt.Hvis en læge begår en alvorlig fejl, så må han stå til ansvar. Hvordan stiller man en alvorlig softwarefejl til ansvar
Softwareleverandører skal autoriseres, det skal ikke længere være ansvarsfrit at levere software mod betaling, hvis du leverer, tager dig betalt for det og der er fejl i, så er det dit ansvar, ikke modtagerens.
men blot en alvorlig softwarefejl
Hvis en læge begår en alvorlig fejl, så må han stå til ansvar. Hvordan stiller man en alvorlig softwarefejl til ansvar?
Og software og anden automatisering kan både være fejlfri og alligevel voldsomt farligt. Det kan afspore sund fornuft, omtanke og almindelig skepsis hos dem, som bliver udsat for den. Det kommer helt an på sammenhængen.
Dels fordi at det kræver meget mod at gå op imod en algoritmisk anbefaling - man skal virkelig have kønskirtler, overskud og pondus for at gøre det, og har man det, så kan man spørge sig selv, om man i det hele taget har brug for algoritmisk støtte. De, som kan få det største udbytte af algoritmisk støtte er også dem, om har de ringeste forudsætninger for at forstå, hvis den er på vildspor ... og de ringeste forudsætninger for at sætte hælene i - nemlig de grønne og uerfarne, dem med mest på spil.
Der er også det aspekt, at folk der er pressede, kan udvikle tunnelsyn og ende med at forlade sig blindt på automatikken, selvom når der er klare signaler for det modsatte. Det behøver ikke engang være en decideret fejl, det kan bare være, at den er kommet udenfor det parameterrum, hvor den giver mening. Folk i vores sundhedsvæsen er vist bredt sig pressede for tiden, så det kan være farlig cocktail.
Et nøgleord her er "automation bias" - lad mig citere lidt fra wikipedia:
Automation bias is the propensity for humans to favor suggestions from automated decision-making systems and to ignore contradictory information made without automation, even if it is correct.
This has become a growing problem for decision making as intensive care units, nuclear power plants, and aircraft cockpits have increasingly integrated computerized system monitors and decision aids to mostly factor out possible human error.
Bemærk at vi ikke engang er begyndt at snakke om softwarefejl, endsige de alvorlige af slagsen. Man er godt nok naiv, hvis man stoler blindt på, at alt bliver bedre med en computer. Jeg vil stadig mene at forsigtigt er på sin plads.
Må jeg opfordre til at læse indlæg #16 fra Morten der er det mest fornuftige det er skrevet i denne tråd! Fordi noget betegnes som en algoritme er det ikke nødvendigvis fordækt, bias'ed og opfundet i de mørke kældre under Mark Zuckerbergs kontor - nogen gange er det en kendt matematisk formel, og nogen gange implementeres selv simple matematiske formler forkert i software... Så måske er der ikke tale om en fordækt beslutningstagene algoritme, men blot en alvorlig softwarefejl
Yes, og lægerne bruger så ordet på en tredje måde (om det som vi andre ville kalde flowcharts). Så forvirringen er total. Jeg mener i og for sig at man burde havde indført et nyt ord; opkomsten af "data science" som studieretning havde været en udmærket lejlighed. Selv en gammel bog som Russell/Norvig (grundbog i machine learning), som jeg brugte i 00'erne, bruger den klassisk-datalogiske definition.Algoritmer er i de senere år blevet ensbetydende med AI/ML (artificial intelligence/machine learning), men "algoritmer" har været i IT hele tiden. A er "opskrifter" på hvordan programmer udfører behandling af data.
Jeg introducerede "vist" linket til det "klip" på politico.com, hvor en tidligere medarbejder udtaler sig om SP/Epic Systems.
Algoritmer er i de senere år blevet ensbetydende med AI/ML (artificial intelligence/machine learning), men "algoritmer" har været i IT hele tiden. A er "opskrifter" på hvordan programmer udfører behandling af data.
Indlæggets titel henviser til at resultaterne af disse behandlinger (af data) sjældent er bedre end de data, de arbejder på.
Er det det, der kaldes ”beslutningsstøtte”? (/Sarkasm off).
Det her er en kæmpe skandale. Som burde på flere forsider.
Nu har jeg læst alle de gode kommentarer. Men mange spørgsmål melder sig fortsat.
Hvilket indgreb er her tale om? Er patienterne orienteret?
Så vidt jeg forstår, definerer specialevejledningerne behandlingerne samt hvilke hospitalsafdelinger, der må udføre hvad. Vi kunne godt bruge noget fagprofessionel assistance her.
Forrige, 06.11.18: https://www.sst.dk/-/media/Viden/Specialplaner/Specialeplan-for-intern-medicin,-c-,-kardiologi/Specialevejledning-for-Intern-medicin-kardiologi-af-den-6-november-2018.ashx?la=da&hash=B2A586BA15468745C8E68A85DDB14A02E94C607BNuværende, gældende fra 22.07.21:https://www.sst.dk/-/media/Viden/Specialplaner/Specialeplan-for-intern-medicin,-c-,-kardiologi/Specialevejledning-for-Intern-medicin-Kardiologi-den-22-juli-2021.ashx?la=da&hash=A2A5FDA0013B60EFF10FC6FA20D5BFEC2182E90CHerfra:https://www.sst.dk/da/Viden/Specialeplanlaegning/Gaeldende%20specialeplan/Specialeplan%20for%20intern%20medicin%20kardiologihttps://www.sst.dk/da/Viden/Specialeplanlaegning/Gaeldende-specialeplan
Jeg er for inhabil til at deltage i den her mosesump af skøre indlæg.
Jeg ser ikke nogen der foreslår at vi skal tilbage til papir? Og hvem siger at vi ikke skal bruge IT? Det er vel rimeligt nok hvis man bruger beslutningsstøttende algoritmer og det viser sig at en fejl i algoritmen medfører at 500 patienter potentielt er blevet fejlbehandlet, at man stiller spørgsmålstegn ved om reglerne for brug af den slags software i et reguleret område er overholdtDu får lige en downvote. Og et spørgsmål: hvis vi ikke skal bruge IT til at udføre opgaver som sundhedspersonalet ellers skulle lave, skal vi så overhovedet ha en elektronisk journal? Vil du tilbage til papir? (held og lykke med den tanke).</p>
<p>
Du får lige en downvote. Og et spørgsmål: hvis vi ikke skal bruge IT til at udføre opgaver som sundhedspersonalet ellers skulle lave, skal vi så overhovedet ha en elektronisk journal? Vil du tilbage til papir? (held og lykke med den tanke).
Ja, det håber jeg også, Nikolaj Rosing. For jeg giver dig ret i, at lige nu er det en lidt halv historie med mange uforståelige huller.Lad os håbe at pressen herunder Version2 holder fast i historien.
Det kan jeg godt forstå. Det bør heller ikke være almindelige borgere der skal gøre en indsats for at udrede trådene. Det er myndighedernes pligt og hvis patientsikkerheden er i fare skal produktet tilbagekaldes og en undersøgelse iværksættes. Der er veldefinerede procedurer for det hele i regulativet og standarderne.Jeg har brugt rigeligt tid på at slås med regionen om aktindsigter i SP, Nikolaj Rosing. Lige nu er tid og kræfter der ikke.
Lad os håbe at pressen herunder Version2 holder fast i historien.
Jeg har brugt rigeligt tid på at slås med regionen om aktindsigter i SP, Nikolaj Rosing. Lige nu er tid og kræfter der ikke.Mon ikke du kan søge aktindsigt hvis du virkelig gerne vil vide det?
[1] ..Gert Galster, <a href="https://gert.galster.dk/">https://gert.galster.dk/</a> [1] ..https://www.politico.com/story/2019/06/06/epic-denmark-health-1510223
Hold da k...!
Det er så Søren Lauesen, der citeres der.“We’re an easy target for a big company like Epic,” he said.
Men kan det andet end ikke at fejle?“At one point I thought, this just isn’t right for us,” said Nanna Skovgaard, the Health Ministry’s digital director. But "Epic is too big to fail.”
Som en eller anden sagde engang, hvis man graver et hul det forkerte sted, så kan nok så meget yderligere graveri ikke løse fejlen.
Hvis der nu en dag blev ansat folk i ministeriet, der turde tænke selv. Og tale. Og blive ved, ville man så overhovedet være i stand til at konvertere de data, der ligger i Too-big-to-fail til et mere velfungerende system?
Nu var det mig der startede det spor op, og jeg har fået det pågældende dokument at se, men kun fordi nogen delte det på FB.Mon ikke du kan søge aktindsigt hvis du virkelig gerne vil vide det? Det er jo en sag i et offentligt system, som er betalt af skatteyderne, så,skatteyderne har vel en ret til at få information om sagen sålænge rigets sikkerhed ikke er på spil
Hvis man tager situationen fra begyndelsen af..Det kan sagtens være i dette udtræk, den er gal. Hvem har i så fald implementeret, er det Epic, CIMT eller den danske leverandør?
så er alt jo ganske almindeligt kommunalt, forventeligt og helt efter bogen ;)As the go-live date of May 20, 2016 approached, Galster[1] and his colleagues strongly argued for a delay. But the authorities followed what they described as Epic's strategy, 'throw it all out there, fix the problems later, build the road while you’re traveling down it,'
There were no pilots, no tests, just go-live, said Galster. I’ve worked on health IT for 20 years and never seen anything like it. This was worse than amateurish.
[1] ..Gert Galster, https://gert.galster.dk/[1] ..https://www.politico.com/story/2019/06/06/epic-denmark-health-1510223
Mon ikke du kan søge aktindsigt hvis du virkelig gerne vil vide det? Det er jo en sag i et offentligt system, som er betalt af skatteyderne, så,skatteyderne har vel en ret til at få information om sagen sålænge rigets sikkerhed ikke er på spilJa - det er mig en gåde, at vi borgere ikke har ret til indblik den slags.
Enig. Det kunne meget vel være regionh’s eget plug-in til SP. Eller en tredjepart. Det kunne også være lavet før de nye regler trådte i kraft og endt i limbo CE og MDR mæssigt . Min erfaring fra regionen siger mig det er en gråzone på flere niveauer.
Næppe, det ville i så fald formentlig være strafbart.Det er vel ikke noget hjemmestrikket, som en eller anden læge/it-medarbejder har strikket sammen?
Ja, netop.Det kan sagtens være i dette udtræk, den er gal. Hvem har i så fald implementeret, er det Epic, CIMT eller den danske leverandør?
Ja - det er mig en gåde, at vi borgere ikke har ret til indblik den slags. Ikke nødvendigvis detaljer i algoritmen. Men vi burde da kunne få oplyst, hvem der har lavet den, og hvem der har implementeret den, og hvad der er gået galt. Det burde ikke være forretningshemmeligheder. Men mht. SP er hvad som helst erfaringsmæssigt forretninghemmeligheder, og det kræver års tovtrækkeri om aktindsigt, før det hænder, at de alligevel er nødt til at udlevere det.Rapporten vil forhåbentlig vise det, men alle parter har desværre en tendens til at være meget hemmelighedsfulde (jvf. vejledningen til skift mellem sommer/vintertid, der var hemmeligtstemplet, selvom den var genstand for tilbagevendende debat hvert år).
Sådan gik det i hvert fald med businesscasen (eller businesscasene, for der var jo et udvalg) og med IT-sikkerhedsrevisions rapporten.
Mjah, der ligger officielle beregnere her: https://www.euroscore.org/calculators.htmDet er svært at sige på det foreliggende, men en oplagt fordel ved at implementere i SP/Epic kunne være at (forsøge på at) udtrække svarene på de enkelte spørgsmål fra patientens historik, således at lægen ikke behøver foretage sig andet end at bede systemet om en score. Det kan sagtens være i dette udtræk, den er gal. Hvem har i så fald implementeret, er det Epic, CIMT eller den danske leverandør?Men jeg vender tilbage til min undren fra tidligere: Den fejlbehæftede score er åbenbart ikke selve Euroscore, men er en algortimeberegnet værdi, som fodres ind i Euroscore - som Sundhedsplatformen har beregnet (har jeg forstået det rigtigt?). Hvem har så udformet den, og er den selvlærende på basis af de data om patientforløb som løbende går gennem SP?
Rapporten vil forhåbentlig vise det, men alle parter har desværre en tendens til at være meget hemmelighedsfulde (jvf. vejledningen til skift mellem sommer/vintertid, der var hemmeligtstemplet, selvom den var genstand for tilbagevendende debat hvert år).
Det er vel ikke noget hjemmestrikket, som en eller anden læge/it-medarbejder har strikket sammen?
Nej det er det nu ikke. Det er leverandøren af det software,der har produkt ansvaret og dermed ansvaret for at algoritmen regner rigtigt og at dette er eftervist i tilstrækkelig grad, i reglen ved en række forskellige verifikations og valideringstests inden det bliver CE mærket og frigivet. Lægemiddelstyrelsen har ansvar for godkendelse af produktet i henhold til gældende krav (indtil 2020 MDD og derefter MDR)I mine øjne er det regionens ansvar at teste implementeringen i den anvendte software og også sikre at man har gode testdata.
Normalt vil den slags beslutningsstøttende algoritmer være kategoriseret som software as a medical device (SaMD) og er dermed underlagt reglerne i MDR i Europa. Der er naturligvis altid fejl i software men at en sådan score skulle kunne regnes forkert ud lyder faktisk ret usandsynligt med mindre der er tale om faktorer der slet ikke nævnt i artiklen. Der er sådan set temmelig høje krav til kvalitet for den slags produkter så der stikker noget under. Hvilket firma står bag den algoritme og er de overhovdet ISO13485 certificeret? Er produktet CE mærket?
Nå, jeg kan se, at du kom mig i forkøbet med de bekymringer, Bjarne Nielsen.
"De berørte patienter, der allerede er blevet opererede vil få deres sag gennemgået af en speciallæge, med henblik på at vurdere, om de er blevet fejlbehandlede. "
Umiddelbart synes jeg ikke, at " en speciallæge" lyder af så meget i en så alvorlig sag. Forhåbentlig er det en, der ikke selv er part i sagen. Jeg kunne godt ønske mig et panel af uafhængige eksperter, for fejlene i behandlingen har jo åbenbart ikke været så åbenlyse, at de indtil nu involverede læger har reageret på dem.
Men det er måske så enkelt som at tjekke, om den korrekt udregnede risikoscore ville have ændret behandlingen? I så fald må man vel sige, at det er risiko-scoren, der beslutter behandlingen.
Men jeg vender tilbage til min undren fra tidligere: Den fejlbehæftede score er åbenbart ikke selve Euroscore, men er en algortimeberegnet værdi, som fodres ind i Euroscore - som Sundhedsplatformen har beregnet (har jeg forstået det rigtigt?). Hvem har så udformet den, og er den selvlærende på basis af de data om patientforløb som løbende går gennem SP?
Udover fejlen, så hæfter jeg mig ved flg. passager i artiklen:
De patienter, der har fået planlagt et fremtidigt indgreb på baggrund af algoritmen er blevet revurderet af hjertekirurgiske overlæger. Ifølge notatet har der dog ikke været grund til at replanlægge eller aflyse nogle af de planlagte operationer.
Hvad med de patienter, som på baggrund af algoritmen ikke har fået planlagt et indgreb? Ved vi at fejlen altid falder ud til den ene side?
Ved vi, hvor tilbøjelige hjertekirurgiske overlæger er til afvige fra algoritmens anbefaling, dvs. hhv. anbefale indgreb hvor algoritmen ikke giver belæg, men nok mere interessant, fravælge indgreb hvor algoritmen anbefaler det? Er det sidste nogensinde sket?
Ved vi, om der er sket en genberegning med en korrekt algoritme, og ved vi, om det har ændret score på en betydende måde?
Ved vi, hvor tilbøjelige hjertekirurgiske overlæger er til i det hele taget af ombestemme sig, hvor en pt. først er indstillet til operation?
Mit indtryk af overlæger er, at de er gode til at træffe hurtige beslutninger, og de generelt ikke efterfølgende har for vane at sætte spørgsmålstegn ved det ... jeg har også hørt en sige, at hvis ikke man var en person både med stor dømmekraft og med stor tillid til egen dømmekraft, så ville man ikke overleve længe som overlæge.
Der er også det aspekt, at det næppe er karrierefremmende at være den, som tog beslutningen om at gå tilbage på allerede planlagt operation, hvor pt. senere viser sig at falde om.
De berørte patienter, der allerede er blevet opererede vil få deres sag gennemgået af en speciallæge, med henblik på at vurdere, om de er blevet fejlbehandlede. Gennemgangen forventes afsluttet inden årets udgang. Der vil blive udfærdiget en samlet rapport med resultaterne.
Ideelt set, så ville det kunne bidrage til maksimal læring ... men sket er sket, og man gør klogt i at lade sovende hunde i fred. Hvem vinder noget ved at der skabes tvivl og måske grund til erstatningssager? Så hvad vinder: ønsket om maksimal læring, eller ønsket om at skabe ro og genskabe "tillid"?
Kort sagt: godt at fejlen blev opdaget, håber at det generelt højner niveauet af omhu og sikkerhed - men der er for meget subjektivitet i de opfølgende undersøgelser til, at jeg vil tillægge dem nogen særlig betydning.
Kender ikke sagen, men det kunne godt lugte lidt af at implementeringen af den i SP er skudt ved siden af.
Artiklen siger, at der er blevet beregnet en forkert score, så det er ikke euroscore som sådan, der sættes spørgsmålstegn ved:
Fejlen indebærer, at algoritmen har beregnet en forkert risikoscore (euroscore)
... hvilket uddybes yderligere længere nede:
Den fejlbehæftede algoritme er en del af den samlede risikoscore, der kaldes Euroscore.
Det lugter langt væk af problemer med input kvalitet, og dermed også med kvaliteten af output. Det ligner klart en tilståelsessag fra SPs side. Nu må vi bare håbe, at der udtrækkes maksimal læring af hændelsen.
Hej,
Brug af forskellige “algoritmer” til forskellige risikovurderinger er meget normalt. Det kan være simple udregninger til mere statistisk avancerede modeller.
De algoritmer i denne forstand, som jeg har mødt, baserer sig på kliniske studier. Og bliver også tjekket i kliniske forsøg. Så hvis de er rigtigt implementeret, så er deres brug meget rationelt.
Det er vist kun CIMT der kan svare på hvor mange af den slags der findes implementeret i SP. Efter gældende regler er de vist i gråzone omkring hvorvidt sådanne modeller er medicinsk udstyr eller ej.
Det er også min erfaring at når man taler om modeller og algoritmer i dette felt, så er der forskellig betydning af ordene for fx ingeniører, dataloger og medicinsk personale.
Den omtalte Euroscore er også tilgængelig online. Se wiki
https://en.m.wikipedia.org/wiki/EuroSCORE
Kender ikke sagen, men det kunne godt lugte lidt af at implementeringen af den i SP er skudt ved siden af.
Mvh Morten
Alt IT involvere databehandling på et eller flere niveauer.
Alle mennesker dør før eller siden, og al mad er fremstillet ved brug af bestråling og atomkraft. Goddag mand, økseskaft.
Det er yderst relevant at spørge ind til, hvorvidt systemet, formelt og/eller de facto, har været besluttende eller beslutningsstøttende, og det taler lige ind i en række aktuelle diskussioner, som f.eks. diskussionen om såkaldt "automation bias".
Det er da også fornuftig, og endda udtryk for rettig omhu, at spørge ind til, om dette er et enestående tilfælde, eller om der er lignende funktionaliteter, og om de på lignende vis kan formå at lede til fejlslutninger.
Og det er lige så lidt udtryk for maskinstormeri at stille spørgsmål til, hvad der gik galt, hvorfor det gik galt, og om noget lignende kan gå galt andre steder, som det er udtryk for flyskræk at have havarikommisioner.
Kunne måske have undersøgt om lignende fejl kendes fra udlandet eller de er begrænset til den danske udgave?
Der er højst tale om en lille justering i næste release. I mellemtiden kan man glæde sig over, at man bruger et af de mest avancerede systemer til sygehuse ...
Og over at patienterne ikke tør lade sig indlægge?
Faktisk ufatteligt godt...
Sundhedsplatformen ordinerede kraftig medicin, der ville have modarbejdet den medicin jeg får, og muligvis have slået mig i hjel.
Efter lidt recearch gik det op for mig at et fundamentalt problem ser ud til at være at der ikke er nogen, der tager ansvaret for at Sundhedsplatformens data er rigtige, retvisende og bliver brugt rigtigt.
MVH Jan - der tilfældigvis var ved bevidsthed og forhørte sygeplejersken om doseringen
Tak for opklaring, Lars Skovlund.
Jeg tænkte nu mest på, om der var andre sygdomme, som har en "algoritmebehandler" i Sundhedsplatformen.
Ja, mit svar holder stadigt, alle steder. Alt IT involvere databehandling på et eller flere niveauer.
"opfundet"
For mig handler det ikke om hvem der har opfundet algoritemen, men hvem der ikke har gjort sit arbejde i at teste algoritmen og teste implementeringen i den anvendte software.
I mine øjne er det regionens ansvar at teste implementeringen i den anvendte software og også sikre at man har gode testdata.
Tak for svar, Claus Bobjerg Juul. Jeg tænkte nu mest på, om der var andre sygdomme, som har en "algoritmebehandler" i Sundhedsplatformen.
Hvor er der mere den slags?
Alle steder er det korte svar.
Det kunne lige så godt være at applikationen læse et forkert sted i databasen og kom frem til samme output (eller noget der var værre)
En paralle til noget lidt mere jordnært kunne være at du taster E på dit tastatur, men der fremkommer et R.
Er det mon Epic, vi skal spørge, eller hvem har mon "opfundet" denne algoritme? Dr. Watson, som vi ikke har hørt meget til i lang tid?
Og er den "selvlærende"? For i så fald burde den vel have "lært", at den regnede forkert?
Er det manglende:
A.14.3.1 Protection of test data Control: Test data shall be selected carefully, protected and controlled.
A.14.2.8 System security testing Control: Testing of security functionality shall be carried out during development.
A.14.2.9 System acceptance testing Control: Acceptance testing programs and related criteria shall be established for new information systems, upgrades and new versions.
?????
Er denne algoritme en del af selve Sundhedsplatformen? Jeg var slet ikke klar over, at Sundhedsplatformen på den måde indeholdt behandlingsbesluttende funktioner.
Hvor er der mere den slags? Det kunne da være rart at vide, så man kan gardere/forberede sig. Man har vel som patient ret til at få at vide, hvis det er en algoritme, der er ens behandler?
Men det viser vel faren ved algoritmer i sådanne sammenhænge. I denne situation har algoritmen åbenbart taget beslutningen uden om lægerne, som bare har rettet sig efter den. Er det i overensstemmelse med procedurerne, eller er der sket det, vi før har diskuteret - at når først en algoritmen har talt, så er beslutningen mere eller mindre taget, for ingen tjekker beslutningsgangen? Hvor algoritmen går ind, går forstanden ud? Enten pga. travlhed/dovenskab, eller fordi denne er fuldstændig uigennemskuelig.
Jeg kommer til at tænke på den nylige artikel her om algoritmer, som skal prioritere socialsager i Århus, hvor det bedyredes, at algoritmen absolut ikke skulle træffe beslutninger. Skulle den - i følge vejledningerne - det i Sundhedsplatformen, eller skulle den kun være vejledende?
Det kunne være rart at få oplyst. Og som sagt: Hvilke andre algoritmebehandlere gemmer sig i Sundhedsplatformen?