Sådan skal AI give resultater i det danske sundhedsvæsen

Kan AI give begrundelse?

https://en.wikipedia.org/wiki/Explainable_artificial_intelligence

Kan AI give begrundelse?

Som patient, så er vigtigt at kunne forstå både baggrunden og årsagen.

Hvis AI udvælger og fodrer lægerne med informationer, så ligner det noget som ikke har med AI at gøre, men et hemmeligt system, der har til formål, at kunne misvejlede lægerne.

Så er det jo godt, at OUH, Odense Universitetshospital, er i gang med projektet ”Automatisk udvælgelse af data til patienters journal” (2. nederst, af typen ”udvikling”).

Flot. Så har vi også skabt et feedback-loop. Automatisk udvælgelse af data til journaler, som er det grundlag, som vi træner nye automatikker på. Det kan ikke gå galt ... :-).

Jeg ser dog meget optimistisk på området. I mine øjne er dine absolut valide punkter udfordringer, der skal løses, og ganske givet også vil blive løst.

Hvis jeg skal være fræk, der hvor du er flink, så er problemet måske netop, at området generelt er præget mere af optimisme end realisme ... :-).

Vi er enige i, at der er udfordringer, som SKAL løses, og jeg håber også, at vi kan bliver enige om, at det er en forudsætning - og at det derfor ikke kan komme som en eftertanke, eller noget, som andre må tage sig af.

Når man kigger på et område som anonymisering, så er der almindelig enighed om, at det er en forudsætning for accept, og det virker da også til at være et pligtord i alle salgstalerne ... men i praksis ligger det endog meget tungt med reelt indsats på dette område. Alle forskningskronerne går til anvendelsessiden, og der virker ikke til at være nogen akademisk prestige, eller for den sags skyld, en åbenlys karrierevej i at interessere sig for anonymisering.

Og det bliver ikke bedre af, at der er en iboende modstrid imellem anonymiserning og resultater ... jo mere anonyme og intetsigende input bliver, jo mindre kan man få ud af dem. Og måske er det derfor at der bliver tysset på alle, som begynder at pippe op om det ... vi skulle jo nødigt ødelægge den gode stemning og stå i vejen for fremtiden og de gode resultater med alt for relevante indvendinger, vel?

Derfor deler jeg heller ikke din optimisme med, at de "ganske givet også VIL blive løst." (min fremhævning)

For der er en række indbyggede modsætningsforhold i området:

• transparency vs. accountability: Transparens er en forudsætning for tillid, men kræfter vil trække i den anden retning for at undgå at blive stillet alt for meget til ansvar. Og det inden at man begynder at tale om "forretningshemmeligheder". Transparency er derfor naturligt under pres.
• privacy vs accuracy: Jo mere præcise resultater man ønsker, jo tættere skal man også gå på. Man skal simpelthen have en større lup frem.
• performance vs explainability: I jo højere grad, at man stiller krav til, at resultatet kan forklares, jo mindre forudsigelseskraft vil modellerne få. Et ugennemskueligt sammensurium af hundrede af faktorer vil performe bedre end tre klart vægtede faktorer.

Og lad os gå lidt hurtige frem og tage disse, som af nogle bliver benævnt "the transparency paradox" - begrebet "explainability" er forbundet med:

• vulnerability
• confidentialilty
• security
• liability

F.eks. vil en model med god "explainability" have dårlig "confidentiality", og vil derfor nemmere kunne stjæles.

Og første punkt med "vulnerability" er væsentligt. Jo bedre man kan forstå en model, jo nemmere er det at manipulere den. Vi bliver derfor nødt til ikke bare at vurdere, hvordan en model yder med naturligt input, men også overveje, hvad der sker, hvis den kan blive udsat for bevidst manipulation.

Både ved at manipulere med træningsdata, så modellen lærer at se efter noget, som slet ikke er relevant, f.eks. ved at alle med rød trøje falder ud til en side.

Men også en veltrænet model kan have svagheder - søg f.eks. på "one pixel attacks" - det er mange gange vist, at billedgenkendelse kan snydes ved at tilføje velanbragt støj, som for det menneskelige fremstår usynligt, og få modellerne til åbenlyst og med 99% konfidens at tage fejl. Men hvad er den nedre grænse for mængden af støj ... en pixel, viser det sig, bare den er tilpas velvalgt.

Det betyder måske ikke så meget i laboratoriet, og under skærpet opsyn; men hvis vi vil realisere nogle af løfterne, så skal det ud af laboratoriet, og det med opsyn, vil nok skulle spares væk, for at have en business-case. Og så bliver det farligt.

For der er solide udfordringer - og der er stærke incitamenter for at tale dem ned. De SKAL håndteres, men VIL de også blive det?

OK, nu fortjener debatten og min kilde vist, at jeg gør det bedre end at citere frit fra hukommelsen:

... I et andet afsluttet forskningsprojekt fandt de, at en tredjedel af de patienter, som registrene påstod led af medfødt hjertefejl, aldrig havde fået bekræftet den diagnose. Der var ikke skyggen af klinisk dokumentation.</p>
<p>"Det er rigtigt, at registrene er noget fejlbefængte, og det er ærgerligt for forskere som mig, der jo af afhængig af, at data er til at stole på," siger Søren Brunak.</p>
<p>Han fortælle at fejlene opstår, i forbindelse med at en læge eller en sygeplejeske skriver journal. Da personalet selvfølgelig først og fremmest opfatter patientjournalerne som deres indbyrdes kommunikationsredskab, skriver de diagnoser ned, som de endnu kun mistænker patienten for at have. Diagnosen kan først stilles efter nærmere undersøgelse. Men undersøgelserne finder ikke altid sted, fordi patienten når at dø inden da, lægen har for travlt, eller det kræver indvolvering af et andet speciale. Ikke desto mindre havner de mistænkte diagnoser i registrene, hvor det nu ser ud, som om patienten rent faktisk havde den.

Og lidt længere nede:

"Som myndighed eller forsker skal man være meget varsom med at melde registerdata ud, inden man har krydstjekket, at tallene virkelig er robuste. Og gør man det håndholdt, må man være indstillet på, at det er en tidskrævende og omstændelig proces, der kræver stor faglig ekspertise", siger Søren Brunak, der som eksempel nævner, at hans postdoc Isabella Friis Jørgensen brugte måneder på minutiøst at sammenholde registerdata med de oplysninger, der stod nedfældet i patienternes journaler, for at se, om der var den nødvendige kliniske dokumentation for diagnoserne. At rette fejlene håndholdt giver dog kun mening i et afgrænset forskningsprojekt, siger han.</p>
<p>"Det ville tage alt for lang tid, hvis man skulle rette alle fejlregisterfejl manuelt. Mon også på den front har det vist sig, at vi kan få løst problemet af computeralgoritmer, der er designet til at fnde fejl i registre, " siger Søren Brunak.

Weekendavisen nr. 51/2020, Ideer, "Sygemeldte journaler" af Pernille Hildebrandt.

Artiklen diskuterer også betydningen af dette for personlig medicin og skræddersyede behandlinger, og der er selvfølgelig stor forskel på at kigge overordnet på det på tværs af hundrede og tusinder af registreringer, og så gå ned og bruge det på enkeltstående tilfælde (for egen regning: der er flere paralleller til politiets brug af mastedata).

Thomas Birk Kristiansen citeres for at algoritmer kan noget i forhold til fejlretning, men tilføjer:

"Det er meget optimtisk at tro, at man nogensinde kan lave algoritmer, som kan tage et datasæt smækfyldt med fejl, der er opstået på et hav af forskellige måder, og rekonstruere det, som det skulle have set ud, hvis data var blevet registreret korrekt fra begyndelsen," siger Thomas Birk Kristiansen og tilføjer:</p>
<p>"Det er helt usandsynligt, at vi inden for en overskuelig fremtid står i en situation, hvor algoritmerne kan korrigere alle de mange fejl i registrene. Patienter kommer derfor til at opleve, at algoritmer, der skulle bane vejen for personlig medicin, i stedet når frem til forkerte diagnoser og behandlinger. En algoritme kan ikke køres på fejlagtige data, " siger han.

Søren Brunak tror heller ikke på at algoritmer kan fjerne alle fejl, men tror at fejlene kan reduceres til at acceptabelt niveau.

Hvis du nu sidder og ærgrer dig over, at du ikke selv læste hele denne artikel, og må nøjes med mine punktnedslag, så er jeg sikker på, at Weekendavisen meget gerne vil have dig som abonnent - så er du meget bedre med i fremtiden ... :-).

Jeg kunne også godt være bekymret for, om alle projekterne nævnt ovenfor udviser den nødvendige respekt for den grundlæggende datas kvalitet, og hvad der i så fald kommer ud af det?

Jeg er heller ikke tryg ved ideen om, at man kan automatisere en fejlretning, som ellers kræver stor ekspertise og dyb faglig indsigt. En automat undrer sig aldrig, den kører bare videre.

Og hvad sker der, hvis en algoritme trænet på fejlrettede data, slippes løs på fejlbefængte data? Eller en algoritme trænet på fejlbefængte data og historisk bias, fortsat bruges efter, at registeringspraksis er blevet bedre?

Journalerne ER læger og sygeplejerskers arbejdsredskab! Lev med det!

Formålet med arbejdsredskabet er at opsamle og dokumentere den klinisk relevante viden, herunder de overvejelser, der ligger til grund for pleje og behandling.

Det er fuldt forståeligt, at andre interessenter kan have et ønske om opsamling af data, der ikke umiddelbart indgår i den kliniske proces, men så er det bare ikke hensigtsmæssigt, at det er læger og sygeplejersker, der pålægges opgaven med at opsamle disse data. Det fremstår som en unødvendig og overflødig arbejdsopgave at opsamle andre interessenters data; det er demoraliserende og tager tid, som kunne være brugt til noget langt bedre.

Og det er ikke nødvendigvis hensigtsmæssigt at benytte lægers og sygeplejerskers centrale arbejdsredskab til opsamling af den slags data. Uanset hvordan man strukturerer arbejdsredskabet, så fylder data noget, og ikke-relevante data kommer let til at gøre urimeligt indhug i brugernes opmærksomhed. Det gavner ikke produktiviteten, og det risikerer at føre til fejl.

Den bedre løsning er automatiseret dataregistrering, og hvor det ikke er muligt: dataregistrering ved hjælp af dertil dedikeret personale. Ja - det koster, men det gør lægers og sygeplejerskers tid også.

Ja, jeg studsede også over den bemærkning -

at læger og sygeplejesker troede, at journaler var deres arbejds- og kommunikationsværktøjer, og derfor ikke udviste tilstrækkelig registreringsdisciplin.

Så er det jo godt, at OUH, Odense Universitetshospital, er i gang med projektet ”Automatisk udvælgelse af data til patienters journal” (2. nederst, af typen ”udvikling”).

Så vi – med tiden og teknologien – kan få afskaffet læger, sygeplejersker (og fagpersonale, i det hele taget) og indført datadisciplin!

/Sarcasm off.

Kvaliteten af træningsdata: Weekendavisen havde fornyligt en artikel, hvor forskere var så trætte af, at læger og sygeplejesker troede, at journaler var deres arbejds- og kommunikationsværktøjer, og derfor ikke udviste tilstrækkelig registreringsdisciplin.

Der er meget som forskere er trætte af.

Der er forskere som er trætte af at de ikke har fri adgang til alle de personlige data, de måtte ønske. Og ovenikøbet er de også trætte af at nogen kan finde på at kræve af dem at de passer ordentligt på disse data.

Når man læser forskernes brok, så får man indtryk af uopdragne unger i trodsalderen.

Journalerne ER læger og sygeplejerskers arbejdsredskab! Lev med det!

Enig. Jeg ser dog meget optimistisk på området. I mine øjne er dine absolut valide punkter udfordringer, der skal løses, og ganske givet også vil blive løst.

Jeg synes det er herligt at se, at ketchuppen er godt på vej ud af flasken nu. Algoritmerne og AI-modellerne ser nu ud til snart at blive tilpas pålidelige og stærke til at kunne bruges i praksis.

Spændende område, men med mange faldgruber.

Her er lidt løs skydning fra hoften:

• Det norske datatilsyn har lige skrevet om en ML/AI "sandkasse", som de er med i: https://www.personvernbloggen.no/2021/01/06/algoritmer-tillit-og-sandkasser/ - det virker til, at de har fokus på at forklaringer på beslutninger eller rådgivning bliver reelle, og ikke bare bortforklaringer.
• Vi skal også være opmærksom på at svar kan være farvet af udgangspunktet: en tømrer vil anbefale træhuse og en murer murstenshuse, og sådan er det bare - det behøver der ikke være noget galt i, men der er nok brug for uvildig rådgivning, certificering og revision.
• AI/ML er ikke en anonymiseringsmetode - afhængig af teknik kan meget specifikke detaljer i træningsmaterialet trækkes ud efterfølgende - også ting, som kun er nævnt en gang. Se f.eks. https://www.schneier.com/blog/archives/2021/01/extracting-personal-information-from-large-language-models-like-gpt-2.html - selvom der ikke er noget nyt i det. Det er derfor nok som oftest nødvendigt at anonymisere træningsmaterialer inden der trænes - i hvertfald hvis de skal udenfor for laboratoriet.
• Kvaliteten af træningsdata: Weekendavisen havde fornyligt en artikel, hvor forskere var så trætte af, at læger og sygeplejesker troede, at journaler var deres arbejds- og kommunikationsværktøjer, og derfor ikke udviste tilstrækkelig registreringsdisciplin. Brunak (så vidt jeg husker) var citeret for at sige, at en af hans PhD-ere havde brugt måneder på at nærlæse journaler for at rydde op i journaldata. Det minder lidt om politiet og teledata - hvis man bruger data til andet end de oprindeligt er tænkt til, så kan man brænde fingerne noget så gevaldigt.