Da SARS-COV-2 kom til os, gav det stødet til mobilisering af en masse tech-mennesker med omfattende ressourcer og et væld af idéer. Og i den sundhedskrise, virussen har forvoldt, er der brug for al den hjælp, vi kan få.
Men tech-sektorens kultur, som udtrykt i Facebooks motto “Move fast and break things”, er lodret modsat den lægevidenskabelige kultur, som den kommer til udtryk i den hippokratiske eds påbud om at “First do no harm”.
Hvad sker der, når disse to tilgange mødes? Desværre kan forskning og kommunikation, selv med de allerbedste hensigter, af og til føre til en sådan banalisering af videnskabelige metoder, at resultatet kommer tæt på fejlinformation, der kan gøre mere skade end gavn.
Moving Fast
Den 2. april blev følgende forskningsresultat med store fanfarer fremlagt af Sermo, en social netværksplatform for læger:
“Largest Statistically Significant Study by 6,200 Multi-Country Physicians on COVID-19 Uncovers Treatment Patterns and Puts Pandemic in Context”.
Det drejer sig om en oversigt over, hvilke medikamenter læger udskriver mod COVID-19. Så langt så godt. Det ville bestemt være interessant af få at vide.
Men allerede den følgende linje giver enhver med sundhedsfaglig viden kuldegysninger: “Sermo Reports on Hydroxychloroquine Efficacy”... Kan du finde det uheldige ord her? Efficacy. Lad os spole tilbage og genopfriske, hvad ‘efficacy’ betyder: I følge Cambridge-ordbogen er det “evnen til at opnå noget, til at frembringe det tilsigtede resultat, specielt for et lægemiddel eller en metode”.
Det bliver værre endnu. Den administrerende direktør udtaler:
With censorship of the media and the medical community in some countries, along with biased and poorly designed studies, solutions to the pandemic are being delayed
Han mener altså, at hver eneste af de over 400 kliniske undersøgelser, der allerede er på vej, er “tendentiøse og dårligt tilrettelagte”?
Kritik er altid velkommen, for det skærper vores argumentation og logik, men desværre har passagen ingen referencer til bare én eneste undersøgelse, der kan illustrere denne tendentiøse fremgangsmåde og dårlige tilrettelægning.
Her får vi det første vink om, at vi har at gøre med en tech-person og ikke med en mediciner eller en videnskabsmand, ikke engang med en akademiker, vil jeg mene. Her har vi en person, der handler hurtigt, forkaster antagelser og beskyldninger, der ikke er blevet kontrolleret, og hurtigt går videre til sin egen, meget bedre tilrettelagte undersøgelse, der formentlig er blevet noteret ned lige så hurtigt bag på en papirserviet.
Og her får vi endnu et vink: Hvad er det her for en overlegen metode, som overgår den samlede lægevidenskabs store anstrengelser for at frembringe videnskabelig viden om udbruddet og effektive terapier? Den nysgerrige læser hæfter sig naturligvis ved sætningen: “For the full methodology click here”.Jeg klikker og læser med tilbageholdt åndedræt.
Vi oplyses om, at oversigten er baseret på svar indsamlet fra 30 lande med hver 250 svarpersoner. Fint nok, selv om 30 gange 250 er 7.500 og ikke 6.200 som anført i overskriften (hvad blev der af de sidste 1.300?).
Vi får at vide, at Sermos platform udelukkende omfatter svarpersoner, som garanteret er læger og som er autoriserede. Lad os lige stoppe her. Hvordan udelukkes andre?
Dette er metodologiafsnittet, og det er her, vi skal have at vide, HVORDAN man kan garantere, at det drejer sig om læger. Ellers aner jeg ikke, om resultaterne betyder noget. Det kan jo lige så godt være en blanding af neonazister og rollespilsentusiaster.
Dernæst læser vi:
The study was conducted with a random unbiased sample of doctors from 30 countries
Sådan. For den, der ikke er bekendt med de grundlæggende principper for klinisk videnskabelig metode, svarer det her til, at den tiltalte i en retssag stiller sig op og erklærer: “Jeg er totalt uskyldig. Løslad mig straks”. Igen, hvordan kan vi vide det?
Måske blev der indsamlet svar på basis af en hemmelig fortegnelse fra Donald Trump over læger, der er helt vilde med klorokin? Måske er de læger, der svarede, arbejdsløse (og med god grund), og det ville forklare, hvorfor de havde tid til at besvare spørgeskemaet. Hvordan var alders- og kønsfordelingen? Var den repræsentativ for alders- og kønsfordelingen i deres hjemland?
I traditionelle videnskabelige undersøgelser, der bygger på denne type data, kan op til en tredjedel af artiklen være helliget en udførlig påvisning af, at der rent faktisk ikke forekom forudindtagethed. Her får vi en enkelt linje uden nogen form for dokumentation.
Undersøgelsen bygger på en indsamling af data, der kunne indtastes på 22 minutter. Det vil sige, at en hvilken som helst kvaksalver kunne have klaret det ved hjælp af SurveyMonkey og en liste af email fra internettet. Det er måske i orden, men vi får intet at vide om, hvordan spørgsmålene lød. Næste afsnit er “Analyse af data” (og husk, vi er stadig i metodologiafsnittet), hvor vi får at vide, at alle resultater er statistisk signifikante inden for et sikkerhedsinterval på 95%. Hvorfor 95% og ikke 99%? Hvad var de faktiske p-værdier?
På lidt mindre end en side får vi praktisk taget intet at vide, der kan hjælpe os til at vurdere gyldigheden af de anførte resultater. Og hvor er diskussionen? Kunne det tænkes, at de foretrukne behandlingsmetoder i højere grad afhang af lokal tilgængelighed end af et bevidst valg fra lægens side? Var der en skævvridning baseret på lokalitet, køn eller alder med hensyn til, hvad lægerne ordinerede? Besvarede alle spørgeskemaet? Tegnede der sig et mønster for, hvem der ikke besvarede det?
Selv om vi står tilbage med en mængde ubesvarede spørgsmål, kan den opmærksomme læser allerede ud fra disse meget sparsomme oplysninger udlede, at der er en fatal mangel ved tilrettelæggelsen af undersøgelsen, som fuldstændigt underminerer påstandene om virkningsfuldhed: I undersøgelsen skal lægerne selv bedømme den behandling, de har foreskrevet! Og hvorfor er det et problem?
Læger vil, ligesom alle andre mennesker, gerne bekræftes i det, de gør. Det betyder, at de er tilbøjelige til at lede efter bekræftende dokumentation, det som man i psykologien kalder ”confirmation bias”. Hvis de ordinerer et lægemiddel, som de anser for godt, vil de søge efter yderligere bekræftigelse på, at det rent faktisk er et godt lægemiddel. Og det er netop derfor, at en korrekt tilrettelagt undersøgelse til påvisning af en god virkning, har som forudsætning, at de læger, der bruger lægemidlet, ikke selv ved, hvad de behandler deres patienter med.
Derfor er dobbeltblinde forsøg et kendemærke ved enhver påvisning af et lægemiddels gode virkning.
Hvordan kommer vi videre?
Jeg kommer selv fra tech-sektoren og har ikke en lægevidenskabelig uddannelse (selv om jeg dog har fulgt kurser på PhD-niveau i statistik for viderekomne og tilrettelæggelse af undersøgelser), så misforstå mig ikke, jeg har en stærk tro på teknologiens muligheder, og jeg ønsker, at tech-mennesker engagerer sig og bidrager mest muligt. Men som det tydeligt fremgår, er det her ikke nogen hjælp.
Hvis artiklen var blevet fremlagt som det, den reelt er, nemlig en indsamling af data, der beskriver, hvad læger ordinerer mod COVID-19, ville det have været helt fint og tilmed værdifuldt. Men i stedet er den blevet lanceret som en skelsættende undersøgelse, der rykker ved al igangværende forskning, hvilket den ikke er, og dette kan underminere de seriøse bestræbelser, der i øjeblikket foregår for at finde egnede behandlinger.
Artiklen favoriserer klart klorokin, men klorokinforgiftning har allerede medført dødsfald rundt om i verden på grund af al den medieomtale, der er i øjeblikket. For nylig døde en mand i Arizona efter at have indtaget klorokin på anbefaling af præsident Trump. Hvor mange flere vil dø efter at have læst denne mangelfulde og dårligt underbyggede “undersøgelse”?
Jeg skrev oprindelig denne artikel på min blog i starten af april, og efterfølgende har det vist sig at klorokin enten ingen effekt har eller er skadeligt, hvilket yderligere understregere pointen: ”undersøgelsen” har gjort mere skade end gavn på grund af dens hast.
Derfor skal “move fast and break things”-tilgangen afvejes i forhold til den tilgang, der vil “do no harm”.
Når tech-mennesker, der intet ved om videnskabelig metode eller lægevidenskab, bruger deres tekniske kunnen, skal de åbent vedgå, at de intet ved, og at det, de fremlægger, ikke er bedømt af fagfæller og kun er deres subjektive overbevisning. Fremlæg de interessante resultater som det, det er, men uden at påstå, at noget virker godt eller overgår den lægevidenskabelige metode til frembringelse af viden, som over de seneste hundrede år har forøget den forventede middellevetid på verdensplan fra 30 til over 70 år.
Tech-mennesker bør fortsat engagere sig, men de bør holde sig inden for deres kompetencesfære og ikke banalisere videnskaben. Videnskabsmænd og læger belærer jo heller ikke dem med hensyn til softwaredesign eller løsningsarkitektur. Så lad venligst være med at gå i vejen.
Lad mig give et eksempel på, hvad tech-mennesker bør gå i gang med. Folding@home-projektet simulerer proteinfoldning og hjælper dermed lægevidenskaben med at finde lægemidler. Det har haft succes med at opbygge verdens kraftigste supercomputer, som kan præstere mere end en exaFLOP, dvs. mere end en milliard milliard beregninger pr. sekund.
Det fungerer ved, at man installerer noget software på sin computer og dermed bidrager med sin computerkapacitet til et distribueret netværk på over en million computere verden over. Dette er en god model for, hvordan tech-mennesker kan støtte lægevidenskaben i stedet for at underminere den.
Vi fra tech-sektoren må gå ud og støtte vores venner inden for lægevidenskaben i denne krisetid og nærme os deres verden med samme respekt og tilbageholdenhed, som vi forventer, at andre udviser over for vores kompetenceområde. Selv om vi er ekstremt smarte, kan vi altså ikke forvandle os til læger på et par dage. I stedet for at “move fast and break things” bør vi “move fast and do no harm”.
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
