Opdateret
Forkerte antagelser i software og en virkelighed, der har vist sig at være langt mere kompleks end først antaget, har ført til, at der kan sås tvivl om de seneste 15 års hjerneforskning.
Et svensk-britisk forskningsprojekt med 499 kontrolpersoner og 3 millioner analyser har nemlig påvist, at der gang på gang var fejl i den software, som forskningen anvendte.
I 70 procent af tilfældene gav softwaren falsk positive resultater. Hele problematikken rodfæster sig i, at hjerneforskningen har undervurderet den støj, der bliver udledt fra både kontrolpersoner og fMRI-skanneren, der leverer hjernebillederne. Det har medført, at de statistiske modeller, der er inkorporeret i softwaren, har været for basale.
Læs også: Tusindvis af hjernestudier er fyldt med fejl
Simplificerede antagelser af støj
Alle statistiske modeller i hjerneforskning er opbygget med et antal forudbestemte antagelser om de data, man har.
»fMRI-data indeholder meget støj både fra magnetkameraet, men også fra forsøgspersonen i form af vejrtrækning, puls og hovedbevægelse. Det er derfor nødvendigt at anvende statistiske modeller for at vide, hvad der er støj, og hvad der er hjerneaktivitet,« forklarer Anders Ekelund, der er lektor på Institut for biomedicinsk teknik på Linköping Universitet.
Anders Ekelund og hans medforfatter, Thomas Nichols, der er seniorforsker i biomedicin på University of Warwick, har imidlertid bevist, at nogle af de antagelser, der ligger i softwaren, er forkerte og meget mere komplekse, end hvad forskerne tidligere har regnet med.
»Som en sammenligning kan man tænke på, hvordan man beregner arealet af et rundt bord. Antager man, at bordet er en cirkel med en helt flad overflade, så kan man bruge formlen A = pi * r * r, hvor r er radius. Hvis bordet ikke er en perfekt cirkel, eller hvis overfladen ikke er helt flad, så vil resultatet være forkert,« fortæller Anders Ekelund.
Færre antagelser er bedre
Når forskerne laver hjerneforskning, bruger de en software, der læser hjernebillederne fra de forsøgspersoner, som man har med i sin forskning. For at læse hjernebillederne bruger softwaren statistiske modeller, der hjælper med at udregne, om der er forskel på personerne.
»Typisk starter man et studie op, hvor man inddrager x antal raske personer og et tilsvarende antal personer, der har en sygdom. Det er blandt disse to grupper af personer, at softwaren prøver at finde forskelligheder,« forklarer Anders Ekelund.
Hjernebilleder består af 50.000-100.000 voxel (3 dimensionale pixels), og netop det relativt store antal voxel gør det muligt for softwaren at finde forskelligheder, men det store antal voxel gør også, at forskerne samtidig skal korrigere for det store antal statistiske test, de kan udføre.
»I vores artikel viste vi, at en anden statistisk metode baseret på færre antagelser fungerer bedre, hvilket en del forskere er begyndt at bruge i stedet,« fortæller Anders Ekelund.
Burde være opdaget tidligere
En af grundene til, at man ikke tidligere har opdaget fejlene, er, at de finansieringskilder, der uddeler midler til forskning, ikke særlig ofte deler midler ud til test af gamle resultater og metoder. I stedet vil de have, at deres midler går til forskning af nye sager.
Anders Ekelund var i den privilegerede situation, at han fra universitetets side havde fået lov til at forske i stort set, hvad han ville, men han peger også på andre årsager til, at forskere ikke tidligere har opdaget fejl i softwaren.
»Da man begyndte med at bruge fMRI omkring 1992, var computere ikke så hurtige, og man var tvunget til at anvende simple statistiske modeller. I dag har vi meget hurtigere computere, hvilket gør det muligt at lave mange analyser for at teste vores software.«
Anders Ekelund fortsætter:
»Andre forskere har anvendt simulerede data for at teste software, men det er vældig svært at simulere en hjerne i et magnetkamera. At anvende rigtige fMRI-data er dyrt, det koster måske 5.000-10.000 SEK. (3.945 - 7.890 kroner, red.) at samle data fra en person. I dag er det mere almindeligt med såkaldt ’data sharing’, hvor forskerne deler deres dataindsamling.«
Alvorlig situation
Ifølge Anders Ekelund er det umuligt at sige, hvor mange studier der er blevet påvirket. Medforfatter Thomas Nichols anslår, at 3.500 studier kan være påvirket, og understreger, at de er påvirkede, men ikke nødvendigvis forkerte. Situationen er alvorlig, men der er ingen grund til at smide al forskning i skraldespanden.
»Ikke al hjerneforskning er ubrugelig. Mange studier om hjernen er gentaget af andre forskere, hvilket tyder på at resultaterne i de tilfælde er korrekte.«
Anders Ekelund forklarer videre, at en anden mulighed også er at kombinere resultaterne fra mange små studier gennem såkaldte meta-analyser for at blive mere sikker på, om resultatet er korrekt eller ej.
Overordnet set har Anders Ekelund efter opdagelserne af de fatale softwarefejl en bøn til forskere rundt omkring på institutter og laboratorier, så forskere undgår lignende fejl i fremtiden:
»Det vigtigste er, at vi forskere stadigt bliver bedre til at dele vores data, så andre forskere kan lave analyser for at verificere resultaterne.«
