Flot, pomfrit

Et udbredt misbrug i artikler ser for mig ud til at være at konklusioner som er baseret på statistik der viser korrelation i stedet fremstilles som kausalitet.

Et berømt eksempel er en statistik publiseret i Nature af danske forskere som viser at intelligensen aftager med alderen hvorfor de konkluderer af det er alderens nedbrydning af hjernen der er den direkte årsag til den aftagende intelligens.

Måden de målte intelligensen på var ved at måle gymnasieviden. Procentdelen af en generation som har gået i gymnasiet aftager jo ældre generationen er. Denne procentdel kunne altså lige så godt forklare hvorfor ældre mennesker scorer dårligere i denne form for IQ test. Virkning af denne variabel havde man ikke behandlet i konklusionen som derfor var for "stærk" i forhold til det som tallene kunne underbygge. Man havde kun vist at de to variable alder og intelligens hang sammen (dvs. korrelation), men men havde ikke bevist at der var et direkte årsag/virknings forhold mellem de to (kausalitet) selvom det var det de skrev.

Fristelsen er meget stor når to variable udviser en korrelation til at konkludere at det er fordi den ene er årsag til den virkning man ser i den anden. Men der kan være en tredje variabel som på påvirker de to variable man måler på som får dem til at se ud som om de hænger sammen. I virkeligheden hænger de altså kun sammen indirekte. Hvis forskere ikke kan dy sig selvom deres rapport bliver stemplet som "uden redelighed i besvarelsen", hvorfor skulle det så bekymre jounalister om korrelation kommer til at fremstå som kausalitet.

Jeg kan se tre årsager:
1. Journalister lærer - så vidt jeg ved - ikke noget om statistik og vurdering af tals gyldighed i deres udddannelse, så de vil ikke kaste sig ud i vurderinger som andre kan kritisere. Det er sikrere bare at citere tallene uden kommentarer.
2. De har ofte mere travlt end forskere og mange avislæsere. Derfor får de ikke altid tænkt over, hvad tallene egentlig betyder. Mit klassiske eksempel er journalisten som skrev om en revolver med en kaliber på 22 mm.
3. Når de har travlt skriver de nogen gange ukritisk af fra hinanden eller pressemeddelelser. Politikens historie ligner noget fra en pressemeddelelse, fra nogen som gerne vil have lidt opmærksomhed og fremme nethandel.

Man kan også spørge sig selv om, hvem der egentlig abonnerer på eller bestiller usund mad på nettet. Skagen Foods har ikke en fiskefingre-kasse, Årstiderne har ikke en friture-kasse, og jeg ville personligt synes det var lidt pinligt, at andre i opgangen kunne se min ugentlige kasse fra Kims stå på dørmåtten torsdag eftermiddag.

Eller også er det bare fordi SuperBests bager-afdeling ikke tilbyder pizza og cola.

En klog mand sagde engang at statistik kan bruges til at bevise hvad som helst - altså lige bortset fra at bevise hvad statistik kan bruges til ;)
Det er naturligvis også klart at forbrugernes vaner oftest forklares bedst ved at se på forbrugerne istedet for hvor de handler....og naturligvis også hvilke forbrugere det enkelte salgssted direkte henvender sig til.
Men derudover skal man nok ikke ignorere indflydelsen af den såkaldte pester power (plage-effekt om man vil). Den danske marketings-guru Martin Lindstrøm vurderer at børn har en kæmpe indflydelse på hvad forældrene køber - her taler vi også om ting som hvilken bil familien skal købe.....så vidt jeg husker peger hans forskning på noget i retning af at børn har indflydelse på forældrenes valg af mærker i 60% af tilfældene.
Det virker endvidere også lidt (tør man sige...) useriøst af denne blogs forfatter ikke at forholde sig til hvad det er for en butik vi taler om. At veluddannede skulle være mere aktive i forhold til nethandel tror jeg ganske enkelt ikke på - tværtimod. Derimod tror jeg veluddannede er mere aktive SuperBest-kunder....og så er vi altså tilbage, hvor pester power impulskøb må inddrages i vores forklaringsmodel ;)

I forbindelse med rygestoppet på cafeer rasede indehaverne over at nu "røg" deres kunder - for det var dokumenteret at det typisk var rygerne der købte og betalt mest.

Det blev selvfølgeligt ukritisk bragt i radioavisen - og jeg kunne ikke lade være med at tænke på de gange hvor man havde forladt en cafe pga for tyk røg.

Et par måneder efter var cafeejerne så forundrede over at deres omsætning alligevel ikke var gået ned - og at også ikke rygerne åbenbart var i stand til at nyde cafelivet.

Det jeg finder tankevækkende er at det ikke er deciderede tal der går galt - men at journalisterne tænker.
1) Her er en politisk situation med et rygestop på cafeer.
2) Lad os interviewe cafeejerne.
3) Fed historie - det kommer til at være en katastrofe for cafeejerne.

Og endelig det vigtigste fjerde punkt

4) Når der en en aktuel begivenhed, med en fed historie som vi kan bringe, hvorfor så ødelægge historien ved at komplicere den med andre mulige forklaringsmodeller. Og hvis det ikke er rigtigt, så er det jo også en fed historie når det så bliver påvist at det er forkert.

Gad vide hvor meget junk der bliver købt via just-eat.dk?

Det trækker nok billedet i en lidt anden retning.

Ja jeg er lige ved at sige "Flot, pomfrit", når jeg læser den artikel på DR, du linker til ;)
For læser man artiklen er der ikke noget der tyder på at "højtuddannede" handler mere på nettet, end folk med mindre uddannelse. Her tænker jeg naturligvis på højtuddannede i den gængse forstand og ikke, som i artiklen, på alle med mere end blot grundskoleuddannelse. Så reelt viser den artikel ikke rigtigt andet end at du selv gør dig skyldig i det du klandrer andre for..... Mon ikke den sammenhæng mellem uddannelse og nethandel, artiklen viser, i virkeligheden slet ikke har noget med uddannelsesniveau at gøre? Mon ikke det simpelthen er et spørgsmål om alder? For hvis du, med dit skarpe øje for statistik, lige kaster et blik på resten af artiklen, dukker der jo en ganske interessant oplysning frem - det er de unge, der er de "mest ivrige net-shoppere". Og siden den unge del af befolkningen generelt set (eller statistisk set, om man vil) er bedre uddannet, end den ældre del af befolkningen....ja så kan selv den statiske version af Mr. Magoo vist godt se den artikel ikke giver det mindste belæg for at påstå der skulle være en korrelation mellem uddannelsesniveau og vaner mht. nethandel.

Ang. den oprindelige artikel så var min pointe at jeg mener du læser noget ind i statistikken, der ikke er noget belæg for at læse ind i den - i øvrigt helt i modstrid med din overordnede pointe.
For hvor, i den omtalte statistik fra SuperBest, ser du nogen indikation, på det i højere grad er veluddannede der handler på nettet? Jeg kan ihvertfald ikke læse det ud fra artiklen om SuperBest.
Men når det er sagt så skal der da ikke herske nogen tvivl om at SuperBests kunder helt sikkert er bedre uddannede end f.eks. Aldis eller Lidls kunder. Men det samme gør sig altså også gældende i de fysiske butikker. Da SuperBest hører til i den dyre ende af spektret og markedsfører sig selv på at have kvalitetsprodukter, til den pris kvalitetsprodukter nu engang koster - et koncept utallige markedsundersøgelser viser taler til de veluddannede. Så må vi jo konkludere, udfra de data vi har til rådighed, at uddannelsesniveau ikke rigtigt tilbyder nogen tilfredsstillende forklaring på forskellen i produktvalget......og i den forbindelse er der vel ingen tvivl om at pester power og selve mediet er langt bedre forklaringer? :)

Hæ.... Ja og McDonald's & Burger King barsler jo også med at tilbyde levering i DK. Så det næste logiske træk er vel at plastikkirurgerne tilbyder online-booking af fedtsugninger på vores hjemmeadresse :)

En af mine yndlings-statistik-manipulationer er teorien om at manglen på klassiske pirater er skyld i den globale opvarmning:

http://www.venganza.org/images/PiratesVsTemp.png

"As you can see, there is a statistically significant inverse relationship between pirates and global temperature."

Kilde: http://www.venganza.org/about/open-letter/

Jamen man må jo forholde sig til de data, man nu engang har til rådighed - det er så grundlæggende videnskabelig metode, at det nærmest er trivielt :)
Og i forbindelse med artiklen har vi altså kun nogle data der siger at SuperBests kunder køber 50% mere frugt og grønt på nettet, end de gør i de fysiske butikker - her er det naturligvis indlysende at vi taler procent af de enkelte handler og ikke det samlede salg af frugt og grønt i SuperBest.
De data kan vi så ikke gøre så meget med....hvilket artiklens forfatter klogeligt har indset, og derfor har taget kontakt til en ekspert. Den gut journalisten har snakket med arbejder så med og har (må vi da gå ud fra) et indgående kendskab til markedsundersøgelser..... På baggrund af den viden VED han så at sådan noget som pester power og impulskøb i bredere forstand har en enorm indflydelse på hvad vi ender med at have puttet i kurven, når vi står oppe ved kassen. Så jeg synes egentligt artiklen er ret lødig - særligt i forhold til den generelle journalistiske standart, når det handler om at fortolke statistik.

Derudover er det vel indlysende nok, at når der sælges mindre af én ting....så vil den procentdel de andre ting udgør stige.
Med andre ord, hvis normalt bruger 25kr på slik, 50kr på kød og 25kr grøntsager - så udgør grøntsagerne 25% af det samlede beløb. Men hvis du så en dag lader være med at købe slik men køber for de samme beløb kød og grøntsager....ja så udgør grøntsager pludseligt 33% af dit samlede indkøb :)

1) Korrelation kontra kausalitet. (Omtalt ovenfor.)

2) Sammenligning af æbler og pærer. Hvor stor er arbejdsløsheden i Danmark? Er det andelen af arbejdsløshedsforsikrede, som står til rådighed og hæver dagpenge, eller er det andelen af hele befolkningen, som ikke er i lønarbejde, under uddannelse eller sygemeldt? Hvis man gør det op på den første måde det ene år og sammenligner med et andet år, der er opgjort på den anden måde, så kan man ikke bruge resultatet til noget som helst.

3) Procenter. Man kan ikke tale om procenter, hvis det ikke er klart, hvad det er en procentuel andel af. http://webarkiv.ft.dk/?/Samling/19991/salen/L78_BEH1_17_7_20.htm

4) Stokastisk unøjagtighed. Hvis størrelse af stikprøven er lille, kan man ikke bruge de sjældneste udfald til ret meget. Spørger man 100 mennesker på gaden, hvad de fik til aftensmad, og en af dem spiste en regnorm (fordi han havde tabt et væddemål), så kan man ikke konkludere, at 50.000 danskere spiser regnorm til aftensmad.

5) Tendentiøs stikprøve. Der kan være systematiske fejl i stikprøven. Se værtshuseksemplet ovenfor. Går man ind på et røgfyldt værtshus, vil man højst sandsynligt finde en overrepræsentation af rygere. (Et andet eksempel er, at unge mest bruger mobiltelefon og ældre mest bruger fastnet. Ringer man til tilfældigt udvalgte fastnetnumre, så får man en tendentiøs stikprøve.)

"Statistik er som en lygtepæl: Godt at støtte sig til, men belyset kun et begrænset område."

"Seneste opgørelser viser, at rygning er den hyppigste årsag til statistik."

"I Danmark er vi 180%. 90%, der går med bukser, og 90%, der går med strømper."

Thomas

"Procentdelen af en generation som har gået i gymnasiet aftager jo ældre generationen er."

Er der en overdødelighed for gymnasielt uddannede, eller vrøvler du bare? :o)

Jens, i dag er det flertallet som gennemgår en gymnasial uddannelse, for 50 år siden var det en lille elite. Derfor forskellen.

Det er den slags helt basale fakta som man bliver nødt til at tage hensyn til når man laver statistik.

SÅ er jeg med igen. Jeg syntes heller ikke at morgenkaffen smagte som den plejer :o)

Måske et ironi-tag ville være en kærkommen tilføjelse til debatten? ;)

"Jamen man må jo forholde sig til de data, man nu engang har til rådighed - det er så grundlæggende videnskabelig metode, at det nærmest er trivielt :)"

Så trivielt synes jeg nu ikke, det er. At drage videnskabeligt forsvarlige konklusioner kræver omhyggeligt eksperimentelt design ud fra den hypotese, der ønskes belyst. At støtte sig til 'de data, man nu engang har til rådighed' kan i bedste fald føre til formuleringen af en hypotese. ('Hey, det er da mærkeligt, at hos nogle folk som har taget Minoxidil, vokser håret igen.' Eller 'Hey, mange folks synes at drukne inden for en time efter de har spist.' Præcist en af disse to hypoteser er blevet valideret.)

Men videnskabelighed er jo kedeligt, fordi antallet af påviseligt sande påstande er usammenligneligt mindre end antallet af alle mulige påstande, og---meget vigtigere---sande påstande afføder betydeligt mindre respons og dermed interesse end forkerte. Når det er et gyldigt juridisk forsvar (og strafnedsættende) at gøre noget uforsætligt og du skulle leve af journalistik, ville du så integrere statistikundervisning i journalistikuddannelsen?

Fritz

Jeg synes det er ret trivielt, at man må forholde sig til tilgængelige data og ikke begynde at drage konklusioner ens data ikke understøtter - det tror jeg egentligt også vi er ret enige om.

I øvrigt så er dine eksempler ikke hypoteser.... I forbindelse med (natur)videnskab er en hypotese en foreløbig antagelse, der tjener som forklaring på et observeret fænomen. Hvis hypotesen så bliver bekræftet (f.eks. via et forsøg), bliver den (sædvanligvis) ophævet til at være en teori. I den kontekst er dine to eksempler derfor observerede fænomener og hypoteser er først noget der kommer på banen, når man forsøger at forklare fænomenerne :)

Men du har da fuldstændigt ret i at antallet af beviselige påstande er langt mindre end antallet af mulige påstande - antallet af beviseligt sande påstande indenfor den moderne videnskab er nemlig 0! :)

Ang. journalistuddannelsen, så troede jeg faktisk allerede statistik var noget man blev undervist i? Det er ganske vist tydeligt, at man ikke bliver undervist ordentligt i det, men jeg troede faktisk man blev undervist i det.
Så mit svar er naturligvis ja, statistik burde være en tvungen del af journalistuddannelsen - også selvom jeg skulle leve af at være journalist :)

Jeg stoler kun på statistikker, jeg selv har forfalsket.

Churchill? :)

...var dengang de i kølvandet af 9/11, i radioavisen annoncerede at nu var flyvning ikke længere den sikreste rejseform fordi X procent af passagerene ikke længere følte sig trygge ved det...

Og det er jo så endda ikke engang statistikblindhed bare (u-)almindelig dårlig journalistik... Suk...

http://en.wikipedia.org/wiki/Lies,_damned_lies,_and_statistics ?

...var dengang de i kølvandet af 9/11, i radioavisen annoncerede at nu var flyvning ikke længere den sikreste rejseform fordi X procent af passagerene ikke længere følte sig trygge ved det...

Selv om følgeslutningen selvfølgelig er uholdbar, så vil utrygge folk ofte opføre sig uforudsigeligt og ulogisk, og det kan være med til at nedbringe sikkerheden. Ved nogle hændelser kommer mange flere til skade som følge af panikreaktioner (egne og andres) end som direkte årsag af hændelsen.

Så derfor kan folks fornemmelse af sikkerhed/tryghed (eller mangel på samme) ofte direkte påvirke denne sikkerhed. Der er dog ikek tale om direkte proportionalitet: Folk, der er alt for trygge vil ikke opfange faresignaler, så det optimale er en vis vagtsomhed uden, at det dog kammer over i paranoia eller panik.

Så derfor kan folks fornemmelse af sikkerhed/tryghed (eller mangel på samme) ofte direkte påvirke denne sikkerhed.

OK, den køber jeg... Men som du selv påpeger så fisker det altså ikke det specifikke indslag ud af det journalistiske mudderhul... :-)

http://xkcd.com/552/