Meningsmålinger, meningsmålinger - må vi lige bede om lidt statistisk ydmyghed

Dette indlæg er skrevet sammen med og i overvejende grad af Kasper Risager. I løbet af valgkampen ser vi på meningsmålingerne med statistiske briller.

Vi bliver oversvømmet med meningsmålinger for tiden, mest til folketingsvalget, men også til Europaparlamentsvalget, som der jo er valg til i morgen. Og det er umiddelbart en god ting, for data er godt, og meget data er meget godt. Bare man kan finde ud af hvad man skal bruge det til og hvordan.

EP-kommunikations-skabelonen

Men vi bliver altså nødt til at snakke om den måde de bliver kommunikeret på, for det trænger til at blive meget bedre. Her tager vi fat i meningsmålingerne til Europaparlaments(EP)-valget, fordi kommunikationen faktisk er blevet en smule bedre omkring folketingsvalget, og fordi det bliver særligt grelt, når man formidler det forkert til EP-valget.

Alt det vi har set af EP-målinger har fulgt samme skabelon:
1 . Lav en måling af tilslutning til partierne hvor over en tredjedel af respondenterne ikke kan sige hvem de vil stemme på. Sortér den sidste gruppe fra.
2. Fordel de 14 mandater.
3. Interview en spidskandidat, som står til ikke at blive valgt ind, om hvor forfærdeligt det er, at partiet står til at få nul mandater.

Problemet er bare, at det ikke er det data siger.

Tag for eksempel Epinion for DR, 21/5 . Den giver nul mandater til de Konservative og nul mandater til Enhedslisten. Man kunne starte med bare at konstatere, at siden at der er 1258 respondenter (plus 734 der ikke var afklaret), må der som minimum være noget usikkerhed i målingen fordi man ikke har spurgt alle vælgere.

Respekt for usikkerhederne, tak

Hvis man eksempelvis simulerer 10.000 udfald baseret på den statistiske usikkerhed får man, at Enhedslisten står til 0,45 mandat i gennemsnit. Altså ligger de lige på grænsen til at få ét mandat. Samtidig er det lige sandsynligt at A, O, V og Ø får det 14. danske mandat som må vente på at briterne nosser sig sammen til at forlade unionen. Det er da helt andre historier, end bare at Ø står til at misse et mandat! Det er information som ligger i data, men som alt for ofte ikke bliver kommunikeret.

Men hvad mere? Ja, der er i hvert fald mere usikkerhed end bare den rent statistiske. Der var jo 734 respondenter fra Epinionsundersøgelsen, der ikke var i stand til at sige hvad de ville stemme på! Mange af dem vil sikkert blive hjemme på søndag, men den store andel bør indgyde lidt respekt for usikkerhederne. Generelt er der bare en hel masse grunde til at en sådan meningsmåling rammer skævt og flytter et par mandater rundt i forhold til valgresultatet. Det burde stå en del skarpere i kommunikationen.

Nu skal det selvfølgelig ikke hedde sig at vi ikke kan lide meningsmålinger. Det kan vi godt, og vi kører som bekendt et projekt med at omsætte dem til sandsynligheder. Senest er det gjort den 24. maj med en diskussion om valgforbund og EP-mandater hvisdervarvalgimorgen.dk. Metoden, der bliver brugt til både EP-valg og folketingsvalget er løseligt inspireret af amerikanske FiveThirtyEight.

Til folketingsvalget ser man dog nogen gange journalister slutte en sætning af med ’… men det ligger inden for den statistiske usikkerhed’. Så der er håb forude. Vi ville bare sætte pris på at hele den historie som ligger i meningsmålingerne faktisk bliver fortalt.