Kunsten at lave meningsmålinger og politiske prognoser

Mange ting kan man sige om amerikanerne. Forkærligheden for statistik er blot en af disse ting. Det opleves tydeligt til NFL og NBA - og selvfølgelig også ved præsidentvalg. USA har i kraft af sine mange delstater, og mange demokratiske niveauer, et enestående grundlag til at forfine den ædle kunst at lave meningsmålinger.

Politiken er begyndt at rapportere pollster.com prognoser. Pollster har i mange år været ganske gode til at aggregere forskellige surveyinstitutters prognoser, og lave gennemsnit heraf. Metodologien er ligefrem - men ikke perfekt. Derfor trådte Nate Silver på banen. Han er manden som nogen mener revolutionlerede amerikansk baseball ved at vise hvordan avanceret statistik kunne outperforme dyre talentspejder når det galt om at finde frem til morgendagens sportstjerne.

På hjemmesiden www.fivethirtyeight.com kan man derfor nu - takket være Hr. Silver -finde langt mere præcis information end hos pollster og politiken. Nates metode indebære blandt andet at hvert surveybureaus resultater vægtes alt efter hvor gode de tidligere har været til at ramme præcist. Logikken er, at en survey har 3 fejlkilder: Den ene er såkaldt sampling error. Denne fejl er nem at beregne og afhænger af stikprøvestørrelsen. Det er den fejl der normalt rapporteres som usikkerhedsmargen. Fejlkilde nummer 2 skyldes tidsforskydning mellem  meningsmålingen og selve valghandlingen. I Nate’s beregninger ignoreres denne fejlkilde, fordi der kun indgår meningsmålinger foretaget umiddelbart op til valget. Den tredje fejlkilde kaldes poetisk for PIE: Pollster Introduces Error. Det er den fejl der kan tilskrives den metode meningsmålingerne bruger. Nogle bruger internet, andre bruger automatiske telefonrobotter, og andre bruger personlige interview. Nogle gange er intervieweren højreorienteret, andre gange er chefen liberal. Nogle gange er intervieweren måske provisionlønnet og skynder sig at lave mange, men ikke særligt gode, interview. Der er et utal af små menneskelige fejlkilder¹ .

FiveThirtyEights rangliste viser at der faktisk er store forskelle i det enkelte surveyfirmas troværdighed. Der er kort sagt rigtig god grund til at vægte de forskellige resultater:

Meningsmålinger fra forskellige firmaer, sorteret efter kvalitet.

Ranglisten skal fortolkes således at scoren angiver hvor mange procentpoints fejl man kan forvente at hvert firma introducere i deres målinger. Mens Gallup altså rammer næsten 2,5 point ved siden af, er selzer og co. faktisk 3 gange mere præcise og introducere kun en PIE på ca. 0,7 procentpoint.

I den lidt sjovere afdeling bruger Nate silver også simulationer på baggrund til at forudsige forskellige udfald:

Forskellige udfald og deres sandsynligheder (pr. 6/10)

Google guruen Peter Norvig side kan i øvrigt også anbefales - som en generelt introduktion til præsidentvalget som set fra en lidt alternativ vinkel.

Del dette

1. Det er derfor det ikke er ligegyldigt hvem man hyrer til at lave sine undersøgelser [↩]