Indlæg i kategorien 'Bøger' ↓

Wulff-Morganthaler fra 8/6 2009 observerer:

Det minder jo lidt om denne video fra 2007 - som antydede at der snart ville ske noget drastisk.

Hvilket igen så får mig til at tænke på random walks - som nogle gange ligner alt andet end random.

Del dette

Mange ting kan man sige om amerikanerne. Forkærligheden for statistik er blot en af disse ting. Det opleves tydeligt til NFL og NBA - og selvfølgelig også ved præsidentvalg. USA har i kraft af sine mange delstater, og mange demokratiske niveauer, et enestående grundlag til at forfine den ædle kunst at lave meningsmålinger.

Politiken er begyndt at rapportere pollster.com prognoser. Pollster har i mange år været ganske gode til at aggregere forskellige surveyinstitutters prognoser, og lave gennemsnit heraf. Metodologien er ligefrem - men ikke perfekt. Derfor trådte Nate Silver på banen. Han er manden som nogen mener revolutionlerede amerikansk baseball ved at vise hvordan avanceret statistik kunne outperforme dyre talentspejder når det galt om at finde frem til morgendagens sportstjerne.

På hjemmesiden www.fivethirtyeight.com kan man derfor nu - takket være Hr. Silver -finde langt mere præcis information end hos pollster og politiken. Nates metode indebære blandt andet at hvert surveybureaus resultater vægtes alt efter hvor gode de tidligere har været til at ramme præcist. Logikken er, at en survey har 3 fejlkilder: Den ene er såkaldt sampling error. Denne fejl er nem at beregne og afhænger af stikprøvestørrelsen. Det er den fejl der normalt rapporteres som usikkerhedsmargen. Fejlkilde nummer 2 skyldes tidsforskydning mellem  meningsmålingen og selve valghandlingen. I Nate’s beregninger ignoreres denne fejlkilde, fordi der kun indgår meningsmålinger foretaget umiddelbart op til valget. Den tredje fejlkilde kaldes poetisk for PIE: Pollster Introduces Error. Det er den fejl der kan tilskrives den metode meningsmålingerne bruger. Nogle bruger internet, andre bruger automatiske telefonrobotter, og andre bruger personlige interview. Nogle gange er intervieweren højreorienteret, andre gange er chefen liberal. Nogle gange er intervieweren måske provisionlønnet og skynder sig at lave mange, men ikke særligt gode, interview. Der er et utal af små menneskelige fejlkilder¹ .

FiveThirtyEights rangliste viser at der faktisk er store forskelle i det enkelte surveyfirmas troværdighed. Der er kort sagt rigtig god grund til at vægte de forskellige resultater:

Meningsmålinger fra forskellige firmaer, sorteret efter kvalitet.

Ranglisten skal fortolkes således at scoren angiver hvor mange procentpoints fejl man kan forvente at hvert firma introducere i deres målinger. Mens Gallup altså rammer næsten 2,5 point ved siden af, er selzer og co. faktisk 3 gange mere præcise og introducere kun en PIE på ca. 0,7 procentpoint.

I den lidt sjovere afdeling bruger Nate silver også simulationer på baggrund til at forudsige forskellige udfald:

Forskellige udfald og deres sandsynligheder (pr. 6/10)

Google guruen Peter Norvig side kan i øvrigt også anbefales - som en generelt introduktion til præsidentvalget som set fra en lidt alternativ vinkel.

Del dette

1. Det er derfor det ikke er ligegyldigt hvem man hyrer til at lave sine undersøgelser [↩]

Jens Hainmueller skrev fornyligt en fin blogpost hvori han reklamerede for et paper (pdf) om stemmeadfærden blandt britiske members of parliment. Det viser sig at de parlementsmedlemmer der har særinteresser (bestyrelsesformænd, konsiulenter, journalister) åbenbart har for travlt til at stemme lige så ofte som deres ‘fuldtids-politiker kolleger’.

Andel af stemme afgivet i det britiske parliment. Fordelt på parti og evt. 'bijobs'

Det er et interessant fund forfatterne har gjort. Dog er det tvivlsomt hvor meget værdi det reelt har - umiddelbart. Det er således ganske kendt at travle politikere (i DK eksempelvis ministrerne, som efter dansk lovgivning ofte er medlemmer af folketinget) relativt sjældent er tilstede under stemmeafgivelsen. Simpelthen fordi langt de fleste afstemninger afgøres med en meget stor margin, der gør det unødvendigt at være tilstede i salen. Politikerne synes at tænke at “hvis vores side alligevel vinder med 10 stemmre - så kan otte af os, lavet noget andet”.

Denne argumentation sætter imidlertid meningen med folketingets talerstol under pres. Hvorfor tale i salen, hvis man alligevel har bestemt sig før man går på tilhøre pladserne?

Der er lavet flere andre lignende studier. I posten nævnes et arbejde af Muller der åbenbart viser at politikere med særinteresser, også politisk arbejder med områder der relatere sig til særinteresserne. Heller ikke dette er på sin vis underligt. Man arbejder vel med det man har ekspertise i?

Hvis nogen kender andre - lignende - undersøgelser af politikeres stemmeadfærd, så læg venligst et link i kommentarerne.

Eksempelvis kunne det være fedt med en stor N undersøgelse af hvorvidt politikere med særinteresser oftere stemmer imod partilinien, end deres kolleger.

(Det er i øvrigt  bemærkelsesværdigt at figuren også viser at konservative stemmer mindre end labour. Er der en god forklaring på dette? Er der en incitaments struktur der gør det mere attraktivt for magthaverne (labour) at stemme end for oppositionen (konservative). Det burde man kunne undersøge vha. af historiske data. — Måske er konservative blot mere dovne?)

Data er i øvrigt fra the publicwhip

Del dette

Super Crunchers: How Anything Can be Predicted samlede jeg op i lufthavnen i forrige måned. Der er tale om en let læst og vel argumenteret forfægtelse af statitistisk metode. Uheldigvis afsløres bogens egentlige motivation først til sidst i bogen nemlig

behovet for at indprente lægmand en grundlæggende statistisk forståelse (min oversættelse)

endda på en sådan måde at fordomme om at kvantitativ metode som ondskabens ‘højreorienteret’ træl (”tænk på: løgn, forbandet løgn og statistik”) gøres til skamme:

Man kan knuse tal og stadig have en passioneret og omsorgsfuld sjæl. Man kan være kreativ (min oversættelse).

Jeg vil dog tro at folk der tænder på titlen og særligt undertitlen “How anything can be predicted” er overbevidst før titelbladet vendes. Hvilket er en skam. For “Super Crunchers” er en overbevisende bog der på indholdssiden klart har potentiale til at skabe interesse for statistisk metode i selv meget kvalitativt orienterede kredse.

På formidlingssiden er forfatterens prosa tydeligt mærket af passion for data generelt og datamining i særdeleshed. I den forstand er sproget måske ikke egnet til at overbevise/omvende de skeptiske. På den anden side har Ian Ayres som forfatteren hedder også en omsorgsfuld sjæl. Indeholdt er hvertfald søde bemærkninger om kollegaer, et enkelt lille hævntogt¹, betragtninger om sin datter, om hvordan statistik skyder ekspertvældet ned og lader lægmand ser kejserens sande klæder, hjælper arbejdsløse med at få arbejde, narkomaner med at forblive ‘clean’, singler med at finde kærligheden og gravide med at vurdere risikoen for at få handikappade børn. Det er således ærværdige sager som Ayres forfølger.

Der er kun to figurer i bogen (begge af normalfordelingskurver) og ingen ligninger. Der er altså tale om en deskriptiv bog med en masse gode eksempler på super-crunching. Det er ikke en lærerbog eller en introduktion til de teknisk orienteredet². Der er tre storer temaer:

For det første viser Ayres at vores liv idag leves digitalt. Næsten ingen ting er længere privat. Det betyder at dataminingindustrien³ (oh yes - den findes i allerhøjestegrad, fx Acxiom og danske Geomatic) er bedre til at forudsige om du bliver skilt i det næste år, end du selv er. På den baggrund skrædersyes tilbud og produkter til lige præcis dit kundesegment⁴ hvilket kan være en fordel for forbrugeren, men med det aberdabei at virksomheder vha. af statistik i dag kan prisdiskrimere og altså tilbyde forskellige kunder det samme produkt til forskellige priser. Som Ayres skriver er der grund til bekymring hvis man modtager noget gratis fra sin leverandør af dette eller hint. Det betyder nemlig at man betaler for meget for sine vare. Mens virksomheder kan kværne store datasæt har den almindelige forbruger jo ikke råd til den slags, hvilket altså umiddelbart stiller menigmand relativt svagere vis a vis erhvervslivet. Heldigvis stiller dataminingfirmaer sig også i forbrugernes tjeneste og hjælper de forbrugere der gider (hvilket jo langt fra er alle) med at finde de bedste tilbud. Farecast.com kværner eksempelvis data for forbrugere og hjælper os med at forudsige om flypriserne vil falde eller stige i fremtiden. De er endda så sikre at de (for nogle afgange) tilbyde at forsikrer deres forudsigelser for 10$. Stiger prisen mod forventning refundere farecast beløbbet. Så datamining er altså slet ikke kun dårligt.

Ayres foreslår i øvrigt at man lovgivningsmæssigt kan tvinge virksomheder til at offentligegøre data - eller som han siger “educate consumers about themselves”. Særligt interessant er overvejelsen om ikke kære told∘skat offensivt kunne bruge sine mange oplysninger om borgeren som en service, der fortalte om man som virksomhed bruger for mange penge på reklame, giver mindre end gennemsnittet til godgørende formål, har et fornuftigt afkast på sine investeringer og så videre.

Det andet tema i bogen er brugen af simpel eksperimentel metode. Det er tankevækkende at eksperimentel metode med randomiseret forsøg i nogle sammenhænge beskrives som rabiat, mens Ayres langt hen ad vejen lykkedes at fremstille det som noget af det mest simple og mest overbevisende (og jeg er helt klart enig med Ayres). Eksempler dækker hvordan hospitaler reddede 100.000 menneskeliv, fattige hjælpes i mexico, kriminalitet sænkes i amerikanskebyer og hvorvidt fængselsstraffe forhærdiger de kriminelle og meget andet.

Det tredje tema - som afslutter bogen - drejer sig om mere basal statistik: Reglen om næsten alle gennemsnit er normaltfordelt og at 95% vil ligge inde for +/- to standardafvigelser, og brugen af bayesteorem til at opdatere sandsynligheder (Ayres bruger det samme eksempel som jeg beskrev fornylig). Der argumenteres for at intuition sagtens kan være statistisk intuition og de statistik kan bruges til at undersøge og opdatere sine fingerspidsfornemmelser.

Jeg var - som jeg formoder de fleste andre der finder titlen interessant - solgt i forvejen. Det var paradoksalt nok derfor jeg købte bogen: For at blive endnu mere overbevidst. Og her, i mit eget lille mikro univers, ligger forfatterens akilleshæl. For bogens titel blev tilsyneladende fundet ved hjælp af eksperimentel metode: Et par google annoncer blev lanceret på internettet med forskellige bud på hvilken titel bogen skulle have. SuperChrunchers vandt klart - dvs. supercrhunchers reklamen genererede langt flere klik end de øvrige titler. Mit gæt er som nævnt, at de folk der finder bogens titel incitterende allerede i forvejen er gejlet af tal… Men folk der kender til simple statistik, den digitale web2.0. mining virkelighed og bare har hørt om bayes vil ikke få meget nyt med sig.

På den måde er bogen uforvarende et eksempel på at eksperimentel metode ikke kan stå allene. Der er således en modsigelse mellem bogens formål (at omvende og overbevise) og bogens salgstaktik (at henvende sig til de allerede overbevidste). Den gode titel skal således være i overensstemmelse med bogens indhold. Og det kunne statistik ikke hjælpe med⁵ .

Køb bogen - enten fordi du gerne vil have en masse eksempler du kan bruge til at overbevise ikke tal-venlige folk (giv den i gave)⁶, eller fordi du selv ønsker at få en nem og letlæst introduktion til hvorledes statistik kan anvendes.

Del dette

1. Det er John Lott Ayres er ude efter - og noteapperatet antyder at Ayres og med-hævner Steven Levitt har fat i den lange ende [↩]
2. til gengæld er noterne meget værdifulde og detaljerede med gode “further readings” forslag [↩]
3. eller såkaldt CDI - “consumer data integration [↩]
4. som for Acxioms vedkommende består af mere end 70 forskellige livsstile. Man er altså kommet langt siden Henrik Dahls minervamodels fire segmenter [↩]
5. Dog: Supercrunchers indeholder faktisk omtale af Atai Winkler som har haft relativt stort held med at forudsige hvilken bog på New York Times bestseller liste som ville få førstepladsen, allene på baggrund af analyse af titlen - man kan endda selv prøve sin egen titel her [↩]
6. noteapperattet er dog også værd at læse for de indviede [↩]