I det siste har jeg gjort noe så sært som å føre en krangel om Wheel of Time på et internettforum. Eller strengt tatt var det en krangel om statistikk, så jeg tenkte å skrive om den her i almenndannelsens navn, og jeg skal prøve å holde Wheel of Time-greiene på et minimum.

Litt bakgrunn er imidlertid essensielt for å forstå hva diskusjonen gikk ut på. Robert Jordan, som skrev Wheel of Time frem til han døde i 2007, pleide ofte å svare på spørsmål fra fans på boksigneringer og denslags. Disse såkalte «Q&As» ble raskt rapportert på internett, og finnes nå i store samlinger som for mange fans utgjør et viktig tilleggsmateriale til bøkene. Et av svarene hans dreier seg om hvor stor andel av kvinner som er sterke nok med den ene kraften til å bli med i en gitt organisasjon (har du ikke lest serien kan du tenke på det som The Force, detaljene er ikke så viktige), og han svarte at 62.5% var sterke nok til dette.

Så, et par bøker senere får vi referert at nevnte organaisasjon har skaffet 1000 nye rekrutter, og at bare 200 av disse er sterke nok til å få fullt medlemskap. Og dette er altså stridens kjerne. Forutsatt at de 1000 utgjør et representativt utvalg av befolkningen er dette nemlig en statistisk umulighet (sannsynligheten for at så få som 200 av 1000 skulle være sterke nok, hvis 62.5% i den generelle befolkningen er det, er 1,33x10^-163).

Vi var primært fire som deltok i diskusjonen, og mitt synspunkt er at Jordan fisket tallet 62.5% opp av hatten sin for å høres vitenskaplig ut, og at han deretter glemte å ta hensyn til dette i den videre skrivingen. En annen person mente at en eller annen uspesifisert mekanisme gjorde at de 1000 rekruttene ikke utgjorde et representativt utvalg av befolkningen. Hans teori var at siden alle disse menneskene kom fra omtrent samme område kunne det hende at personer der var svakere enn i resten av befolkningen. Personlig synes jeg det høres urimelig ut, men det er ikke egentlig noe jeg kan argumentere mot. Og i allefall blir det da å krangle om hint i den ene eller andre retningen fra resten av bøkene, og har ikke egentlig noe med statistikk å gjøre.

Den tredje personen mente at 62.5% nødvendigvis må være riktig, siden forfatteren har sagt det (enkelte av disse folkene har en helt urealistisk forestilling om forfatterens ufeilbarighet), men at han kanskje valgte å se bort fra det for å understreke et eller annet poeng. Jeg påpekte at et så stort statistisk avvik er på linje med å se bort fra tyngdekraften for å understreke et poeng, og la til at det er teit å si 62.5% og late som om man har tenkt på saken hvis man uansett planlegger å se bort fra det senere, men jeg fikk ikke noe særlig respons.

Statistikk, og spesielt god statistisk metode, er imidlertid kjernen av argumentet til den fjerde personen. Han hevdet at vi ikke kan trekke slutninger fordi alle de 1000 ble rekruttert frivillig, ved at de kom og spurte om å få bli med. Dermed utgjør de det han kaller en «self-selected sample», og da kan man ikke forvente å få et representativt resultat. Det er åpenbart ikke fullt så enkelt, så jeg prøvde å antyde at det han sier bare stemmer hvis det er en korrelasjon mellom styrke med den ene kraften og det å ha lyst til å bli med i nevnte organisasjon. Og siden man ikke vet om man kan bruke den ene kraften før man har blitt testet ser jeg det som urimelig at det skulle finnes en slik sammenheng.

Dette ville han imidlertid ikke høre på, så han gjentok et par ganger at man ikke kunne forvente å få et representativt utvalg fra en self-selected sample, konkluderte med at «your grasp of statistics is decidedly poor», og avsluttet med å anbefale meg å lese en statistikkbok.

Jeg visste selvfølgelig at de fleste statistikkbøker sier at man ikke skal bruke en self-selected sample, eller sample of convenience som det også kalles, på grunn av self-selection bias. For eksempel, hvis man har et skjema på internett det er frivillig å fylle inn er det angivelig slik at folk som har noe å klage på oftere svarer enn folk som er fornøyde. Og dette er kanskje greit nok for mange som driver innen teknologi og naturvitenskap, for de driver ikke så ofte med statistikk på mennesker, men prøver heller å si noe om sannsynligheten for at en eller annen komponent er defekt eller noe slikt.

Hvis man derimot forsker innen for eksempel medisin er det slett ikke alltid man har den luksusen at man kan velge ut deltagere til en studie på helt tilfeldig grunnlag. Og hvis man leter litt videre finner man statistikkbøker som stoler på at leseren kan tenke litt selv, og da står det gjerne at det kan være greit nok å bruke et self-selected sample hvis det er rimelig å anta at det ikke er noe korrelasjon mellom det man måler, og sannsynligheten for å melde seg frivillig (eller hvordan man nå gjør utvelgelsen).

Dessverre svarte ikke han jeg diskuterte med på den siste kommentaren min, der jeg trakk frem sitater fra tre forskjellige statistikkbøker som underbygget mitt syn, så jeg fikk ikke gleden av å se ham innrømme at han tok feil, eller mer sannsynlig, gleden av å avfeie ham som en idiot når han fortsatt nektet å innrømme at jeg har rett. Derfor poster jeg her, i håp om å høste litt annerkjennelse. Men jeg er faktisk ganske bitter for at han ikke svarte. Jeg designet tilogmed et tankeeksperiment for å demonstrere poenget mitt, som gikk slik:

Du har 100 personer, som har en mynt hver. Du ber dem som føler for det om å ta et skritt frem, og flippe mynten. Jeg regner med man vil få omtrent like mange mynt og kron, til tross for at dette er en self-selected sample.

Deretter tar du de samme 100 personene, og ber dem om å flippe mynten og markere den siden som landet opp med en tusj uten å se på resultatet. Så ber du de som føler for det om å ta et skritt frem og vise frem mynten sin. Jeg forventer igjen å få omtrent like mange mynt og kron.

Det siste eksempelet er ekvivalent med problemet vi diskuterte, siden personene det dreier seg om ikke vet hvor sterke de er før de har blitt testet, og de to tankeeksperimentene er ekvivalente siden det ikke er noen måte resultatet av hver enkelt myntflipp kan påvirke sannsynligheten for at en gitt person skal føle for å delta.

Jeg sendte forøvrig spørsmålet til Brandon Sanderson, som henviste meg videre til Maria Simmons, som jobbet som Robert Jordans assistent før han døde, og som nå hjelper Sanderson med å skrive ferdig boken. Det er hun som sitter på alle notatene Jordan tok, som visstnok skal være nesten like omfattende som bøkene selv. Rapport følger, hvis jeg får svar.