Arne Kåre Topphol avdekkjer feil statistikkbruk i viktig fagbok

Tekst: Lars Julius Halvorsen

– I mange vitskapelege publikasjonar kan det vere vanskeleg om ikkje umogleg å kontrollere den statistiske metodebruken som ligg til grunn. Difor er det ekstra viktig at vi kan setje vår lit til at forfattarar, fagfeller og redaksjonar har kompetanse nok til å kontrollere for oss, seier Arne Kåre Topphol.
I ein artikkel i Norsk Pedagogisk Tidsskrift bruker Topphol John Hatties bok: Visible Learning: a synthesis of over 800 meta-analysis relating to achievement til å underbyggje ein påstand om at ein ikkje alltid kan stole på at metodebruken i en publikasjon er god nok.
Gjennom artikkelen demonstrerer Topphol at Hatties berekningar av det statistiske effektmålet «Common Language Effect Size» (CLE) er systematisk feil gjennom heile boka. I eit blogginnlegg får Topphol takk av Hattie for å gjere han merksam på feilen som, i følgje han sjølv, skuldast ein programmeringsfeil. Det er likevel ikkje berre Hattie som har svikta. – Feila er såpass gjennomgåande, systematiske og så klare at dei burde vore enkle å avsløre i publikasjonsprosessen, meiner Topphol. Dette tyder på at det også kvalitetssikringa har svikta og han avsluttar artikkelen med to oppmodingar: Forfattarar bør ikkje gå utover eigen kompetanse i bruk av statistiske metodar, medan redaksjon og fagfeller må gjere grundig arbeid i kvalitetskontrollen av statistiske publikasjonar.

Hatties første respons på kritikken

Topphol sitt tilsvar

Hatties siste innlegg