Kritikken av kvaliteten av John Hatties kvantitative forskning

Artikkelen har også stått på trykk på Utdanningsnytt.no.

Oversatt til norsk av Ståle Johnsen.

Denne artikkelen er en respons på en artikkel skrevet av Thomas Nordahl (2019), professor i utdanningsforskning ved Høyskolen i Innlandet, der han kritiserer en rekke av våre argumenter vedrørende den newzealandske utdanningsforskeren John Hatties arbeider (Klitmøller & Nielsen, 2018). Denne kritikken har vi formulert og underbygd i en rekke utgivelser (Klitmøller, 2017; Klitmøller & Nielsen, 2017; Nielsen & Klitmøller, 2017), hvorav Nordahl kun forholder seg til det innlegget vi på oppfordringer av vårt tidligere arbeid skrev til tidsskriftet Bedre Skole. Nordahl fordreier i flere henseender vår forskning generelt og vår Hattie-kritikk spesielt, med den konsekvens at store deler av vår kritikk mot Hatties arbeid ikke blir besvart. Vi er naturligvis glad for at vårt arbeid gir opphav til faglig diskusjon – og ser Nordahls kommentar av vår artikkel som en anledning til å fortsette kritikken av Hatties arbeid. Diskusjonen om kvaliteten av Hatties arbeid er avgjørende – ikke bare for å kunne forholde seg til Hatties arbeid i seg selv – men fordi Hatties arbeid, både av Hattie selv og av andre, brukes som ideal for forskning i pedagogisk praksis i alminnelighet – noe Nordahl er et glimrende eksempel på. Hatties rolle i skolens praksis er tydelig, for eksempel i Danmark, hvor hans arbeid allerede brukes aktivt i kommuner, på skoler, i pedagogiske forskningsmiljøer og av Undervisningsdepartementet.

Leserne kan selv orientere seg i Nordahls artikkel for detaljene i kritikken. Vi har samlet svarene våre i tre overordnede avsnitt. Først gjelder det Nordahls forsøk på å hevde at vår kritikk av Hattie skyldes at vi er «empirifornektere» (s. 13). Hermed nedtoner Nordahl det forhold at vi analyserer kvaliteten av Hatties arbeid ut fra den kvantitative logikken som det er laget innenfor. For det andre ut- og underbygger vi våre argumenter om at det ikke bare teoretisk, men også teknisk og metodisk er en rekke alvorlige problemer med Hatties arbeid. Vi presenterer noen utvalgte kjerneeksempler på de mest alvorlige av disse problemene. Til slutt diskuterer vi noen av de overordnede konsekvensene av å følge Hatties logikk i diskusjonen av spørsmål som gjelder hva skolen er til for; hvordan barns (og foreldres) forståelse av hva skole er, skal inngå i en slik diskusjon, samt noen sentrale problemstillinger som ikke tas opp – for eksempel sosioøkonomisk bakgrunn.

Vi er bekymret over kvaliteten i Hatties empiriske forskning

Nordahl innleder med en beskrivelse av den pedagogiske forskningen, som at den er inndelt i to fløyer. Her skulle vi ifølge Nordahl befinne oss i en «anti-empirisk og verdiforankret posisjon» (s. 6) og være empiribenektere (s. 13). Det forundrer oss at Nordahl, med sin enkeltstående henvisning til vårt arbeid, mener at han har tilstrekkelig belegg for å kategorisere oss som anti-empiriske. Vi har begge utført en rekke empiriske undersøkelser av pedagogisk praksis (f.eks. Klitmøller, 2014; Nielsen, 2008, 2016). Der er altså tale om en stråmann som lar Nordahl påstå at vi skulle være del av den «relativt omfattende og til dels aggressiv[e] debatt om pedagogikk og pedagogisk forskning som nå foregår i både Norge og Danmark» (s. 6). Nordahl underbygger sin stråmann ved å bruke som overskrifter i sin artikel noe som kunne tolkes som sitater fra vår artikkel. For eksempel når det gjelder vår påståtte avvisning av all kvantitativ forskning: «Pedagogisk kvantitativ forskning gir inntrykk av å være objektiv og definitiv, og lukker for den pedagogiske diskusjonen” (s. 7). Det vi faktisk skriver i vår artikkel, er: «Kvantitativ forskning på pedagogiske effekter er blitt langt mer vanlig og gir ofte inntrykk av å være objektiv og definitiv. Slik sett er den av og til med på å lukke, fremfor å åpne, for den pedagogiske diskusjonen rundt undervisningens innhold og elevenes læring” (Klitmøller & Nielsen, 2018, s. 17, vår kursivering). Vi skriver om Hattie – og vi mener at forskere som Hattie – og, ser det ut til, Nordahl – ønsker å gi inntrykk av større sikkerhet for resultatene enn hva som er rimelig, og at Hattie, til tross for all empirien, faktisk bidrar til å innsnevre og ikke utvide diskusjonen om skolens innhold og formål.

For å presisere vår posisjon en gang for alle: Vi mener entydig at kvantitativ forskning har plass i pedagogisk forskning.
I virkeligheten er Nordahls bekymring nemlig den at vi skulle være mot kvantitativ forskning (f.eks. s. 7 og 8) – noe som også kan leses av tittelen på hans innlegg: «Kritikken av kvantitativ forskning i pedagogikk». For å presisere vår posisjon en gang for alle: Vi mener entydig at kvantitativ forskning har plass i pedagogisk forskning. Vår kritikk av Hattie skyldes ikke at han er en empirisk forsker (mer presist, at han reanalyserer andres analyser av atter andres konkrete empiriske forskning). Kritikken vår handler heller ikke om at Hatties forskning er kvantitativ. Vår analyse av Hattie har i stedet ledet oss til den konklusjon at det er betydelige problemer ved Hatties forskning sett fra et kvantitativt perspektiv. Med andre ord: Vi kritiserer kvaliteten av hans forskning, som ikke står mål med den innflytelsen arbeidet hans har fått.

Kvantitativ forskning er også verdibasert – transparens er avgjørende

Nordahl (Nordahl, 2019, s. 6) kritiserer oss for å være verdiforankrede, noe han tydeligvis synes er problematisk. Det paradoksale er at Nordahl er like verdiforankret som det han beskylder oss for å være. I forlengelsen av et poeng om at de færreste kvantitative forskere forstår deres arbeid som positivistisk, skriver han: «Det er selvsagt slik at det ikke er en direkte, entydig og objektiv sammenheng mellom den virkelige verden og tallene i en resultat-tabell. Tallene som framkommer av kvantitativ forskning krever også fortolkning” (s. 7, vår kursivering). Nordahl forsetter lenger fremme: «… selv om kvantitativ empirisk forskning ikke er objektiv, betyr ikke det at vi ikke skal strebe for å gjøre forskningen mest mulig valid og reliabel.” (s. 7 – vår kursivering). Vi er fullstendig enige og mener at det nettopp er ett av de områdene hvor Hatties arbeid er sterkt problematisk. All forskning – som all praksis – inneholder vurderinger og «oversettelser». Selv der forskningen følger et «skjema, en «tabell» eller «test», er disse basert på at noen antar at noe er bedre enn noe annet. Verdier er ikke noe man kan slippe unna, det er bare noe man kan arbeide for å tydeliggjøre i eget og i andres arbeid.

Når vi fokuserer spesifikt på Hattie, er det fordi Hattie ikke er noen hvem som helst. I løpet av relativt kort tid er Hattie blitt en meget sentral figur, ikke minst i den politiske styringen av skolen. Som vi har dokumentert andre steder (Nielsen & Klitmøller, 2017), gjelder det i konkrete forhold som for eksempel klassestørrelse og lekser, der skoleledere og andre tolker Hatties resultater som entydige og grunnlag for handling. Og Hattie er ikke en mann med beskjedne ambisjoner. Han ønsker å skape en samlet modell for hva god undervisning er – og for å oppnå det er det vår overbevisning at alle typer forskning bør inngå. Vår kritikk av Hatti er altså ikke et skjult angrep på empirisk forskning overordnet, og heller ikke på all kvantitativ forskning som helhet, og det er heller ikke vår intensjon å hevde at alle kvantitative forskere er positivister. Vår kritikk av Hattie er en kritikk av Hatties arbeid, fordi han både er forbilde for andre og fordi hans arbeid allerede har fått en enorm innflytelse på pedagogisk praksis.

En ytterligere konsekvens av Nordahls stråmann er at han får det til å se ut som om det kun er anti-empiriske forskere som er kritiske til Hattie. Dermed tilsidesetter han, mot bedre vitende, antar vi, en mengde kritiske analyser av Hattie, som kommer nettopp fra empiriske forskere, herunder både kvantitative forskere og statistiskere.

For eksempel problematiserer Simpson (2017) den måten effektresultater fra metaanalyser blir tolket på, blant annet av Hattie. Wrigley (2015, 2018) problematiserer likeledes metodetekniske problemstillinger i forskning som Hatties. Statistikeren Peter Allerup (2015) påpeker en rekke forhold omkring Hatties arbeider, blant annet spørsmålet om betydningen av multivariable analyser, det vil si analyser med flere samtidige variabler. Hatties arbeid med enkelteffekter innebærer at det i Hatties liste over effektive tiltak ifølge Allerup ikke tas tilstrekkelig høyde for samspillet mellom flere variabler. Bergeron og Rivard (2017) skriver om Hatties arbeid: «anybody who is knowledgable in statistical analysis is quickly disillusioned. Why? Because data cannot be collected in any which way nor analyzed or interpreted in any which way either» (s. 238). De konkluderer med at «John Hattie and his team have neither the knowledge nor the competence required to conduct valid statistical analysis» (s. 245).

Hatties metodiske problemer

For å forstå våre metodiske innvendinger mot Hattie, er det nødvendig med en kort presentasjon av prosjektet hans. Hatties overordnede prosjekt er å skape en syntese – en overordnet modell – for hva som fører til bedre prestasjoner blant elever (Hattie, 2009, s. ix). Som grunnlag for denne modellen har han reanalysert en meget stor mengde metaanalyser, som han har kategorisert under en rekke enkeltfaktorer, som hver får beregnet en verdi som beskriver hvor stor effekt den har. I skrivende stund er det 277 enkelteffekter (http://www.visiblelearningmetax.com/Influences). Effekter angis i såkalt ’Cohens d’. At det (først og fremst) er snakk om en syntese, betyr at de enkelte effektmålene ikke i seg selv er de viktigste. Det er snarere forståelsen av hva som har betydning for god undervisning og gode prestasjoner, som kommer til uttrykk gjennom dem. Til tross for dette har Hattie laget en rangordning av enkeltfaktorene, som for den uforsiktige leser kunne fremstå som et forslag til hvilke tiltak som burde velges hvis man ønsker å forbedre sin undervisning. Hattie avklarer: «The aim is to provide more than a litany of ‘what works’, as too often such lists provide yet another set of recommendations devoid of underlying theory» (Hattie, 2009, s. 3). Grunnen til dette, poengterer Hattie, er at man risikerer å feilaktig tilskrive kausalitet til de korrelasjoner som forskningen han trekker inn, bygger på.

Cut-off-scoren på 0,4 ”(…) er en terskel til å skape en god historie (…)”

Nordahl fremholder at vi har misforstått Hattie grunnleggende når vi mener at Hatties valg av en 'cut-off'-score på d=0,4 for pedagogiske tiltak med tilstrekkelige effekt til å satse på, er ’subjektivt’. Spørsmålet om de 0,4 er, som det også fremgår av Nordahls gjengivelse, noe mer sammensatt enn som så. Som Nordahl ganske korrekt angir, har Hattie flere argumenter for å velge nettopp 0,4, noe vi også selv poengterer i vår artikkel (Klitmøller & Nielsen, 2018, s. 17). Det endrer ikke ved at det er Hatties valg, og at valget ikke følger naturlig av tallene. Det som imidlertid kan forvirre uinnvidde lesere, er hvorfor Hattie overhodet velger en ’cut-off’-score. For det første leter han jo etter den overordnede historien om hva som skaper gode prestasjoner, ikke enkelteffekter. For det andre er det mange steder, fint eksemplifisert av Nordahl, der Hattie hevder at man skal implementere lavere effekter enn 0,4, et helt rimelig argument. Men igjen: Hvorfor ha en cut-off-score, og ikke heller en liste over dem mest pålitelige funn, fremfor en liste med de største effektene? Vi understreker at det er Hattie, og ikke oss, som konkluderer med at 0,4 “is a threshold to create a story (about what is common above and below this effect” (Hattie, 2010, s. 89, vår kursivering). Cut-off-scoren skal først og fremst lette formidlingsarbeidet med modellen. I virkeligheten bidrar den til å tilsløre hvor solide de enkelte effektene egentlig er.

Her gjør Bergeron og Rivard (2017) oppmerksom på at Hattie har en forkjærlighet for positive effektstørrelser. Når Hattie (2009) regner ut effektstørrelsen til +0,57 for effekten av sosioøkonomisk status, er det fordi han tar som utgangspunkt de som klarer seg dårligst, og de som klarer seg bedre, som et pluss i forhold til dette. Men det er igjen et valg som Hattie har tatt. Man kan argumentere for at man i stedet burde ta dem som klarer seg best, som utgangspunkt, og de som klarer seg dårligere, som den egentlig effekt – da får vi d=-0,57. Nå ville gjennomsnittet av alle undersøkelsene være lavere enn d=0,4. Bergeron og Rivard påpeker i forlengelsen av dette at sosioøkonomisk status langt fra er den eneste effekt som kunne «vendes om».

Hattie trekker inn moderatorer der det passer ham

Nordahl mener også at vi bommer når vi problematiserer måten Hattie bruker (og særlig ikke bruker) moderatorer på. Andre steder argumenterer Nordahl selv på en måte som paradoksalt nok motsier de samme argumentene. Moderatorer er kort sagt en tredje variabel som har betydning for forholdet mellom to undersøkte variabler. For eksempel har kjønn (den tredje variabelen) betydning for prestasjon i skolen (forholdet mellom undervisning og prestasjon som de to første variablene)

For det første skjuler Hatties enkelteffektstørrelser hver især variasjon. Her fungerer Nordahls eksempel med Hatties funn angående lekser fint – enkelteffektstørrelsen angis til d=0,29 – langt under de 0,40. Men der er tale om et gjennomsnitt av alle aldersgrupper, og det viser seg (som Hattie selv poengterer), at det for elever i videregående skole er d=0,64. Alder utgjør en forskjell, det vil si at alder fungerer som moderator. Problemet er altså ikke at Hattie alltid og konsekvent tilsidesetter disse overveielsene. Problemet er Hatties inkonsekvente bruk av variabler, og at det er kun er når Hattie selv finner det relevant, at de tas med.

Etter å ha argumentert for at Hattie faktisk bruker tilstrekkelig med moderatoranalyser – for eksempel av alder – snur Nordahl argumentet helt om og påpeker at det iblant ikke er nødvendig:

«Men samtidig er det avgjørende å understreke at barn og unge også har en rekke ting til felles, og vi kan si at barn og unge er mer like enn ulike. Dette er også et argument for at det til tross for moderatorer, finnes pedagogiske tilnærmingsmåter som har god effekt på alle elever uavhengig av bakgrunn, selv om effekten ikke nødvendigvis er lik» (Nordahl, 2019, s. 10).

Her argumenterer Nordahl for at vi før analysen kan avgjøre at barn og unge er mer like enn ulike hverandre (på de parametere som undersøkes), og at det derfor ikke alltid er nødvendig med en moderatoranalyse. Vår enkle innvending er at moderatorer nettopp er til for å besvare spørsmålet om hvorvidt noe er «mer likt enn forskjellig». I sin artikkel fastslår Nordahl flere ganger at det er et faktum at gutter klarer seg dårligere enn jenter i skolen (s. 7 og s. 13). Men er ikke gutter og jenter mer like enn de er forskjellige? Hvorfor skal ett resultat (barn versus unge) fritas fra en moderatoranalyse, mens et annet fremheves som et uomtvistelig faktum?

Spørsmålet må alltid være om en gitt effekt varierer systematisk i relasjon til forskjellige grupper (for eksempel alder) eller fenomener (for eksempel sosioøkonomiske forhold). Spørsmålet om moderatorer er ikke et spørsmål om bekvemmelighet – men er avgjørende for kvalitetssikringen av korrelasjonelle analyser. Det handler om sikkerheten for at en statistisk analyse faktisk kan tilskrives de faktorer man tror spiller inn, eller om det i virkeligheten er snakk om avledete effekter av andre faktorer.

Det er altså variasjon innenfor de enkelteffektstørrelsene som Hattie regner ut, også når det dreier seg om feedback, som er et av de helt avgjørende elementene i Hatties forståelse av god undervisning. Her arbeidet de opprinnelige metaanalysene med langt flere effekter enn Hattie, og ikke overraskende er både variansen større og noen endog negative (se for eksempel Kluger & DeNisi, 1996).

Et sted hvor flere, blant annet vi, har påstått at Hatties måte å behandle materialet på stenger for avgjørende diskusjoner, gjelder vår tilbakevendende behandling av spørsmålet om sosioøkonomisk status og dens betydning for elevers prestasjoner i skolen (for eksempel Snook, Clark, Harker, Neill, & Neill, 2010; Snook, O’Niel, Clark, O’Neill, & Openshaw, 2009). På den ene siden beregner Hattie en effekt – d=0,57 (Hattie, 2009). På den andre siden unnlater han å trekke inn sosioøkonomisk status i analysen av andre ulike effekters betydning. Det er et metodisk valg som har en rekke konsekvenser. Men Hatties valg er ikke kun metodiske – de kommer av hans snevre syn på hvordan skolen overhodet fungerer som en del av samfunnet:

“It is my view that we educators cannot do much to fix poverty. Instead, we can offer the best chances to help students, no matter what their home situation is” (Hattie, 2015, s. 6).

Men hvis Hattie skal kunne det (hjelpe elevene), er det avgjørende for ham og oss å vite om en bestemt innsats rammer differensiert – herunder om det er en sosioøkonomisk slagside.

Vår kritikk går ikke ut på at Hattie (og i dette tilfellet Nordahl) ikke er kvantitative eller empiriske – vår kritikk gjelder at de ikke er kvantitative og empiriske nok. Det vil si at det uklart når det det lages moderatoranalyser av funnene som rapporteres, noe som gjør det vanskelig å avgjøre funnenes validitet.

Manglende kvalitet og validitet i metaanalysene som Hattie trekker inn

På denne siden vektlegger Nordahl at det er avgjørende at man i empiriske undersøkelser forholder seg til kvalitet gjennom blant annet spørsmål om undersøkelsenes reliabilitet og validitet. På den andre siden avfeier Nordahl vår kritikk av manglende kvalitet i de metaanalysene som Hattie bruker, med en kommentar om at Hattie allerede har besvart spørsmålet om kvalitetsvurdering av de inkluderte metaanalysene. Nedenfor vil vi ytterligere kvalifisere våre bekymringer omkring disse forholdene.

Sett fra vårt perspektiv er det et stort problem at Hattie ikke forholder seg til kvaliteten av de metaanalysene han trekker inn. Han trekker helt ukritisk inn kvantitative undersøkelser som helt åpenlyst har store mangler og hevder at en analyse av om hvorvidt det er nødvendig å undersøke kvaliteten, er overflødig. Det er blant annet her moderatoranalyse av kvalitetens betydning er relevant. Å blande kvantitative undersøkelser som ikke opererer med kontrollgrupper, med andre som gjør det, har betydning for resultatet og bør klargjøres i formidlingen av resultatene.

Den annen kritikk vi fremsetter og som Nordahl avfeier uten noen egentlige argumenter, dreier seg om validitetsspørsmålet. Det paradoksale i denne sammenhengen er at Nordahl i begynnelsen av artikkelen fremhever validitetsspørsmålet som et sentralt element for å fastholde kvaliteten i kvantitative undersøkelser. Validitet er rettet mot å undersøke om empirisk forskning måler det den rent faktisk hevder at den undersøker. I vår kritikk av Hattie har vi vist at han på dette punktet har et særlig stort problem, fordi det er tvilsomt om de kvantitative undersøkelsene som inkluderes i de metaanalysene Hattie anvender, faktisk måler det som Hattie påstår at de gjør (se Nielsen & Klitmøller, 2017). Vi har i vårt arbeid med Hatties metoder lest gjennom de metaanalysene som danner bakgrunnen for den effektstørrelsen som knytter seg til feedback (Nielsen & Klitmøller, 2017, Nielsen & Klitmøller, submitted). Vi har valgt feedback fordi det er en effekt som Hattie selv legger stor vekt på, og som har betydning for hans teori om undervisning og læring. Vi hadde en forventning om at nettopp de metaanalysene som lå til grunn for feedback, ville være særlig solide, siden Hattie selv legger så stor vekt på denne dimensjonen. De viset seg ikke å være tilfellet. Faktisk beskjeftiger en del av de inkluderte metaanalysene seg slett ikke med feedback. I noen nevnes feedback-begrepet ikke med et eneste ord (se for eksempel Lysakowski & Walberg, 1980; Witt, Wheeless, & Allen, 2004, se Nielsen & Klitmøller, 2017 for en utdyping). Av de metaanalyser so faktisk bruker feedback som begrep, er det noen som ikke definerer feedback på samme måte som Hattie gjør (se for eksempel Lysakowski & Walberg, 1982). Og sist, men ikke minst: De metaanalysene som definerer feedback på samme måte som Hattie gjør, finner ikke at feedback har den effekten som Hattie hevder (for eksempel Kluger & DeNisi, 1996). Det er på denne bakgrunnen det forundrer oss at Nordahl går i bresjen for å forsvare kvaliteten av Hatties empiriske forskning, hvis han bekymrer seg for hva som kjennetegner god kvantitativ forskning.

Legitimitetsspørsmålet

De ovenstående overveielser handler om kvaliteten av Hatties arbeid. Som det fremgår, mener vi, at det er grunn til å være bekymret. Det reiser spørsmålet om hvorfor Hattie har blitt så populær. Vi mener at svaret blant annet finnes i en bekymring for skolens legitimitet. Kort sagt er skolen, som andre samfunnsinstitusjoner, under økende press for å kunne begrunnes og begrunne seg selv på andre måter enn tidligere. Mens skolen tidligere i høyere grad kunne begrunn sin eksistens og funksjon gjennom henvisning til en tradisjonsbundet rolle i dannelsen av opplyste borgere, er dagens skole i økende rad en del av barn og unges vei til et arbeidsmarked i rask endring. For å kunne begrunne sin eksistensrett er skolen derfor fra ulike hold avkrevd dokumentasjon for sine arbeidsmetoder, særlig i måten de håndterer elevene på. Her spiller empirisk underbygde modeller en økende rolle. De gir både (mer eller mindre) konkrete pedagogiske anbefalinger og gir skoler og kommuner muligheten til å vise at skolens samfunnsoppgave tas alvorlig gjennom bruk av evidensbaserte arbeidsformer. En vitenskapelig begrunnet effektivitetsorientert logikk, som blant andre Hattie er representant for, kan forstås som et forsøk på å gi skolen legitimitet i arbeidet med elevene. Faren er at effektivitet og teknikk avløser spørsmål om faglig innhold og skolens betydning for elever, lærere og foreldre.

Når vi reiser spørsmålet om Hatties manglende inkludering av elevenes intensjoner (Klitmøller, 2017; Klitmøller & Nielsen, 2017) er det fordi vi ser det som en konsekvens av den måten Hattie velger å undersøke forskningsspørsmålet på. I Hatties måte å stille spørsmålet om elevers intensjon på, blir svaret at dersom elevene har en bestemt intensjon, er det større sannsynlighet for at de klarer seg bedre. Hattie spør ikke hvorfor elever har den intensjonen med og oppfatning av skolen som de har (som delvis kan være knyttet til spørsmålet om elevenes oppfatning av skolens legitimitet). Angående vårt argument om at elevenes intensjon ikke tas med av Hattie, skriver Nordahl:

«Dessuten er det slik at de fleste av de strategiene som i «Visible learning» viser stor effekt på læring, forutsetter at elevene har intensjoner. Flere av strategiene uttrykker også at læringsutbyttet blir bedre når elevene har de rette intensjonene og tilnærmingene til læring. Et eksempel er den store effekten på læring som elevenes forventninger til egen mestring har (d = 0,92)» (Nordahl, 2019, s. 11, vår kursivering).

Der er flere ting å forholde seg til i Nordahls argument. For det første begynner han et sted der definisjonen av hvem (elevene) som skal lære hva, (det som er definert i diverse læringsmål) er entydig definert (for eksempel bestemt av læreren, av skolen, av samfunnet). Det som gjenstår å diskutere, er hvordan elevene skal lære det, og her tilbyr Hattie en modell som lærere (skoler, kommuner) kan bruke når de skal avgjøre undervisningens utforming. Det er altså ikke et egentlig valg, men i stedet en diskusjon om hvordan de empirisk underbygde redskapene best omsettes i og til den konkrete praksis. Den teknisk orienterte logikken som kjennetegner Hatties forståelse av læring, tillegges også elevene, som om deres motiver for å gå på skolen skulle være å lære mest mulig effektivt. Det mener vi er en feilslutning fra både Hatties og Nordahls side. Elevenes intensjoner ved å gå på skolen er normativt begrunnet og ligger utover eller utenfor skolens rammer, og de kan ikke abstraheres bort når prosjektet er å skape en tilgang til undervisning og læring.

I tillegg er det for Hattie en konkret sammenheng mellom elevenes og lærernes enighet om målet for undervisning – det er nemlig her han registrerer de største effektene:

“The remarkable feature of the evidence is that the biggest effects on student learning occur when teachers become learners of their own teaching, and when students become their own teachers” (Hattie, 2009, s. 22).

Altså – og som i Nordahl-sitatet ovenfor: Når alle involverte arbeider mot samme mål, og dette målet er klart, vil tester kunne fastslå at det læres mer. Ikke overraskende, men så avgjort heller ikke på nær så uskyldig som det kan se ut. De store effektene er sikret når man har avsluttet diskusjonen om hvem som skal lære hva, og hvorfor og hvordan de skal lære det. Men den diskusjonen er jo blant annet nettopp å forholde seg til hva elevene tenker om det de blir bedt om å lære. Det krever deres engasjement i spørsmål som angår innholdets gyldighet. Den diskusjonen, og som i praksis er med på å avgjøre hva som skal læres av hvem og på hvilken måte, er allerede truffet i Hatties og Nordahls univers.

Riktignok kan vi lese at Nordahl mener at forskning som Hatties skal «oversettes», men det er på noen klart hva det egentlig innebærer. Og den forskningen som Hattie bygger sin syntese på, har i hvert fall ikke tatt den diskusjonen. Når vi argumenterer for at elevenes intensjoner ikke er inkludert i analysene, er det fordi dette, blant mye annet, holdes utenfor, fordi forskning fokuserer på få og avgrensende elementer om gangen.

Avslutning

Ovenfor har vi begrunnet og utdypet vår kritikk av Hattie. Hatties prosjekt er ambisiøst, men det har en lang rekke metodiske problemer. Kvantitative forskere med større grad av innsikt på deres respektive felt (vi har blant annet gitt feedback som eksempel) har trukket helt andre konklusjoner enn både Hatties enkelteffektstørrelser og gitt andre bud enn hans overordnede undervisningsmodell. Vi har avvist at vi kan forstå popularitet gjennom kvaliteten av hans empiriske arbeid. I stedet har vi påpekt at han kanskje tilbyr en type legitimering til kommuner og skoler i arbeidet med elevene. Vi mener ikke at det løser de legitimitetsproblemene som skolen står overfor, men denne diskusjoner ligger utenfor hensikten med denne artikkelen.