Den newzealandske forskeren John Hatties bok «Visible Learning» har gått som en farsott over store deler av landet siden den kom i 2009. Den er utropt som pedagogikkens bibel og brukes ivrig av politikere og skoleledere til å fortelle lærerne hvordan de skal undervise. Hvilken type forskning er det vi har med å gjøre, og hva kan vi bruke denne typen resultater til? Hva er drivkraften i epidemien?

Det begynner å bli en akseptert sannhet at læreren er den viktigste faktoren for kvaliteten i skolen, og at det er forskjell på gode og mindre gode lærere. Men hva er det de gode lærerne gjør, som gjør den store forskjellen? Dette er temaet for John Hatties bok.

En syntese av synteser

«Visible learning» er en 300 siders gjennomgang av et stort antall forskningsresultater om hva slags praksis i skolen som bidrar til å bedre elevenes skoleresultater. Tilnærmingen er langt fra original. Flere forskere har gjennom årene oppsummert skoleforskning i såkalte metastudier for å danne et generelt bilde av hva som skjer i skolen eller «hva som virker» i forhold til prestasjoner (, , , ). Som Hattie selv sier: Det er hundrevis av slike metastudier.

Det som gjør at Hatties studie skiller seg ut, er først og fremst at det ikke er en ny metastudie, men en syntese av 800 tidligere synteser om hva som påvirker elevenes prestasjoner. I bunnen ligger over 52 000 enkeltstudier. Resultatet munner ut i 138 «påvirkningsfaktorer» i rangert rekkefølge som en slags undervisningens «ti på topp». Hatties studie skiller seg også ut gjennom en nokså intens markedsføring i forhold til skolens praksisfelt. Den føyer seg dermed inn i rekken av den private og halvprivate profittsøkende utdanningsindustrien som i økende grad gjør seg gjeldende ikke bare internasjonalt, men også her hjemme.

Et annet kjennetegn ved studien er en tydelig og lettfattelig framstillingsform. En grei «fellesnevner» for å vurdere størrelsen på effekter fra ulike studier er såkalt effektstørrelse, som er forskjellen mellom to gjennomsnitt, for eksempel før og etter innføringen av en undervisningsmetode, eller forskjellen mellom en forsøksgruppe og en kontrollgruppe. Denne forskjellen deles så på standardavviket. Det er med andre ord ikke tale om kompliserte signifikanstestinger, men en enkel vurdering om det er store eller små forskjeller mellom undervisningsmetoder. Effektstørrelser rundt 0,2 er små, rundt 0,4 er middels og rundt 0,8 er store, en grei tommelfingerregel. Dette illustreres i en grafisk figur som et «barometer».

En metodisk betenkelighet er at ikke alle studiene som ligger til grunn er av like god kvalitet, og at de bygger på høyst varierende antall forsøkspersoner og ulike utvalgsmetoder.

Her bruker Hattie de store talls overbevisningstyngde, og hevder at metodiske svakheter ikke betyr noe når en kommer opp i et så stort antall undersøkelser. Jeg tillater meg å stille meg tvilende til dette. Er ikke grunnlaget godt nok, kan heller ikke resultatene bli bra. En metodisk betenkelighet er videre at når fokus er på enkeltvariabler, mister en av syne viktige sammenhenger mellom ulike analysenivåer som samfunn, skole, klasse og lærer. Kompleksiteten i skolen blir underkommunisert, og sammenhengen mellom enkeltvariabler forsvinner. Om en for eksempel vil vite noe om forholdet mellom hjemmebakgrunn, mediekultur, skolemotivasjon, undervisningsorganisering og læring, må en oppsøke annen forskningslitteratur.

De 138 faktorene er presentert i seks hovedgrupper: de som har å gjøre med eleven, hjemmet, skolen, læreplanene, læreren og undervisningen.

Faktorer som rangeres høyt, er evaluering, i første rekke selvevaluering og deretter prosessevaluering. Programmer tilpasset Piagets teori står også høyt på lista, det vil si at læreren tilpasser undervisningen til elevenes måte å tenke på. Dette er egentlig ikke så oppsiktsvekkende for en praktiserende lærer. Jeg viser for øvrig til , hvor vi finner en nærmere beskrivelse av bokas innhold. Jeg vil allikevel tillate meg å trekke fram ett eksempel fra Hattie, som har vært særlig fokusert i den norske debatten. Det er spørsmålet om åpne skoler, eller baseskoler, som de er blitt kalt i de senere årene.

Baseskoledebatten

Ideen om åpne skoler kom til Norge på begynnelsen av 1970-tallet, og det har vokst fram et stort antall veldrevne åpne skoler gjennom en periode på nesten 40 år. Det er først i de senere årene at det har vært reist en del kritikk av slike skoler, mer eller mindre uberettiget. Særlig ett medieoppslag har vakt oppsikt. I Lørdagsrevyen den 22. januar 2011 hadde NRK-journalist Jarle Roheim Håkonsen en heller negativt vinklet reportasje hvor åpne skoler ble framstilt som «nye organiseringsformer» og «eksperimentering» med offentlige skoler som er til skade for mange barn. Elevene lærer ikke mer i disse skolene, fikk vi høre. Intervju med to foreldre som hadde tatt barna sine ut av en åpen skole, Bogstad skole i Oslo, dannet bakteppe for et intervju med professor Thomas Nordahl, som brukte Hatties bok som sannhetsbevis.

Åpne skoler gir ikke bedre resultater, hevdet han, de er på 133. plass på Hatties rankingliste. Like ille er det med ansvar for egen læring (som ble identifisert som ukeplaner) og aldersblanding. Norge har satset på de 10 dårligste variablene i Hatties undersøkelse, en har satset på det som ikke fungerer. Nordahl gikk i reportasjen langt i å antyde at åpne skoler gir negative resultater, er årsak til frafall i videregående skole og til at mange unge mennesker ikke kommer ut i arbeidslivet. Rektor ved Bogstad skole, Ellen Larsen, korrigerte dette kontant ved å understreke at skolen har satset systematisk på blant annet tilpasset opplæring, som faktisk er en av Hatties mest effektive faktorer for læring.

Hva ligger så til grunn for Hatties konklusjon om åpne versus tradisjonelle skoler? For det første sier han ikke at åpne skoler skaper dårligere resultater enn tradisjonelle skoler. En lav effektstørrelse betyr at det ikke er noen forskjell, og på det grunnlaget kan en ikke si at elevene lærer mindre i åpne skoler. Hattie bygger på fire metastudier om åpen versus tradisjonell undervisning, hvorav tre er fra 1980 og en fra 1982.

Det er med andre ord nokså gamle studer han benytter, studier som er gjennomført lenge før den kommersielle mediekulturen og den digitale revolusjonen inntok elevenes hverdag. Én studie er en upublisert avhandling, og én er et upublisert konferansepaper, slik at to av studiene ikke kan etterprøves. Den tredje studien () viser først og fremst at ulike studier spriker med hensyn til resultater. Det skulle peke i retning av at åpne skoler, i likhet med tradisjonelle skoler, ikke er noe enhetlig fenomen, men tvert imot ulike med hensyn til praksisformer og kvalitet. Det fins med andre ord både gode og dårlige åpne skoler og gode og dårlige tradisjonelle skoler.

I Petersons studie tyder resultatene på at elevene i tradisjonelle skoler presterer litt bedre i akademiske fag, men at elever i åpne skoler har bedre selvoppfatning, mer positiv holdning til skolen, mer nysgjerrighet, mer kreativitet og er mer selvstendi), stemmer med Petersons studie på flere punkter.

Denne studien fokuserer mer på ulikheter mellom åpen skole-programmer. Noen er best på å skape kreativitet, positive holdninger og positiv selvoppfatning. De tar hensyn til elevens rolle i læringsprosessen, benytter diagnostisk evaluering, individualisert undervisning og bruker konkret undervisningsmateriell. Det var også åpen skole-programmer som produserte mer akademisk pregede resultater. De fant videre at det ikke utgjorde noen forskjell om det var en åpen arkitektur ved skolen, og om det var aldersblanding eller teamorganisert undervisning.

Eksemplet med åpne skoler viser at skoler er ulike, enten de er åpne eller tradisjonelle, at åpne skoler kan fremme en rekke positive egenskaper som ikke fanges inn om en bare bruker akademiske testresultater som kriterium, og at kvalitet i skolen er et flerdimensjonalt fenomen som består av langt mer enn akademiske resultater. Aller mest viser eksemplet hvordan kompliserte forskningsresultater kan bli forenklet i summariske rangeringer og forvrengt i medieverdenens ustoppelige jakt på sensasjoner og svartmaling av skolen.

Hva slags forskning bygger Hattie på? Enkeltstudiene som ligger til grunn for Hatties materiale, føyer seg inn i en lang forskningstradisjon hvor ideen har vært at lærernes erfaringer fra praksis ikke er tilstrekkelig for forbedring av skolen, men at en må bygge på vitenskapelige resultater om hvordan ting fungerer i skolen. En av de store pionerene bak den vitenskapsbaserte pedagogikken var amerikaneren fra 1950-tallet framholdt to typer av forskning. Den ene er den eksperimentelle metoden, hvor en prøver ut spesielle metoder eller opplegg på en gruppe, men ikke på en annen, og sammenligner resultatene etterpå. Deretter anbefales den metoden som gir best resultat.

Den andre typen av forskning er såkalte korrelasjonsstudier, hvor en kartlegger sammenhengen mellom variabler, for eksempel mellom sosial bakgrunn og skoleprestasjoner, uten å trekke slutninger om årsaker og virkninger. Det trenger ikke å være den sosiale bakgrunnen som er skyld i dårligere skoleprestasjoner, det kan like gjerne være skolen som er dårlig tilpasset elevenes kulturelle bakgrunn. Dette er en type forskning som vi fortsatt ser svært mye av, men hvor det syndes mye når det gjelder årsaksforklaringer. Det er verdt å merke seg at Cronbach aldri mente at en skal bruke forskning mekanisk. Psykologi er en vitenskap, mens undervisning er en kunst, mente han. Vitenskap kan aldri generere kunst direkte ut fra seg selv. En oppfinnsom lærer må foreta anvendelsene og bruke sin kreativitet og originalitet.

Skole- og klasseromsforskningen fikk et nytt oppsving på 1980-tallet med den såkalte school effectiveness-forskningen. Bakteppet var den amerikanske Coleman-rapporten på 1960-tallet, som hevdet at skole ikke hjelper i kampen for å redusere sosiale forskjeller. Det var hjemmebakgrunnen som veide tyngst. Følgelig hadde det ingen hensikt for samfunnet å investere så mye i utdanning. Engelske forskere med blant andre og i spissen ønsket å bevise at skole faktisk hjelper, ut fra et sosialdemokratisk motiv om å hjelpe de mest underprivilegerte elevene. Ideen var at alle barn kan lære, uansett bakgrunn og forutsetninger. De gikk inn i skolen, studerte skolekultur, ledelse, undervisningen, fokus på læring, oppfølging og mye mer, og påviste hva som faktisk bidrar til å løfte elevene kunnskapsmessig. Rent politisk var dette viktig forskning, og den bidro til å styrke optimismen innen utdanning.

School effectiveness-forskningen har vokst i omfang og har plassert seg sentralt i den ekspansive, internasjonale utdanningspolitikken de siste to tiårene både i USA og i Europa (, ). Den har vært kontroversiell blant forskere av flere grunner. Den har vært kvantitativ, er orientert mot læringsresultater og «utbytte», og har stått i et spenningsforhold til den kvalitativt orienterte forskningen om skoleutvikling. I tillegg har termen «effectiveness» en negativ klang i skandinaviske ører, siden den assosieres med å forsere elevene raskest mulig fram mot bedre læringsutbytte. Peter Mortimore definerer effectiveness slik: «En effektiv skole er en skole hvor elevene gjør større framgang enn en kan vente ut fra elevgrunnlaget den har».

Denne forskningen har moderert den sosiologiske pessimismen om skolen, og bidratt til å forstå læring som et komplekst og sosialt fenomen, ikke bare som et individuelt psykologisk fenomen. Videre har den bidratt til å se skolen som organisasjon, den har stimulert utviklingsarbeid i skolen, den har vist betydningen av skoleledelse og lærerens innsats og gjort mye for å utvikle helhetlige forståelser av hvordan elevene lærer i skolen ( ). Det er derfor et bredt kvalitetsbegrep som ligger bak den opprinnelige  effektivitetsforskningen.

School effectiveness-tradisjonen må også berømmes for å ha bidratt til å beskrive hva som skjer i skolen i et forskningsmetodisk språk som kan kommunisere med økonomenes håpløst forenklede «black box»-forskning om skolen. Når en bare ser på enkle ytre faktorer som økonomisk input eller på klassestørrelse i forhold til elevenes læringsutbytte, blir også resultatene forenklet.

John Hatties bok kan plasseres innenfor school effectiveness-tradisjonen. Hans forskning er kvantitativ, og det er et målbart læringsutbytte i enden av prosessen. Han er også, i likhet med school effectiveness-forskerne, opptatt av å vise hva gode lærere gjør. Fordi Hattie bygger på metastudier, blir vekten liggende på effekter av enkeltfaktorer, og vi går som nevnt glipp av de viktige sammenhengene som fins mellom dem. Denne svakheten er Hattie klar over selv, og sier rett ut at en studie av vanlige forskningsrapporter kunne ha gitt et langt mer nyansert bilde av god praksis. Hatties bok er derfor langt fra noen bibel.

Om en først er ute etter kvantitativ forskning om hva som gir gode skoleresultater, er det langt mer å hente i den nyere school effectiveness-forskningen, som har gjort mye for å bygge modeller for de viktige sammenhengene i skolen. Denne forskningen er det svært få i Norge som har løftet fram, noe som kan skyldes at den kan være vanskelig tilgjengelig. Når Hattie har fått så stor popularitet, skyldes det nettopp at han fokuserer på enkle årsaksforhold (som sjelden er så enkle) og at framstillingsformen er lettfattelig for folk flest. Det kreves solid forskningskompetanse for å kunne forholde seg til avansert kvantitativ forskning, og jeg tar neppe for hardt i når jeg antyder at dette er mangelvare i mange norske kommuner.

Bak den kvantitative forskningen om hva som gir best skoleresultater, ligger det en rekke problematiske forutsetninger som hver for seg kunne ha trengt en egen utredning. Det gjelder antakelsen om evidens, forestillingen om tallfesting eller måling av læring og kunnskaper, selve begrepet «læringsutbytte» og ideen om standardisering.

Evidensbevegelsen

Evidensbevegelsen i offentlig politikk har det for så vidt prisverdige målet å fatte beslutninger på et best mulig informert grunnlag. Vi må skille mellom den «gamle» vitenskapsorienterte tradisjonen fra Cronbach, som var meget moderat, og en nyere bevegelse som er inspirert av medisinsk forskning, og som har en langt mer bastant, for ikke å si mekanisk, oppfatning av hva som er årsak og virkning, og hva som bidrar til de mest ønskelige effektene. Hattie er klar tilhenger av den medisinske forståelsen av evidens.

Å tenke evidens i skolesammenheng, som om vi kan finne de ultimate, forskningsbaserte oppskriftene på hvordan barn skal oppnå bedre resultater på nasjonale prøver, PISA, TIMSS og eksamener, er å gjøre vold på den kompleksiteten som kjennetegner skoleverdenen. Som professor Harald Grimen har påpekt, kan en ikke overføre evidenstenkning fra den medisinske profesjonen til utdanningsfeltet ().

Skolens indre liv følger ikke kjemiske, fysiske og biologiske naturlover slik som i medisinen. Skolens praksis må gjerne være informert av forskning, men det vil vanligvis være helt andre typer av forskning som gir lærerne «påfyll», slik som visse typer kvalitativ forskning (). peker i tillegg på at mye av det vi støtter oss til av pedagogisk teori bare i liten grad er underbygget av forskningsmessige fakta. Men andre ord, praksis vil være basert på en rekke andre kunnskapsformer, som verdier, antakelser, informasjon om konteksten osv. Evidensbasert praksis vil derfor alltid være et ufullendt prosjekt.

En annen sak er, som Grimen påpeker, at evidensbevegelsen innen utdanning faller sammen med vekten på målstyring, evaluering og kvalitetssikring, og at vi får en kopling mellom politisk styring, forskning og praksis som kan sette lærernes moralske og profesjonelle kompetanse til side. Hattie gir skolepolitikerne nettopp den typen informasjon de etterspør, og Grimens poeng kan derfor bidra til å forklare hvorfor vi har en Hattie-bølge akkurat nå.

The numbers’ game

Det aller meste av school effectiveness-tradisjonen hviler på antakelsen om at læring og kunnskap kan måles, slik at det framkommer et tallsymbol for hva som er lært. Dette er noe vi er så vant til gjennom karaktersetting og nasjonale prøver at vi knapt tenker over hva vi gjør. Lærere har til alle tider laget prøver i fagene sine, tilpasset den undervisningen som har funnet sted. Vurdering, korrigering og veiledning hører med til all pedagogisk praksis. Men hvorfor skal vi ha tallfestede, standardiserte uttrykk for elevenes prestasjoner? Hvem har bruk for disse tallene?

Ideen om mer formelle kunnskapstester («achievement tests») oppsto i forlengelsen av den psykologiske testbevegelsen som vokste fram på 1920-tallet i USA, hvor de har vært en sentral del av utdanningspolitikken i lang tid. I dag er de hovedelementer i store, nasjonale reformer, spesielt No Child Left Behind som ble innført av George Bush i 2002. Denne reformen består ifølge den amerikanske skolehistorikeren vesentlig av tester i grunnleggende ferdigheter, som ikke krever noen kunnskaper i det hele tatt. Skolereformer i USA består for tiden av testskårer, et data-drevet beslutningssystem, fritt skolevalg, privatskoler, deregulering, prestasjonslønn og konkurranse mellom skoler. Testingen undergraver skolen kunnskapsbase, ifølge Ravitch.

På den hjemlige arena ble tester i form av nasjonale prøver en del av skolens styringssystem etter tusenårsskiftet. I tillegg er standpunktog eksamenskarakterer uttrykt i tall. De tallfestede prestasjonsmålene er ikke bare en del av vårt nye styringssystem, de er også gull verdt for forskere. De trenger tall til sine statistiske beregninger, og nasjonale prøver og karakterer brukes i mange tilfeller ukritisk som en indikator på skolens samlede kvalitet.

I det meste av school effectiveness-forskningen, inkludert Hatties studie, er det resultater på tester og prøver som er det ultimate kriteriet på «hva som virker». Selv om enkeltstudier kan ha mer varierte kvalitetsindikatorer, er det prestasjonsmålingene som benyttes mest, og som slår an i offentligheten. Testskårer er også målet i Hatties syntese av metastudier. Konklusjonene om åpne skoler, slik de er framført i Norge, er et godt eksempel på det.

Vi er mange forskere som bruker tall og testpoeng som uttrykk for hva elever, klasser og skoler har oppnådd. Men en kan ikke hevde at dette er uttrykk for hele skolens kvalitet. Vi må ta formålsparagrafens brede kvalitetsbegrep på alvor. Politikere liker enkle tall, men bidrar dermed til å undergrave den formålsparagrafen de selv har vedtatt. Det samme gjør Hattie-feberen, som er i ferd med å infisere store deler av Skole-Norge.

Læring som «utbytte»

De fleste studiene om læringseffektivitet måler læring i betydningen «learning outcome», eller på norsk læringsutbytte. Teoretisk sett er dette et komplisert begrep med mange betydninger (). Én betydning er knyttet opp mot det behavioristiske synet hvor læring betraktes som fullendt og målbart. Læring blir identisk med «kompetanse», som en bærer med seg på tvers av ulike situasjoner og utfordringer.

Denne oppfatningen ligger til grunn for testbevegelsen for de fleste forskningsresultatene om «hva som virker» i undervisningen. Den ligger også i bunnen av Læreplanen for Kunnskapsløftet og for deler av elevvurderingen. En annen og motsatt betydning ser læring som en åpen prosess som aldri tar slutt, og hvor en prestasjon vil kunne variere med tid, sted og type oppgave. En elev kan kanskje regne i en kjent situasjon, mens det stopper opp når konteksten endres. Eller det kan være et lite hint som skal til. Kunnskapene er både kontekstavhengige og «underveis» med litt hjelp. I dette perspektivet blir det meningsløst å foreta kunnskapstesting. Det er et paradoks at mens den pedagogiske profesjonen omfavner Vygotsky og hans teori om den proksimale sonen, godtar den samtidig testing og forestillinger om «læringsutbytte» som hører hjemme i en helt annen tradisjon. En skal heller ikke lete lenge etter norske forskere som setter likhetstegn mellom læring og læringsutbytte.

Når begrepet «læringsutbytte» har kommet på moten, henger også det sammen med den sosialøkonomiske tenkemåten som har invadert skolen de siste årene. Økonomisk tenkning forutsetter at det fins et kvantitativt «utbytte», og i mangel på kroner og øre er testresultater et nyttig substitutt. Vi kan for tiden knapt lese en offentlig utredning eller stortingsmelding som ikke snakker om læringsutbytte.

Det er viktig å ha dette for øye når en leser forskningsresultater som John Hattie presenterer. Han er selv oppmerksom på at «outcomes» kan være problematisk, men relaterer det mer til ulike typer av kunnskap enn til grunnleggende læringsteoretiske paradigmer. For ham er læring noe som er korrekt eller feil, han tar ikke høyde for at læring er å være på vei i en prosess som varer hele livet.

Hva kan Hatties bok brukes til?

Hattie er meget klar på at skolene skal arbeide evidensbasert, det vil si at lærerne skal bruke de metodene som ifølge forskningen gir best resultater. Og han går lenger: Å bruke undervisningsmetoder som ikke gjør noen forskjell (som åpne skoler), eller metoder som gir små gevinster, betegner han som å gjøre skade på skolen. Djevelen i denne historien er ikke den negative, kriminelle eller inkompetente læreren, sier han, men den gjennomsnittlige læreren som er opptatt av å komme igjennom pensum, av oppførsel, og å være venn med elevene. Dette er sterke og oppsiktsvekkende ord.

Hatties ideal er medisinernes bruk av evidens. Han har bare forakt til overs for den umodne lærerprofesjonen med tiltro til normativ ideologi. Han støtter seg til amerikaneren Douglas Carnine, som hevder at å forkaste klasseromsundervisning til fordel for Rousseau-inspirerte metoder er et klassisk  eksempel på en umoden profesjon som mangler en fast vitenskapelig basis, og som har mindre respekt for evidens enn for opinion og ideologi. Hatties resultater kan ikke tjene som anvisninger som forteller hvordan lærerne skal undervise. Resultatene er syntese av synteser, de har mistet alle sine nyanser om kontekst, alder, elevforutsetninger, kultur og ikke minst fagdidaktiske dimensjoner. De er derfor vanskelige, for ikke å si umulig, å generalisere fra. Resultatene er ingen GPS du kan navigere etter fra sted til sted på bakkenivå. De er som flyfoto fra 10 000 meters høyde, og da er all interessant informasjon om undervisningens innhold og rammer visket ut.

Konsekvensen av en bokstavelig bruk av Hatties resultater vil være standardisering av undervisningsmetodene. Det er vitenskapen som skal gi kokebokoppskriftene for undervisning, og alle skal gjøre det på samme måten, akkurat som i medisin hvor standarder er mer vanlig. Dette er ikke bare urealistisk, det er også et stygt angrep på lærernes profesjonalitet og en mistro til deres dømmekraft. Metodefrihet har vært lærernes ansvar i alle år, og det er ikke vitenskapens oppgave å erobre den fra dem.

Vi trenger forskning. Vi trenger metodisk godt funderte undersøkelser om hva som skjer i skolen, men de skal brukes som opplysning og kritiske korrektiv, og ikke som oppskrifter. En kan aldri trekke slutninger direkte fra forskning til praksis. Cronbach mente som nevnt at undervisning er kunst, og at vitenskap aldri kan generere kunst. La meg føye til at en alltid må planlegge undervisning ut fra både pålitelig informasjon og ut fra normative overveielser, og da er visjonene og ideologiene viktige. Vi må aldri redusere undervisning til tekniske oppskrifter alene. Hattie plasserer seg innenfor en forskningstradisjon med problematiske relasjoner til praksis, og dette er det viktig å være klar over.

Hattie-feberen blir holdt ved like av ivrige politikere, kommunebyråkrater og ledere som strever etter å oppnå kvantitative resultater i sine målstyringssystemer, som inngår i papirmølla som er i ferd med å kvele Skole-Norge. Den beste medisinen mot feberen er at norske lærere tar tilbake troen på seg selv, sin egen dømmekraft og tillit til egen kompetanse i arbeidet med god undervisning for elevene. Og at skolemyndighetene støtter dem i dette.

Litteraturhenvisninger

Biesta, G. (2007). Why «What works» won’t work: Evidence-based practice and the democratic deficit in educational research. Educational Theory, 57, no. 1, 1–22.

Brophy, J. & Good, T.L. (1986). Teacher Behavior and Student Achievement, I M.C. Wittroch, Handbook of Research on Teaching. London: Collier MacMillan Publ., s. 328–375

Cronbach. L.J. (1954). Educational Psychology. N.Y.: Harcourt, Brace & World.

Dahl, M. og Midtbø, R. (2008). Evidens: Kampen om kunnskapen. [Intervju med Harald Grimen.]. Bedre skole nr. 1 2008, s. 15–18.

Giaconia, R.M. & Hedges, L.V. (1982). Identifying Features of Effective Open Education. Review of Educational Research, vol. 52, no. 4, pp 579–602.

Hattie, J.A.C. (2009). Visible Learning. A Synthesis of over 800 Meta-analyses relating to Achievement. London: Routledge.

Kvernbekk, T. (2011). The concept of evidence in evidence-based practice. Educational Theory, 61, no. 5, 515–533.

Mortimore, P. (1998). The Road to Improvement. Reflections on School effectiveness. Lisse: Swets & Zeitlinger.

Mortimore, P. et al. (1988). School Matters. The University of California Press.

Muijs, D. & Reynolds, D. (2001). Effective Teaching. Evidence and Practice. London: Paul Chapman.

Nordahl, T. (2010). Gjør læring synlig. Anmeldelse av John Hattie: Visible learning». Bedre skole nr. 4, s. 91–92.

Ogden, T. (2004). Kvalitetsskolen. Oslo: Gyldendal Akademisk.

Peterson, P.L. (1980). Open versus Traditional Classrooms. Evaluation in Education, vol. 4, pp 58–60.

Prøitz, T. (2010). Learning outcomes: What are they? Who defines them? When and where are they defined? Educational Assessment, Evaluation and Accountability 22, 119–137.

Ravitch, D. (2010). The Death and Life of the Great American School System. How Testing and Choice are Undermining Education. N.Y.: Basic Books.

Rutter, M. et al. (1979). Fifteen Thousand Hours: Secondary Schools and Their Effects on Children. London: Open Books.

Sammons, P. (1999). School Effectiveness. Coming of Age in the Twenty-first Century. Lisse: Swets & Zeiltlinger.

Teddlie, C. & Reynolds, D. (2000). The International Handbook of School Effectiveness Research. London: Routledge Falmer.

Teddlie, C. & Stringfield, C. (1993). Schools Make a Difference. Lessons Learned from a 10-Year Study of School Effects. N.Y., Teachers College press.