Aktiv og entusiastisk deltakelse er viktig for læring, men hva skaper engasjement i undervisningssituasjonen? Studier har vist at det er sammenheng mellom lærers adferd og engasjement hos elevene. I denne studien undersøkes denne sammenhengen nærmere.

Målet med denne studien har vært å undersøke sammenhengen mellom læreratferd og elevers opplevde atferdsengasjement. Læreratferd er forventet ut fra tidligere forskning å ha sammenheng med elevengasjement. Data ble innsamlet fra 10 norske skoler i forbindelse med prosjektet «Classroom interaction for enhanced student learning» (CIESL), ledet av Nasjonalt senter for læringsmiljø og atferdsforskning, ved bruk av observasjon og spørreskjema som metode. Totalt var utvalget i denne studien på 52 lærere og 1689 elever fra 5. til 10. klasse. Resultater fra regresjonsanalyser indikerer en positiv sammenheng mellom «Classroom Climate» og atferdsengasjement når det var kontrollert for trinn, kjønn, sosioøkonomisk status og disiplinvansker. Denne sammenhengen indikerer at lærerens relasjonelle ferdigheter og evne til å skape et positivt klasseklima har betydning for elevers atferdsengasjement. Funnene vil bli diskutert mer i detalj.

The relationship between teacher behavior and students behavioral engagement

This paper presents a classroom case study on the relationship between teacher behavior and students own perception on behavioral engagement. Teacher behavior is expected from earlier research to have a relation with student engagement. Data was collected from 10 Norwegian schools in connection with the project “Classroom interaction for enhanced student learning” (CIESL) by using observation and survey. The sample was a total of 52 teachers and 1689 students in 5th through 10th grade. A key finding, which came from the regression analysis indicate a positive relation between “Classroom Climate” and behavioral engagement when controlled for level, gender, socioeconomic status and discipline problems. This relation indicate that the teachers’ relational skills is of matter for the students’ behavioral engagement. The findings will be discussed in further detail.

Introduksjon

Mange elever har lite engasjement for skolearbeid (Marks, 2000). Forskning indikerer at engasjement er sentralt for å få optimalt utbytte av skolen, og for sosial og kognitiv utvikling (for oversikt se Fredricks, Blumenfeld & Paris, 2004). Flere studier antyder at elevers aktive og entusiastiske deltakelse i læringsaktiviteter predikerer læringsutbytte og fullførelse av skolen (Connell, Halpem-Felsher, Clifford, Crichlow & Usinger, 1995; Skinner, Zimmer-Gembeck, Connell, Eccles & Wellborn, 1998). Derfor vil det være hensiktsmessig å bidra til at engasjementet blant elever i den norske skolen i dag øker.

Tidligere forskning har vektlagt sammenhengen mellom effektiv undervisning og engasjement hos elevene, og dette er fortsatt et aktuelt forskningsområde (se Muijs, Kyriakides, Van der Werf, Creemers, Timperley & Earl, 2014 for oversikt). Flere studier antyder at lærerens atferd påvirker elevers engasjement (Day, Sammons & Stobart, 2007; Muijs & Reynolds, 2010; Opdenakker & Van Damme, 2006). Lærerstøtte (Wentzel, 1997), lærerens involvering (Skinner & Belmont, 1993) og gode relasjoner mellom lærer og elev (Pianta, Hamre & Allen, 2012) er elementer som har vist seg å ha positiv effekt på elevers engasjement.

Formålet med denne studien er å undersøke sammenhengen mellom disse to sentrale faktorene i klasserommet: læreratferd og elevers engasjement. Begrepet sammenheng er brukt i denne studien istedenfor begrepet relasjon. Dette må ikke forstås som at studien antyder årsak–virkning-effekt mellom fenomenene som måles, men heller at begrepet er brukt for å skille det fra «relasjoner» som tematisk konsept. Er det slik at effektiv læreratferd korrelerer med høyt engasjement blant elevene? I så fall, er det da en spesiell type læreratferd som er knyttet til elevers engasjement?

Spesifikt undersøker studien det som kalles atferdsengasjement opp mot effektiv læreratferd på mellom- og ungdomsskoletrinnet. Atferdsengasjement blir i hovedsak beskrevet som positiv atferd, utholdenhet, konsentrasjon, aktiv involvering og innsats (Skinner, Furrer, Marchand & Kindermann, 2008). Mange forskere ser på engasjement som en synlig manifestasjon av motivasjon (Connell & Wellborn, 1991; Deci & Ryan, 1985). I en rapport fra National Research Council & Institute of Medicine 2004, sitert i Fredricks mfl. (2004, s. 63) ses motivasjon og engasjement på som synonymer. Det vil også denne studien gjøre.

Mål for studien

Hensikten med denne studien er å bygge på tidligere studier gjennom å undersøke om det er sammenheng mellom læreratferd og elevers engasjement, ved bruk av observasjon og spørreskjema som metode. Dette kan gi verdifull kunnskap, som kan bidra til å målrette læreres videreutvikling knyttet til undervisningseffektivitet, som videre kan skape mer engasjement i form av atferdsengasjement hos elever.

Med utgangspunkt i den teoretiske drøftingen ovenfor blir følgende problemstilling drøftet videre:

Er det sammenheng mellom effektiv læreratferd og elevenes opplevelse av atferdsengasjement, når det er kontrollert for trinn, kjønn, sosioøkonomisk status (SES) og disiplinvansker?

Elevengasjement

Engasjement blir definert på forskjellige måter av ulike forskere. I denne studien er det tatt utgangspunkt i beskrivelsen av atferdsengasjement i Skinner mfl. (2008), som er beskrevet i detalj under. Trekkene som blir inkludert, er kjerneindikatorer på atferdsengasjement i klasserom, og svarer til definisjonskriterier i tidligere gjennomganger (for oversikt se Fredricks mfl., 2004).

Atferdsengasjement viser seg som positiv atferd, slik som å følge regler, overholde klasseromsnormer og avstå fra forstyrrende atferd. I tillegg handler atferdsengasjement om deltakelse i både faglige og sosiale aktiviteter, inkludert atferd som anstrengelse, standhaftighet og aktivitet i klasserommet gjennom å delta i diskusjoner og ved å stille spørsmål. Skinner mfl. (2008) tar også med mental innsats i sin beskrivelse av atferdsengasjement, slik som konsentrasjon og oppmerksomhet. Atferdsengasjement blir sett på som en vesentlig faktor for å oppnå positivt, akademisk utbytte og for å unngå drop-out (Fredricks mfl., 2004).

Indikatorer på atferdsengasjement overlapper med andre områder som er forsket på tidligere. Eksempelvis er denne typen engasjement relatert til akademisk atferd, elevers «on-task»-fokus og klasseromsdeltakelse i henhold til Skinner mfl. (2008). Idéen er at atferdsengasjement handler om engasjert atferd.

Effektiv læreratferd og elevengasjement

De siste 40 årene har det blitt forsket på hvilken læreratferd som fører til positivt utbytte for elever (Creemers & Reezigt, 1996; Kington, Regan & Sammons, 2009; Panayiotou, Kyriakides, Creemers, Mchamon, Vanlaar, Pfeifer & Bren , 2014; Pianta, 2006).

Det kan være vanskelig å definere hva effektiv undervisning og lærereffektivitet egentlig er (Ko & Sammons, 2013). I en review-studie av lærereffektivitet og profesjonell læring viser Muijs og kolleger (2014) til at det å fremme elevers læringsutbytte blir vektlagt i vurderingen av effektiv undervisning. Videre trekker denne studien inn sentrale sider ved lærereffektivitet etter kriteriet om å fremme elevers læringsutbytte.

Vurdering og evaluering, differensiering og inkludering, tydelige instrukser, læringsstøtte, fremming av aktiv læring og metakognitive ferdigheter, læringsmiljø og klasseledelse er alle sentrale ferdigheter innenfor effektiv undervisning. Nedenfor drøftes disse nærmere.

Vurdering og evaluering er begge integrert i det å drive undervisning. Formativ vurdering eller det å vurdere elever underveis i læringsprosessene er sett på som en særlig viktig faktor når det gjelder lærereffektivitet (Kyriakides, 2008). Vurderingene forventes videre å brukes for å evaluere seg selv om lærer og elevenes behov.

Differensiering og inkludering er blitt etterspurt som en del av lærereffektivitet (Campbell, Kyriakides, Muijs & Robinson, 2003). Dette omhandler at læreren gir ekstra oppgaver til elever som har behov for det, gjør en forskjell i omfanget på oppgavene til forskjellige elever, inkluderer alle i aktive læringsaktiviteter og lar elever kommunisere jevnlig med hverandre om oppgaver (Muijs, Chapman & Armstrong, 2013). Det er likevel ikke entydige resultater på at differensiering er et viktig bidrag for effektiv undervisning (for oversikt se Muijs mfl., 2014).

Tydelige instrukser og mye akademisk instruksjon er videre vesentlig for å drive effektiv undervisning i henhold til Muijs og kollegaene (2014). Dette er en av de faktorene som internasjonalt er funnet konsistent og flest ganger knyttet opp mot elevers læringsutbytte. Effektive lærere kommuniserer klart og direkte med elevene, uten digresjoner og ved å tilpasse fagstoffet til adekvat vanskegrad, samtidig som de gir nok tid til å jobbe med oppgaver slik at elevene blir aktivt involvert i læring (Muijs mfl., 2014).

Læringsstøtte handler om kvaliteten på instruksinteraksjoner mellom lærere og elever (Pianta, Hamre & Allen, 2012). Dette handler blant annet om å stille mange og gode spørsmål ifølge Pianta og kolleger (2012). Å stille spørsmål både fra lærer til elever og fra elever til lærer er en måte å sjekke forståelse på, og en måte å støtte opp om læringen til elevene i klasserommet på (Muijs mfl., 2014). Teddlie, Creemers, Kyriakides, Muijs og Yu (2006) viser til det å bruke flere ulike metoder og strategier i undervisningen som en måte å drive læringsstøtte på.

Metakognitive ferdigheter er ferdigheter som tradisjonelt sett ikke er regnet som en side av effektiv undervisning (Muijs mfl., 2014). I nyere tid har dette forandret seg, og det er etter hvert blitt en del av teoretiske modeller, slik som den dynamiske modellen om undervisningseffektivitet (Kyriakides, Creemers, Antoniou & Demetriou, 2010) og forskningsinstrumenter som The International System for Teacher Observation and Feedback (ISTOF) (Teddlie mfl., 2006). Det sistnevnte forskningsinstrumentet blir omhandlet senere i artikkelen.

I tillegg vektlegger NOU nr. 8 (2015) metakognisjon som en viktig ferdighet i fremtidens skole. Metakognisjon omhandler kritisk tenkning hos elever, og evne til å kontrollere sin egen læring (Muijs mfl., 2014). Forskjellige studier indikerer at metakognisjon har signifikant betydning for elevers akademiske prestasjoner (Hacker, Dunlosky & Graesser, 2009; Ponitz mfl., 2008; Presley & Harris, 2006).

Videre er læringsmiljø og emosjonell støtte en signifikant lærerfaktor. Her spiller både gode lærer–elev-interaksjoner og elev–elev-interaksjoner inn (Muijs mfl., 2014). Begge er vesentlige elementer for å vurdere et læringsmiljø. For å etablere et godt læringsmiljø er det viktig å skape et miljø som ikke bare er disiplinert og profesjonelt, men som også er støttende for elevene (Walberg, 1986).

Emosjonell støtte blir reflektert i det emosjonelle klimaet i et klasserom, vist gjennom varmen eller negativiteten observert i klasseromsinteraksjoner (Muijs mfl., 2014). Her kommer lærerens forventninger inn som et sentralt moment. En effektiv lærer har positive forventninger til alle elever, ikke bare til de hun/han tror har et bedre utgangspunkt enn andre. Læreres forventninger kan bli selvoppfyllende profetier. Negative forventninger er ikke en måte å støtte elever på (Muijs mfl., 2014). Læringsmiljø og emosjonell støtte er sentralt i skoleeffektivitetsforskning (Mortimore, Sammons, Stoll, Lewis & Ecob, 1988; Reynolds, Sammons, Stoll, Barber & Hillman, 1996).

Klasseledelse eller monitoring er konsistent funnet å være viktig for å unngå dårlig atferd og på den måten å maksimere tid til oppgaver (Pianta, Hamre & Allen, 2012). Problematferd som for eksempel uro har størst sjanse for å oppstå i overganger, i starten eller slutten av timen. Derfor er det viktig å ha klare prosedyrer for hva som er akseptabel atferd i de konkrete situasjonene (Pianta, Hamre & Allen, 2012). Effektive lærere er forventet å organisere og lede klassen på en måte som skaper et effektivt læringsmiljø (Creemers & Reezigt, 1996; Kyriakides & Creemers, 2008).

Områdene som er presentert over, har vist seg å være sentrale i effektiv undervisning, ifølge litteraturen presentert overfor. Om den samme læreratferden er vesentlig når det gjelder engasjementet til elever, blir diskutert under.

Forskning indikerer at læreratferd som er effektiv for elevers kognitive utbytte, er konsistent mindre effektiv for ikke-kognitive områder, slik som engasjement (for oversikt se Muijs mfl., 2014). Faktorer utenfor skolen blir her regnet for å være av større betydning for ikke-kognitive områder som engasjement (Knuver & Brandsma, 1993; Van Landeghem, Van Damme, Opdenakker, De Frairie & Onghena, 2002).

Dette kan peke i retning av at læreratferd forventes å ha mindre betydning for elevers engasjementet enn for elevers kognitive utbytte. Hvilket kan gi oss grunn til å anta at de typene læreratferd som blir regnet som effektive for å fremme elevers læringsutbytte, ikke nødvendigvis er like effektive for elevers engasjement.

Flere funn fra andre studier som undersøker ulike typer læreratferd, viser likevel til dens betydning for elevers engasjement (Day mfl., 2007; Klem & Connell, 2004; Muijs & Reynolds, 2010; Skinner & Belmont, 1993). Klem og Connell (2004) gjør rede for at lærerstøtte i form av at læreren involverer seg i elevenes liv, elevers autonomi og tydelig struktur påvirker engasjementet til elevene. Involvering refererer til kvaliteten på den interpersonlige relasjonen med læreren, noe som indikerer at relasjonen mellom lærer og elev har betydning for elevers engasjement i henhold til Klem og Connell (2004).

Lignende resultat fant Skinner og Belmont (1993) om at særlig lærerens involvering i form av at læreren bruker tid på, viser følelser til, verdsetter interaksjoner med og dedikerer ressurser til elevene sine, har påvirkning på elevenes engasjement. Skinner og kolleger (2008) fant at lærerstøtte spiller en sentral rolle for engasjementet til elever, og videre at den opplevde lærerstøtten har større betydning for atferdsengasjement enn andre former for engasjement. Tilsvarende fant Ryan og Patrick (2001) at lærerstøtte, i tillegg til læreres skapende evne til interaksjon og gjensidig respekt, hadde en positiv effekt på elevers engasjement.

Videre indikerer andre studier at når elever er oppmuntret til å ta eierskap over læringen sin i et miljø der de føler seg tatt vare på, der de er støttet og sosialt knyttet til lærere og elever og blir gitt meningsfulle og tilpassede arbeidsoppgaver – så vil de mest sannsynlig oppleve økt engasjement (for oversikt se Urdan & Schoenfelder, 2006). Studiene som er beskrevet over, indikerer at relasjonelle faktorer mellom lærer og elev har betydning for elevers engasjement.

Dette er i tråd med Pianta og kolleger (2012), som argumenterer for at kvaliteten på relasjonen mellom lærer og elev er sentral for å forstå elevengasjement. De argumenterer for at engasjement er en relasjonell prosess, som blir til gjennom relasjoner og interaksjoner heller enn gjennom karakteristikker ved elever. De mener det vil være mulig å øke elevengasjement gjennom å gi lærere mer kunnskap om relasjonelle faktorer.

Ut fra forskningen nevnt over kan relasjonelle lærerfaktorer forventes å ha betydning for engasjementet til elevene, og en kan regne med en sammenheng mellom relasjonelle lærerfaktorer og elevers engasjement. Videre predikerer oppfattelse av egen mestring, evner og akademisk kompetanse elevers innsats og utholdenhet i skolen (Dweck & Elliot, 2005; Weiner, 2005). Denne oppfattelsen kan en anta påvirkes av i hvor stor grad læreren differensierer og gir rom for at alle elever skal oppleve mestring på sitt nivå. Hvilket betyr at en kan anta en relasjon mellom lærerens evne til å differensiere og elevers innsats.

Creemers og Reezigt (1996) og Creemers og Kyriakides (2008) argumenterer for at effektive lærere som organiserer og leder klassen på en måte som skaper et effektivt læringsmiljø, kan skape høyt elevengasjement. Dette henspeiler på at en kan forvente en sammenheng mellom klasseledelse og elevengasjement.

Videre er det andre forhold som kan ha innvirkning på sammenhengen mellom læreratferd og elevers engasjement. For eksempel indikerer forskning at elever viser mindre engasjement i klasserommet dess eldre de er (Marks, 2000; McDermott, Mordell & Stoltzfus, 2001). Kjønn kan også ha betydning for sammenhengen mellom læreratferd og engasjement. Jenter virker overlegne i forhold til gutter når det gjelder engasjement ifølge McDermott og kolleger (2001). En kan også anta at det er en sammenheng mellom disiplinvansker og engasjement (Skinner mfl., 2008) og mellom sosioøkonomisk status og engasjement (for oversikt se Wigfield, Eccles, Schiefele, Roeser & Davis-Kean, 2006).

I en studie av sammenhengen mellom læreratferd og elevengasjement vil det være hensiktsmessig å undersøke om disse faktorene kan ha innvirkning på sammenhengen mellom læreratferd og elevers opplevde engasjement.

Metode

Utvalg og prosedyrer

Utvalget er 52 lærere og 1689 elever ved 10 skoler som deltok i prosjektet «Classroom interaction for enhanced student learning» (CIESL), 2014–2016. Lærerne inngår i en case-studiegruppe som har blitt observert, svart på et web-basert spørreskjema, ført digitale logger og er intervjuet i gruppe på den enkelte skole.

Denne studien anvender resultater fra første observasjonstidspunkt for lærerne og første (av tre) spørreskjemaundersøkelser til elevene. Denne studien er derfor en tverrsnittsstudie som baserer seg på målinger som er gjennomført i et avgrenset tidsrom (Ringdal, 2013).

Lærerne ble observert sammen med en klasse de underviser i, en skoletime hver gang. 701 av elevene i utvalget var i klasser som ble observert. Resultatet fra disse elevobservasjonene er anvendt i analyser av relasjoner mellom observert læreratferd og selvrapportert elevengasjement. I tillegg er utvalget av elever i klasser som ikke ble observert, benyttet for å analysere eventuelle forskjeller i engasjement mellom elever i klasser som ble observert, og klasser som ikke ble observert.

Måleinstrument

Læreratferd: Videoobservasjonene ble skåret ved hjelp av The International System for Teacher Observation and Feedback (ISTOF), som er et standardisert observasjonsskjema. Skåringssystemet er internasjonalt validert og utprøvd i en rekke land (Teddlie mfl., 2006), men ikke tidligere benyttet i Norge.

Rammeverket inneholder syv komponenter som regnes som viktige i effektiv undervisning. Det er: vurdering og evaluering (AssEv), differensiering og inkludering (DiffIn), tydelige instrukser (ClarIn), læringsstøtte (InSkil), fremming av aktiv læring og metakognitive ferdigheter (Meta), læringsmiljø (ClClima) og til slutt klasseledelse (ClManag).

I presentasjonen av komponentene er den opprinnelige engelske teksten, med forkorting som vist i parentes, brukt. Dette for å kunne sammenligne med internasjonale studier. Komponentene i skåringssystemet ble utviklet med bakgrunn i teori og tidligere studier om effektiv læreratferd (Muijs mfl., 2014). Videre er disse komponentene delt inn i 21 indikatorer, som til sammen igjen er delt opp i 45 item. Skåringsbredden er 1–5, der 5 er den mest positive verdien. Det er også et ‘NA’ (not applicable)-alternativ, siden noen av itemene ikke er relevante eller umulige å observere, i noen klasseromsettinger.

I forbindelse med skåringen samarbeidet tre mastergradsstudenter om dette. Hver av studentene analyserte 17–18 observasjonsopptak hver, i tillegg ble 20 % av opptakene (12 opptak) analysert av to studenter som del av reliabilitetstestingen. Totalt analyserte hver student 21–22 opptak. Etter analysene ble skårene for de 52 opptakene slått sammen til et datasett som alle de tre studentene benyttet for å belyse ulike problemstillinger. I tillegg ble det brukt data fra elevspørreskjemaene, der elevene vurderte lærernes emosjonelle støtte, monitoring/oppfølging og læringsstøtte.

Elevengasjement ble kartlagt ved hjelp av en modifisert versjon (Bru, Kjetilstad & Idsøe, under arbeid) av Skinner og kolleger (2008) for mål for atferdsengasjement. Den modifiserte skalaen har fem item med skåringsbredde 0–3, der 3 er den mest positive verdien.

Videre ble 13 item delt på tre skalaer benyttet for å kartlegge elevenes opplevelse av lærer–elevrelasjoner: emosjonell støtte (fire item), monitoring/oppfølging (fire item) og læringsstøtte (fem item) (Ertesvåg & Havik). Skåringsbredden på emosjonell støtte og monitoring er 0–3, der 3 er den mest positive verdien. Dess høyere skåre, dess høyere emosjonell støtte og monitoring. Skåringsbredden på læringsstøtte er 0–5, der 5 er den mest positive verdien.

Trinn ble angitt for 5–10 tilsvarende elevenes klassetrinn. Kjønn ble angitt med verdien 1 for jenter og 2 for gutter. Sosioøkonomisk status (SES) ble målt ved hjelp av gjennomsnittet på to item. Skåringsbredden er 1–5, jo høyere skår, jo bedre familie- og boligforhold. Disiplinvansker ble målt ved bruk av en etablert skala på syv item brukt av Vaaland, Idsoe og Roland (2011). Skåringsbredden er 1–3. Jo høyere skår, jo høyere disiplinvansker.

Statistiske analyser

I analyse av datamaterialet ble deskriptive analyser som viser tendensene i dataene, reliabilitetstesting, faktoranalyse, variansanalyse, korrelasjonsanalyse og regresjonsanalyse gjennomført. I analyse av datamaterialet ble disse gjennomført ved hjelp av SPSS 21.0.

Reliabilitet og validitet

Innledningsvis gikk alle som var involvert i skåring, gjennom en innføring og trening i å bruke ISTOF. Dette skjedde gjennom fire halvdagsseminarer sammen med tre veiledere og de tre masterstudentene som samarbeidet om skåring av datamaterialet fra observasjonene. Protokollen og annet materiale i tilknytning til ISTOF som ble innhentet fra utviklerne av verktøyet (Teddlie mfl., 2006), ble nøye gjennomgått.

Videre ble innledende reliabilitetstesting gjennomført, ved hjelp av Fleiss’ Kappa. Testen måler grad av enighet, og justerer for tilfeldighet når det er mer enn to skårere. Ifølge Fleiss, Levin og Paik (1981) skal verdier over 0,75 representere sterk Fleiss’ Kappaverdi. Verdier mellom 0,40 og 0,75 er en akseptabel Fleiss’ Kappaverdi. Først når tilfredsstillende reliabilitet var oppnådd (κ = 0,43) mellom studentene, startet skåringen av observasjonene, som skulle bli en del av datamaterialet. Fleiss’ Kappa på 0,43 ble vurdert som tilfredsstillende selv om det lå i nedre del av det Fleiss vurderer som akseptabel kappaverdi. Dette ettersom ISTOF inneholder 45 item med 5 eller 6 svaralternativ. Jo flere item og svaralternativ som inngår, jo større sjanse er det for at ulike observatører skårer ulikt.

Ved videobservasjoner styrkes reliabiliteten ved at det gir mulighet til at ulike personer kan skåre opptakene. Som ledd i å styrke reliabiliteten i skårene (Muijs, 2006) ble 20 % av alle observasjonene til sammen skåret av to personer. Interrater-reliabiliteten ble undersøkt ved hjelp av Cohen’s Kappa, et statistisk mål for samsvar mellom to skårere, som justerer for tilfeldighet. Cohen’s Kappaverdier fra 0,21 til 0,39 regnes som minimal grad av enighet. Verdier fra 0,40 til 0,59 regnes som svak enighet. Verdier fra 0,60 til 0,79 regnes som moderate, og 0,80–0,90 regnes som sterke verdier (Mchugh, 2012).

I denne studien rangerte Cohen’s Kappa mellom κ = 0,10 og κ = 0,60. Én verdi lå under minimal grad av enighet (κ = 0,10). Etter dette resultatet diskuterte observatørene resultatene sine opp mot hverandre for å finne hvor det var størst uenighet. På den måten skjedde det en kalibrering underveis i skåringen. Videre rangerte Cohen’s Kappaverdiene mellom κ = 0,22 og κ = 0,60. Det vil si fra minimale til moderate verdier. Vurderingen av reliabiliteten og interrater-reliabiliteten vil bli beskrevet mer i detalj under metodiske vurderinger.

Når det gjelder troverdigheten i elevenes svar i spørreskjemaet, er det tidligere satt spørsmålstegn ved om elever er i stand til å vite hva som engasjerer dem (Pintrich, 2003). Skinner mfl. (2008) påpeker at elever sannsynligvis ikke vet hva som engasjerer dem, men likevel er i stand til å vite om de er engasjert eller ei. Dette gir oss grunn til å tro på deres svar i spørreskjemaene og styrker reliabiliteten til denne studien. I tillegg viser tidligere forskning at elevers egen rapport om oppmerksomhet, forståelse og kognitive prosesser er mer valid enn observatørers bedømmelse av elevers fokus (Peterson, Swing, Stark & Waas, 1984). Dette styrker valg av metode for å hente informasjon om elevenes engasjement og opplevelse av lærerstøtte.

Forskningsetiske vurderinger

Studien er meldt til NSD som del av CIESL-prosjektet. Informert samtykke ble innhentet, og det ble spurt om spesifikk tillatelse til opptak på video. Deltakerne ble informert om at det er frivillig å delta, og at de kunne trekke seg når som helst uten konsekvenser. For elevene ble samtykke både hentet fra elever og foresatte.

Resultater

Målet for denne studien er å undersøke sammenhengen mellom ulike typer læreratferd og elevers opplevde engasjement, gjennom bruk av observasjon og spørreskjema som metode. Først blir faktoranalyser av data fra observasjonene og data fra spørreskjemaet omhandlet. Deretter blir deskriptive data for elevers rapporter om innsats presentert.

Forskjeller mellom elever i klasser som ble observert, og elever i klasser som ikke ble observert, ble undersøkt. Sammenhenger mellom elevers innsats på den ene siden og lærerens skårer for de seks typene læreratferd ble studert. Til slutt presenteres de sistnevnte sammenhengene kontrollert for trinn, kjønn, SES og disiplinvansker. Tilsvarende regresjonsanalyse ble gjennomført med tre aspekter av elevers opplevde lærerstøtte i stedet for de ulike aspektene ved observert læreratferd.

Faktoranalyse av ISTOF-komponentene og engasjement

Innledningsvis ble det gjennomført faktoranalyse, både på data fra observasjonene og data fra spørreskjemaet. Analysen av data fra observasjonene viste at reviderte versjoner av seks av komponentene viste akseptabel faktorladning. Tydelige instrukser (ClarIn) ble utelatt med bakgrunn i at faktoranalysen ikke indikerte at itemene utgjorde en faktor.

Faktoren delte seg i tre, der alle itemene kryssladet. Det ble vurdert å dele den etter indikatorene som hver komponent består av. Det kunne forsvart det å dele faktoren, men det var tilfeldig hvordan ladningene fordelte seg. Derfor ble det videre utført tvungen løsning. Dette gav kun to ladninger over 0,50, så komponenten ble forkastet.

Videre ble ti item til sammen forkastet fra de resterende komponentene fordi flere av itemene hadde faktorladninger under 0.50, eller hadde item som delte den opprinnelige ISTOF-komponenten i to eller tre faktorer. Da ble det gjennomført faktoranalyse med tvungen løsning, og item ble ekskludert som hadde for lav faktorladning.

Cronbach’s Alpha på de seks gjenværende komponentene rangerte fra 0,51 til 0,82. I spørreskjemaet til elevene om engasjement ble fem item fra det originale spørreskjemaet tatt bort på grunn av for lave faktorladninger. Den nye skalaen blir omtalt som innsats for å skille den fra den originale engasjementskalaen til Skinner mfl. (2008). Den nye skalaen har blitt utviklet i forbindelse med CIESL-prosjektet (Bru, Kjetilstad & Idsøe, under arbeid).

Videre vil innsats bli brukt i artikkelen for å beskrive atferdsengasjement. Innsats består av disse itemene: «Jeg satser mye på å gjøre det godt på skolen», «I timene, arbeider jeg så effektivt eller godt jeg kan», «Jeg følger godt med i timene» og «I timene hører jeg nøye etter».

Deskriptive data

Deskriptive data som angir effektstørrelse for læreratferdskomponentene og kontrollvariablene er presentert i tabell 1. Resultatene indikerer at observert læreratferd skårer gjennomsnittlig høyest på klasseledelse (ClManag) gj.sn = 4,41 og gjennomsnittlig lavest på metakognitive ferdigheter (Meta) gj.sn = 3,22. Videre viser Muthen og Kaplan (1992) og Curran, West og Finch (1996) til at det kan være signifikante problemer i estimatet når skewness har en absolutt verdi på 2.0 eller større, når kurtosis har en absolutt verdi på 7.0 eller større, eller når begge er sanne. Skewness og kurtosis for komponentene er innenfor disse verdiene.

Deltakelse i observasjoner var frivillig for lærere, og det ble kartlagt om lærere som meldte seg til deltakelse, underviste i klasser der elevene var mer engasjerte enn i klasser som ikke ble observert. Resultatene presentert i tabell 2 indikerer ingen slik forskjell. Effektstørrelsen (d = –0,27) er høyere enn det Cohen (1988) anser som en reell effekt, og indikerer at elever som ikke ble observert, rapporterte høyere engasjement enn elever i klasser som ble observert. Skewness og kurtosis for alle item i begge utvalgene var innenfor grenseverdiene.

Tabell 1 Gjennomsnitt (Gj.sn), standardavvik (SD), skewness (Skew) og kurtosis (Kurt) for de syv aspektene ved observert læreratferd og kontrollvariabler.

  Gj.sn SD Skew Kurt
AssEv 4,07 0,71 -0,69 -0,49
DiffIn 4,01 0,80 -0,73 0,09
InSkil 4,22 0,82 -1,21 0,67
Meta 3,22 0,97 0,04 -0,57
ClClima 4,33 0,68 -1,95 4,00
ClManag 4,41 0,58 -1,73 4,85
Trinn 8,36 1,40 -0,79 0,03
Kjønn 1,51 0,50 -0,03 -2,00
SES 4,29 0,67 -1,58 4,10
Disiplin 0,74 0,76 1,29 1,06

Tabell 2 Deskriptive data for innsats i klasser som ble og klasser som ikke ble observert.

  Observert (N = 701) Ikke observert (N = 867) d.
  Gj.sn SD Skew Kurt Gj.sn SD Skew Kurt  
Innsats 1,85 0,74 -0,50 -0,16 2,04 0,69 -0,75 0,37 -0,27

Elevers innsats og lærerens atferd

Innledningsvis i studien ble bivariate korrelasjonsanalyser gjennomført for å belyse sammenhenger mellom lærerens skårer for de seks typene læreratferd på den ene siden og elevers innsats på den andre. Resultatene er presentert i tabell 3. Resultatene viser at metakognitive ferdigheter (Meta) korrelerer signifikant med elevers opplevde innsats. Korrelasjonen er negativ. Resultatene er ikke kontrollert for andre variabler som kan ha påvirkning på sammenhengen mellom læreratferd og elevers innsats.

Tabell 3 Resultat av bivariat korrelasjonsanalyse mellom de seks typene læreratferd på den ene siden og innsats på den andre.

  Innsats
Assessment and evaluation (AssEv) -0,05
Differentiation and inclusion (DiffIn) -0,08
Instructional skills (InSkil) 0,01
Promoting active learning and developing metacognitive skills (Meta) -0,12**
Classroom climate (ClClima) 0,00
Classroom management (ClManag) 0,03

 Merknad: **Korrelasjon er signifikant på 0.01-nivå.

Elevers engasjement, lærerens atferd, trinn, kjønn, SES og disiplinvansker

Videre ble det gjennomført en regresjonsanalyse for å undersøke sammenhengen mellom ulike aspekter ved læreratferd og innsats. Det ble kontrollert for variablene trinn, kjønn, SES (socio economic status) og disiplinvansker.

Tabell 4 Resultat av regresjonsanalyse for relasjonen mellom ulike aspekter ved læreratferd og innsats, kontrollert for trinn, kjønn, SES og disiplinvansker.

  Beta (β) Sig. R Square
Assessment and evaluation (AssEv) 0,02 0,79 0,17 (17 %)
Differentiation and inclusion (DiffIn) -0,12 0,03  
Instructional skills (InSkil) -0,02 0,81  
Promoting active learning and developing metacognitive skills (Meta) -0,08 0,08  
Classroom climate (ClClima) 0,15 0,02  
Classroom management (ClManag) 0,08 0,10  
Trinn -0,33 0,00  
Kjønn -0,08 0,03  

SES

Disiplinvansker

0,10

-0,19

0,01

0,00

 

Signifikante p-verdier er uthevet

Resultatene som er presentert i tabell 4, indikerer at læringsmiljø (ClClima) har en betaverdi på 0,15 og er signifikant på 0,05-nivå. I tillegg har differensiering og inkludering (DiffIn) en betaverdi på –0,12 og er signifikant på 0,05-nivå. Dette indikerer at «ClClima» og «DiffIn» er de eneste typene læreratferd som er assosiert med elevenes rapporter om innsats, når en har kontrollert for trinn, kjønn, SES og disiplinvansker.

«DiffIn» viser en negativ sammenheng med innsatsen til elevene. Dette avviker fra hva en hadde forventet ut fra teori og tidligere forskning. «ClClima», derimot, viser en positiv sammenheng med elevers innsats. R Square viser at 17 % av variansen til innsats er forklart av de ulike typene læreratferd, trinn, kjønn, SES og disiplinvansker.

Videre viser komponenten «Meta» ingen signifikant sammenheng med innsats. Dette på tross av at den bivariate korrelasjonen indikerte en sammenheng. Det kan tyde på at sammenhengen er forklart av faktorer det er kontrollert for i regresjonsanalysen.

Resultatene indikerer sammenheng mellom faktorene som det blir kontrollert for, og innsats, i tråd med tidligere forskning. Det er verdt å merke at kontrollvariablene er innhentet fra elevene selv, ikke fra observasjoner, og er fra samme datakilde som rapporter om innsats. Dette gjelder særlig for rapporter om disiplinvansker og SES, som er noe elevene selv vurderer, i motsetning til kjønn og trinn, som er gitt uavhengig av elevenes egen vurdering.

Elevers engasjement og opplevelse av lærerens atferd, trinn, kjønn, SES og disiplinvansker

Til slutt ble det gjennomført en regresjonsanalyse for å undersøke sammenhengen mellom ulike typer elevrapportert lærerstøtte og innsats. Det ble kontrollert for variablene trinn, kjønn, SES og disiplinvansker. Resultatene er presentert i tabell 5.

Tabell 5 Resultat av regresjonsanalyse for avhengig variabel innsats, og uavhengige variabler ulike typer læreratferd ut fra elevenes vurdering, trinn, kjønn, SES og disiplinvansker.

  Beta Sig. R Square
Emosjonell støtte 0,28 0,00 0,36 (36%)
Monitoring/oppfølging 0,11 0,00  
Læringsstøtte 0,18 0,00  
Trinn -0,15 0,00  
Kjønn -0,01 0,64  
SES 0,10 0,00  
Disiplinvansker -0,11 0,00  

Signifikante p-verdier er uthevet.

Resultatene indikerer at læreratferden har sterkere sammenheng med elevengasjement målt ved elevers rapporter om læreratferd, enn målt ved observasjonsrapporter om læreratferd. Alle de tre typene læreratferd (emosjonell støtte, monitoring og læringsstøtte) viser signifikant sammenheng med innsats når det er kontrollert for trinn, kjønn, SES og disiplinvansker. Emosjonell støtte viser sterkest sammenheng med innsatsen til elevene, med en betaverdi på 0,28. R Square viser at 36 % av variansen til innsats er forklart av de ulike typene læreratferd vurdert av elevene, trinn, kjønn, SES og disiplinvansker.

Diskusjon

Målet med denne studien er å undersøke sammenhengen mellom læreratferd og elevers opplevde innsats. Det ble gjennomført deskriptive analyser som viser tendensene i dataene, reliabilitetstesting, faktoranalyse, variansanalyse, korrelasjonsanalyse og regresjonsanalyse. Resultatene indikerer at når en kontrollerer for trinn, kjønn, SES og disiplinvansker, er det komponenten «Classroom climate» som viser positiv signifikant sammenheng med innsatsen til elevene ut fra observert læreratferd.

«Differentiation and inclusion» viser negativ signifikant sammenheng med innsatsen til elevene. For de andre typene læreratferd var det ingen signifikant sammenheng med innsats. Imidlertid var det sterkere sammenheng mellom læreratferd og elevengasjement ved elevers egne rapporter om læreratferd. Da viste emosjonell støtte, monitoring/oppfølging og læringsstøtte positiv signifikant sammenheng med innsatsen til elevene. I tillegg viser resultatene fra regresjonsanalysene at engasjementet blir mindre jo eldre elevene er.

Læreratferd og innsats

Et interessant funn i denne studien er at resultatene fra observasjon av «Classroom Climate» (ClClima) er positivt relatert til elevenes egenrapporterte innsats. «Cl-Clima» er basert på at læreren er god til å skape et godt klima i klassen gjennom å inkludere de som ikke engasjerer seg frivillig, vise omsorg og varme til alle, skape hensiktsmessige aktiviteter for alle og være interaktiv med elevene.

Ifølge Pianta og kolleger (2012) er gode relasjoner mellom lærer og elev en nøkkel for å skape engasjement hos elever. Lignende funn fant Skinner og Belmont (1993) i sin studie av engasjement i klasserommet. Særlig graden av lærerens involvering i elevene hadde sammenheng med elevenes engasjement.

En annen studie viser at når elever er oppmuntret til å ta eierskap over læringen sin i et miljø der de føler seg tatt vare på, støttet og sosialt knyttet til lærere og elever, og når de blir gitt meningsfullt og passe utfordrende arbeid – så vil de mest sannsynlig oppleve økt engasjement (Urdan & Schoenfelder, 2006).

Videre argumenterer også Klem og Connell (2004) for at lærerstøtte i form av lærerens involvering er knyttet til elevengasjement. Både resultatene i denne studien og tidligere forskning antyder at det er en positiv sammenheng mellom lærerens relasjonelle ferdigheter og innsatsen til elevene. Det å øke læreres relasjonskompetanse kan dermed være en viktig satsing dersom en vil bidra til større engasjement hos elever i henhold til Pianta og kolleger (2012).

Videre argumenterer Muijs og kolleger (2014) for at læreratferd ikke har like stor effekt på ikke-kognitive områder, slik som engasjement, sammenlignet med effekten læreratferd har på kognitive områder. Resultatene i denne studien sammenfaller med resultatene til Muijs og kolleger (2014) med hensyn til at innsats viste positiv sammenheng bare med «ClClima» når man ser på de seks komponentene for læreratferd. Dette kan være en indikasjon på at lærerens arbeid med å utvikle et positivt, trygt læringsmiljø er viktigere enn de andre typene læreratferd i sammenheng med elevers innsats.

Et annet interessant funn fra observasjon er at «Differentiation and Inclusion» (DiffIn) viste negativ sammenheng med innsatsen til elevene. Her innebærer det at jo høyere skår læreren har på «DiffIn», jo mindre innsats rapporterer elevene. Ut fra teori og tidligere studier av læreratferd og engasjement presentert ovenfor var det grunn til å anta en positiv sammenheng mellom «Diffin» og innsats. Man kan anta at lærerens differensiering kan påvirke elevers oppfattelse av egen mestring, evner og akademisk kompetanse, som videre predikerer elevers innsats og utholdenhet i skolen (Dweck & Elliot, 2005; Weiner, 2005).

På den andre siden er det ikke opplagt at «DiffIn» har en sterk betydning i henhold til at studier viser ingen tydelig sammenheng mellom «DiffIn» og effektiv undervisning (for oversikt se Muijs mfl., 2014). Resultatene i denne studien er i tråd med resultatene til studier presentert i Muijs mfl. (2014) med tanke på at «DiffIn» var negativt relatert til innsats. Dette kan være en indikasjon på at læreratferden «DiffIn» er negativ i motsetning til de andre typene læreratferd i sammenheng med elevers innsats. Det bør gjøres videre studier av denne læreratferden i sammenheng med elevengasjement.

Resultatene viser en sterkere sammenheng mellom elevenes vurdering av læreratferd og elevengasjement enn observert læreratferd og elevengasjement. Emosjonell støtte, læringsstøtte og monitoring/oppfølging viser positiv sammenheng med elevengasjement. Dette kan ha sin bakgrunn i at det er brukt kun én datakilde, som kan øke korrelasjonen mellom de målte fenomenene. I så fall indikerer det at bruk av flere datakilder kan være en metode for å redusere korrelasjon og gi et mer realistisk bilde av sammenhengen mellom læreratferd og elevengasjement.

For å oppsummere sammenhengen mellom observert læreratferd og elevers opplevde innsats kan man generelt si at funnene fra regresjonsanalysen mellom observert læreratferd og elevengasjement viser at det er «ClClima» som utmerker seg av de ulike typene læreratferd, med en positiv og signifikant sammenheng med elevers innsats. «DiffIn» ser ut til å ha en viss negativ betydning, mens de andre typene læreratferd ser ut til å ha liten, om ingen betydning for elevers opplevde innsats. Imidlertid har ulike typer elevrapportert læreratferd sterkere sammenheng med elevengasjement.

Metodiske vurderinger

Det er en styrke ved studien at det er brukt to informasjonskilder, observasjon i klasserommet og spørreskjema til elevene. Dette gir informasjon både fra elevene selv og fra observasjonen av det som skjer i timene. Det kan være en strategi for å redusere høy korrelasjon mellom to fenomen som en måler fordi to grupper av respondenter reduserer korrelasjonen mellom de målte fenomenene. I tillegg kan informasjon fra forskjellige kilder gi et mer realistisk bilde av sammenhengen mellom læreratferd og elevers engasjement enn ved bruk av bare én kilde.

Når vi ser på sammenhengen mellom elevenes vurdering av læreratferd og elevengasjement, er denne sammenhengen sterkere. Det kan ha sin forklaring i at det er brukt én kilde. Videre er det en styrke at elevene som er observert, ikke viser mer innsats enn de elevene som ikke inngår i observasjonsutvalget. Dette indikerer at lærerne som har deltatt i observasjonsstudiene i CIESL-prosjektet, og som har meldt seg frivillig, ikke er lærere med ekstra engasjerte og motiverte elever.

Det er derimot noen begrensninger ved studien som det må tas forbehold om. Utvalget er ikke representativt, og en kan med det utgangspunktet ikke generalisere resultatene. På den andre siden er det at elevene representerer store og små skoler, rene og kombinerte ungdomsskoler, byskoler og skoler på landet, en styrke når en ikke kan generalisere. Dette i tillegg til at elevene som inngår i observasjonsutvalget, ikke skiller seg fra de elevene som ikke er observert, styrker studien. Det er videre en begrensning at tallet på lærere som er studert er relativt lite, samtidig som at tallet på elever som inngår i spørreskjemaundersøkelsen, er relativt stort.

Faktoranalyse av data fra observasjonene ga ikke støtte for de samme faktorløsningene som i internasjonale studier som har anvendt ISTOF (Muijs mfl., 2013). Mulige årsaker til dette kan være at manualen var lite detaljert sammenlignet med andre manualer som for eksempel CLASS-S (Pianta, Hamre & Mintz, 2012), og at observatørene i noen grad måtte ta felles beslutninger om hvordan vi skulle vurdere ulike typer atferd. Dette kan ha medført en noe annen skåringspraksis enn i de internasjonale studiene som benyttet ISTOF. Observasjonsmanualen for ISTOF har mange item og relativt stor skåringsbredde for itemene (1–5), og jo mer kompleks en manual er, jo vanskeligere er det å skåre likt.

I tillegg kan en ikke se bort ifra haloeffekten (Muijs, 2006), selv om det i treningen ble lagt særlig vekt på faren for dette. Fleiss’ Kappaverdien ble vurdert tilfredsstillende selv om den lå i nedre del av det Fleiss vurderer som akseptabelt. Det kan argumenteres for at studien er tilstrekkelig reliabel selv om Cohens’ Kappaverdiene går fra under minimale til moderate verdier og Fleiss’ Kappaverdien er ned mot nedre grense for akseptabel verdi. ISTOF inneholder 45 item med 5 eller 6 svaralternativ på hver. Jo flere item og svaralternativ som inngår, jo større sjanse er det for at ulike observatører skårer ulikt.

I retningslinjene for skåring med CLASS-S, som også er benyttet i CIESL-prosjektet, benyttes reliabilitetstesting som aksepterer en forskjell på svarene på +/– 1 skårekategori (Pianta, Hamre & Mintz, 2012), noe som ville gitt betydelig høyere Fleiss’ og Cohen’s Kappaverdi i denne studien. Med det utgangspunktet er verdiene vurdert som tilfredsstillende med utgangspunkt i tallet på item og svarkategorier.

Avsluttende kommentarer

Til slutt kan en spørre seg hvorfor en ikke ser mer samsvar mellom ulike typer læreratferd og elevers opplevde engasjement. Det er forventet ut fra teori presentert over at det er en sammenheng mellom flere ulike typer læreratferd og elevers engasjement. En mulig forklaring på at det er lite sammenhenger mellom resultat fra observasjoner og elevrapporter, er at resultat fra ulike respondenter (f.eks. observatører og elever) gir et svakere resultat enn informasjon fra bare en av respondentgruppene (Krüger, Rowold, Borgmann, Staufenbiel & Heinitz, 2011). I vår studie var det et sterkere resultat når en brukte informasjon fra kun én kilde (elevene). Da var det større samsvar mellom flere ulike typer læreratferd og elevengasjement enn ved bruk av to kilder.

Oppsummert indikerer denne studien at det er en signifikant sammenheng mellom observert læreratferd «Classroom Climate» og «Differentiation and inclusion» og elevers opplevde innsats, når en har kontrollert for trinn, kjønn, SES og disiplinvansker. Sammenhengen mellom «ClClima» og innsats er positiv, hvilket her innebærer at jo høyere skår læreren har på «ClClima», jo mer innsats rapporterer elevene. Sammenhengen mellom «DiffIn» og innsats er negativ, hvilket her innebærer at jo høyere skår læreren har på «DiffIn», jo mindre innsats rapporterer elevene.

I tillegg indikerer studien en signifikant sammenheng mellom elevrapportert læreratferd emosjonell støtte, monitoring/oppfølging og læringsstøtte og elevers opplevde innsats, når en har kontrollert for trinn, kjønn, SES og disiplinvansker. Det er interessant at resultatene indikerer sterkere sammenheng mellom ulike typer læreratferd og elevengasjement med bruk av kun én informasjonskilde. Videre antyder studien at alle de fire faktorene som det ble kontrollert for, trinn, kjønn, SES og disiplinvansker, viser signifikant sammenheng med innsats i den retningen som tidligere studier indikerer.

Litteraturhenvisninger

Campbell, R., Kyriakides, L., Muijs, R. & Robinson, W. (2003). Differential teacher effectiveness: Towards a model for research and teacher appraisal. Oxford Review of Education, 29(3), 347–362.

Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. New York: Psychology Press, Taylor & Francic Group. 

Connell, J.P., Halpem-Felsher, B.L., Clifford, E., Crichlow, W. & Usinger, P. (1995). Hanging in there: Behavioral, psychological, and contextual factors affecting whether african american adolescents stay in high school. Journal of adolescent research, 10(1), 41–63.

Connell, J.P. & Wellborn, J.G. (1991). Competence, autonomy, and relatedness: A motivational analysis of self-system processes. I M.R. Gunnar & L.A. Sroufe (red.), The Minnesota symposia on child psychology, vol. 23. Self processes and development (s. 43–77). Hillsdale, NJ: Lawrence Erlbaum Associates.

Creemers, B.P. & Kyriakides, L. (2008). The dynamics of educational effectiveness. London, UK: Routledge.

Creemers, B.P. & Reezigt, G.J. (1996). School level conditions affecting the effectiveness of instruction. School effectiveness and school Improvement, 7(3), 197–228.

Curran, P.J., West, S.G. & Finch, J.F. (1996). The robustness of test statistics to nonnormality and specification error in confirmatory factor analysis. Psychological methods, 1, 16–29. doi:10.1037/1082-989X.1.1.16

Day, C., Sammons, P., Stobart, G., Kington, A. & Gu, Q. (2007). Teachers matter: Connecting lives, work and effectiveness. Berkshire, England: Open University Press

Deci, E.L. & Ryan, R.M. (1985). Intrinsic motivation and self-determinaton in human behaviour. New York: Plenum.

Dweck, C.S. & Elliot, A.J. (2005). Handbook of competence and motivation. New York: Guilford Press.

Fleiss, J.L., Levin, B. & Paik, M.C. (1981). The analysis of data from matched samples. Statistical Methods for Rates and Proportions, Third Edition, 373–406.

Fredricks, J.A., Blumenfeld, P.C. & Paris, A.H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59–109.

Hacker, D.J., Dunlosky, J. & Graesser, A.C. (2009). Handbook of metacognition in education. New York: Routledge.

Kington, A., Regan, E. & Sammons, P. (2009). Effective classroom practice: A mixed-method study of influences and outcomes. Symposium presentert på the British Educational Research Association Annual Conference, University of Manchester.

Klem, A.M. & Connell, J.P. (2004). Relationships matter: Linking teacher support to student engagement and achievement. Journal of School Health, 74(7), 262–273.

Knuver, A.W. & Brandsma, H.P. (1993). Cognitive and affective outcomes in school effectiveness research. School effectiveness and school improvement, 4(3), 189–204.

Ko, J. & Sammons, P. (2013). Effective teaching: A review of research and evidence. Reading: CfBT Education Trust.

Krüger, C., Rowold, J., Borgmann, L., Staufenbiel, K. & Heinitz, K. (2011). The discriminant validity of transformational and transactional leadership: A multitrait-multimethod analysis of and norms for the german transformational leadership inventory (tli). Journal of Personnel Psychology, 10(2), 49–60.

Kyriakides, L. (2008). Testing the validity of the comprehensive model of educational effectiveness: a step towards the development of a dynamic model of effectiveness. School Effectiveness and School Improvement, 19(4), 429–446. doi:10.1080/09243450802535208

Kyriakides, L., Creemers, B., Antoniou, P. & Demetriou, D. (2010). A synthesis of studies searching for school factors: Implications for theory and research. British Educational Research Journal, 36(5), 807–830.

Kyriakides, L. & Creemers, B.P.M. (2008). Using a multidimensional approach to measure the impact of classroom-level factors upon student achievement: a study testing the validity of the dynamic model. School Effectiveness and School Improvement, 19(2), 183–205. doi:10.1080/09243450802047873

Marks, H.M. (2000). Student engagement in instructional activity: Patterns in the elementary, middle, and high school years. American educational research journal, 37(1), 153–184.

McDermott, P.A., Mordell, M. & Stoltzfus, J.C. (2001). The organization of student performance in american schools: Discipline, motivation, verbal learning, nonverbal learning. Journal of Educational Psychology, 93(1), 65.

Mchugh, M.L. (2012). Interrater reliability: The kappa statistic. Biochemia medica, 22(3), 276–282.

Mortimore, P., Sammons, P., Stoll, L., Lewis, D. & Ecob, R. (1988). School matters: The junior years. Wells Somerset: Open Books.

Muijs, D. (2006). Measuring teacher effectiveness: Some methodological reflections. Educational Research and Evaluation, 12(1), 53–74.

Muijs, D., Chapman, C. & Armstrong, P. (2013). Teach first: Pedagogy and outcomes. The impact of an alternative certification programme. Journal for Educational Research Online/Journal für Bildungsforschung Online, 4(2), 29–64.

Muijs, D., Kyriakides, L., Van Der Werf, G., Creemers, B., Timperley, H. & Earl, L. (2014). State of the art-teacher effectiveness and professional learning. School Effectiveness and School Improvement, 25(2), 231–256.

Muijs, D. & Reynolds, D. (2010). Effective teaching: Evidence and practice. London, UK: Sage.

Muthen, B. & Kaplan, D. (1992). A comparison of some methodologies for the factor analysis of non‐normal likert variables: A note on the size of the model. British Journal of Mathematical and Statistical Psychology, 45(1), 19–30.

NOU 2015:8 (2015). Fremtidens skole – Fornyelse av fag og kompetanser. Oslo. Kunnskapsdepartementet.

Opdenakker, M.-C., & Van Damme, J. (2006). Teacher characteristics and teaching styles as effectiveness enhancing factors of classroom practice. Teaching and Teacher Education, 22(1), 1-21.

Panayiotou, A., Kyriakides, L., Creemers, B. P., Mcmahon, L., Vanlaar, G., Pfeifer, M. & Bren, M. (2014). Teacher behavior and student outcomes: Results of a european study. Educational Assessment, Evaluation and Accountability, 26(1), 73–93.

Peterson, P.L., Swing, S.R., Stark, K.D. & Waas, G.A. (1984). Students’ cognitions and time on task during mathematics instruction. American Educational Research Journal, 21(3), 487–515.

Pianta, R.C. (2006). Classroom management and relationships between children and teachers: Implications for research and practice. I C.M. Evertsen & C.S. Weinstein (red.), Handbook of classroom management: Research, practice, and contemporary issues, 8 (s. 685–709). Mahwah, NJ: Erlbaum.

Pianta, R.C., Hamre, B. K. & Allen, J.P. (2012). Teacher-Student Relationships and Engagement: Conceptualizing, Measuring, and Improving the Capacity of Classroom Interactions. I S.L. Christenson et al. (eds.), Handbook of Research on Student Engagement, 365 Springer Science+Business Media, LLC

Pianta, R.C., Hamre, B.K. & Mintz, S. (2012). Classroom assessment scoring system: Secondary manual. Charlottesville, VA: Teachstone.

Pintrich, P. R. (2003). A motivational Science Perspective on the Role of Student Motivation in Learning and Teaching Contexts. Journal of Educational Psychology, 95(4), 667686.  

Ponitz, C.E.C., Mcclelland, M.M., Jewkes, A.M., Connor, C.M., Farris, C.L. & Morrison, F.J. (2008). Touch your toes! Developing a direct measure of behavioral regulation in early childhood. Early Childhood Research Quarterly, 23(2), 141–158.

Presley, M. & Harris, K. (2006). Cognitive strategies instruction: From basic research to classroom application. I P.A. Alexander & P.H. Winne (red.), Handbook of educational psychology (2. utg.) (s. 256–286). New York: Routledge.

Reynolds, D., Sammons, P., Stoll, L., Barber, M. & Hillman, J. (1996). School effectiveness and school improvement in the united kingdom. School Effectiveness and School Improvement, 7(2), 133–158.

Ringdal, K. (2013). Enhet og mangfold. Samfunnsvitenskapelig forskning og kvantitativ metode (3. utg.). Bergen: Fagbokforlaget.

Ryan, A.M. & Patrick, H. (2001). The classroom social environment and changes in adolescents’ motivation and engagement during middle school. American Educational Research Journal, 38(2), 437–460.

Skinner, E., Furrer, C., Marchand, G., & Kindermann, T. (2008). Engagement and disaffection in the classroom: Part of a larger motivational dynamic? Journal of Educational Psychology, 100 (4), 765-781. doi: 10.1037/a0012840. 

Skinner, E.A. & Belmont, M.J. (1993). Motivation in the classroom: Reciprocal effects of teacher behavior and student engagement across the school year. Journal of educational psychology, 85(4), 571–581.

Skinner, E.A., Kindermann, T.A. & Furrer, C.J. (2008). A motivational perspective on engagement and disaffection: Conceptualization and assessment of children’s behavioral and emotional participation in academic activities in the classroom. Educational and Psychological Measurement, 69(3), 493–525. doi: 10.1177/0013164408323233.

Skinner, E.A., Zimmer-Gembeck, M.J., Connell, J.P., Eccles, J.S. & Wellborn, J.G. (1998). Individual differences and the development of perceived control. Monographs of the society for Research in Child Development, 63(2/3), 1–16. doi: 10.2307/1166220

Urdan, T. & Schoenfelder, E. (2006). Classroom effects on student motivation: Goal structures, social relationships, and competence beliefs. Journal of school psychology, 44(5), 331–349.

Teddlie, C., Creemers, B., Kyriakides, L., Muijs, D. & Yu, F. (2006). The international system for teacher observation and feedback: Evolution of an international study of teacher effectiveness constructs 1. Educational research and evaluation, 12(6), 561–582.

Vaaland, G. S., Idsoe, T., & Roland, E. (2011). Aggressiveness and disobedience. Scandinavian Journal of Educational Research, 55(1), 1-22.

Van Landeghem, G., Van Damme, J., Opdenakker, M.-C., De Frairie, D.F. & Onghena, P. (2002). The effect of schools and classes on noncognitive outcomes. School Effectiveness and School Improvement, 13(4), 429–451.

Walberg, H.J. (1986). Synthesis of research on teaching. I M.C. Wittrock (red.), Handbook of research on teaching (s. 214–229). New York: Macmillan.

Weiner, B. (2005). Motivation from an attribution perspective and the social psychology of perceived competence. I A.J. Elliot & C.S. Dweck (red.), Handbook of competence and motivation, (s. 73–84). New York: The Guilford Press.

Wentzel, K.R. (1997). Student motivation in middle school: The role of perceived pedagogical caring. Journal of educational psychology, 89(3), 411–419.