Vurdering av lærerens arbeid
Observasjoner fra klasserommet, statistiske målinger av lærernes bidrag til elevenes læringsframgang og elevenes tilbakemeldinger på lærerens undervisning har blitt brukt som elementer i skolens personalevaluering. I Norge er det den sistnevnte ordningen som har vunnet fram som erklært satsning.
Lærervurdering har blitt et svært aktuelt virkemiddel som en del av arbeidsgiveres personalevaluering av lærere. Men hvilke verktøy som brukes til dette, er ganske forskjellig i ulike land. I USA er lærernes estimerte bidrag til elevenes læringsframgang («value added») brukt i 35 stater i løpet av de siste 6 år (Harris & Herrington, 2015), men flere studier dokumenterer ustabilitet i personestimatene fra ett år til neste år: Det finnes eksempler på at lærere presterer i toppsjiktet to år på rad og i bunnsjiktet det tredje året (Goldhaber, 2015).
Målinger av «value added» hviler på noen forutsetninger som ikke kan innfris i den praktiske gjennomføringen (Darling-Hammond, 2015). I tillegg til beregninger av læringsframgang er det blitt brukt klasseromsobservasjon av læreres arbeid som datakilde for arbeidsgivers beslutninger om hvilke lærere som får lønnsbonus og fornyede arbeidskontrakter (Goldring, 2015). Som annen forskning er også måling av læringsframgang og undervisningsobservasjoner usikker og må brukes med forsiktighet. Målinger av «value added» er ikke presisjonsmålinger (Ballou & Springer, 2015). American Statistical Association (2014) har kommet med følgende uttalelse:
… de fleste studier av value added-målinger finner ut at lærer(-faktoren) kan forklare fra 1 til 14 % av variabiliteten i test-scorene, og at majoriteten av muligheter for kvalitetsforbedring finnes i betingelser på systemnivå. Rangering av lærere basert på slike scorer kan derfor ha som uintendert konsekvens at rangeringen bidrar til å redusere kvalitet. (s. 2)
Å holde lærere ansvarlig for testresultater med harde konsekvenser kan lett bli «å rette baker for smed» dersom man legger for stor vekt på slike målinger. Det er også utfordringer med å bruke klasseromsobservasjoner til slike formål: Skolelederes observasjoner er bare svakt korrelert med «value added»-mål (Harris, 2014; Papay, 2012). Men brukt med klokskap og erkjennelse av datagrunnlagets feilbarlighet, kan selvsagt observasjoner og «value added»-målinger være interessante som diskusjonsgrunnlag for læreres profesjonelle utvikling.
Undervisningsvurdering
Lærervurdering har også blitt et aktuelt tema i Norge i de siste årene. GNIST-samarbeidet oppnevnte en arbeidsgruppe som skulle utrede forutsetninger for en ordning med lærervurdering (GNIST, 2014), samt konkrete forslag til en ordning. Utvalget foreslo en ordning med disse elementene: undervisningsvurdering, klasseromsobservasjon (foretatt både av kolleger og skoleledere) og «informasjon om elevers læring, danning og utvikling» (GNIST, 2015). Undervisningsvurdering betyr her at elever gir tilbakemelding på undervisningssituasjonen.
Det er undervisningsvurdering som skal omtales i det følgende fordi nettopp dette ser ut til å være en sentral satsning i regjeringens politikk. I den politiske plattformen for en regjering utgått av Høyre og Fremskrittspartiet heter det at «Regjeringen vil la elevene i den videregående opplæringen evaluere undervisningen». Dette innebærer at undervisningsvurdering definitivt er satt på den politiske dagsorden. Ordningene i to fylker ble ansett som interessante praksiser for GNIST-utvalget, og det er derfor interessant å vite mer om hvordan ordningene fungerer ut fra lærernes perspektiv. For å finne ut mer om undervisningsvurdering foretok forskerne som står bak undersøkelsen, en spørreskjemaundersøkelse blant lærere ved videregående skoler i østlandsområdet.
Undervisningsvurdering er basert på bruk av anonyme spørreskjema til elevene. Det typiske er at lærerne blir vurdert av to klasser hvert år og kan påvirke valget av hvilke klasser som vurderer dem. Elevene vurderer lærerens evne til å drive tilpasset opplæring, klasseledelse, i hvilken grad læreren kommer forberedt til timene, evne til å bygge relasjoner til elevene, engasjement, evne til å bruke digitale hjelpemidler, vurderingspraksis og i hvilken grad læreren bidrar til at elevene selv kan vurdere sine prestasjoner. Etter at spørreundersøkelsene er gjennomført, får læreren kjennskap til resultatene. Læreren presenterer resultatene for klassen som vurderte, og elevene får anledning til å kommentere resultatene. Deretter gjennomføres medarbeidersamtaler med alle lærere, hvor den enkeltes resultater er grunnlag for en veiledningssamtale med en representant fra skolens ledelse. I disse samtalene diskuteres det hva læreren bør forbedre og hvordan læreren kan gå frem for å forbedre sin praksis.
Det er et uttrykt mål for denne vurderingspraksisen at den skal bidra til profesjonell utvikling for lærere. Det er ikke et mål å kontrollere eller å bruke resultater til å sanksjonere. Initiativet til undervisningsvurderingen kom i utgangspunktet fra Elevorganisasjonen og har senere blitt vedtatt av formelle beslutningsorganer i en rekke fylker.
Spørreundersøkelsen som danner utgangspunkt for dette arbeidet, ble samlet inn på fire videregående skoler. Totalt består materialet av respons fra 217 lærere. Analysemetoden strukturell likningsmodellering er blitt brukt til å analysere materialet. Denne metoden estimerer statistiske sammenhenger og effekter med utgangspunkt i teoretisk funderte antakelser. Basert på disse analysene har vi skrevet tre artikler med ulikt fokus.
Studie 1
Når studenter vurderer undervisning anonymt: Hvilke variabler påvirker læreres oppfatning av undervisningsvurderingens nytteverdi? (Elstad, Lejonberg & Christophersen, manuskript)
Den avhengige variabelen er læreres opplevde nytte av undervisningsvurderingen. Vi har testet fem variabler som vi antok at kunne påvirke opplevd nytte: 1) hvorvidt lærerne opplever at formålet med undervisningsvurdering er å bidra til deres profesjonelle utvikling, 2) hvorvidt lærerne opplever at formålet med undervisningsvurdering er å kontrollere dem, 3) hvorvidt lærerne anerkjenner elevenes evne til å vurdere undervisning og 4) hvorvidt kommunikasjonen fra skolenes ledelse generelt oppleves som klar.
Funnene viser videre at lærere som rapporterer at de oppfatter at formålet med undervisningsvurderingen er å bidra til deres profesjonelle utvikling, rapporterer høyere grad av opplevd nytteverdi av vurderingsprosessene. De som anerkjenner elevene som kompetente til å vurdere dem, rapporterer også høyere grad av opplevd nytteverdi. Også hvorvidt kommunikasjonen med ledelsen oppleves som klar, har betydning for opplevd nytte av ordningen. De som generelt opplever klar kommunikasjon, rapporterer høyere grad av opplevd nytte av undervisingsvurderingen. Vi skal være varsomme med å tolke kausalitet i disse empiriske sammenhengene, men resultatene gir oss grunnlag for å tro at et system hvor elever på videregående vurderer sine læreres undervisningspraksis anonymt, har potensial til å bidra med tilbakemeldinger lærerne opplever som nyttige.
Studie 2
Hva kan forklare læreres opplevde nytte av oppfølgingssamtalene og opplevelse av vurderingsrelatert stress? (Lejonberg, Elstad & Christophersen, manuskript)
Her er det to uavhengige variabler: Den første er opplevd nytte av oppfølgingssamtalene hvor en i ledelsen samtaler med læreren om resultatene; den andre i hvilken grad læreren opplever at vurderingsprosessene stresser dem. Fire uavhengige variabler er testet som potensielle forklaringsvariabler: 1) hvorvidt lærerne opplever at formålet med undervisningsvurdering er å bidra til deres profesjonelle utvikling, 2) hvorvidt lærerne opplever at formålet med undervisningsvurdering er å kontrollere dem, 3) i hvilken grad læreren anerkjenner og respekterer den personen de har oppfølgingssamtalen med og 4) hvorvidt kommunikasjonen fra skolenes ledelse generelt oppleves som klar.
Funnene viser at lærere som opplever at formålet med undervisningsvurdering er å bidra til deres profesjonelle utvikling, som har høy anerkjennelse for den som gjennomfører oppfølgingssamtalen og som opplever kommunikasjonen fra ledelsen som generelt klar, er de som i høyest grad rapporterer at oppfølgingssamtalene er nyttige. De som oppfatter formålet med vurderingsprosessene som kontroll, rapporterer høyere grad av stress relatert til vurderingsprosessen. Imidlertid er opplevd nytte av oppfølgingssamtalene relativt lav i forhold til hva vi kunne forvente, samtidig som lærerne svarer at de i relativt høy grad respekterer og anerkjenner de som er ansvarlige for oppfølgingssamtalen. Til sammen indikerer dette at det er potensial for å forbedre oppfølgingssamtalene og dermed den opplevde nytteverdien de har i forbindelse med utvikling av læreres profesjonelle praksis.
Studie 3
Undervisningsvurdering som omstridt praksis: lærermotstand mot undervisningsvurdering i Norge (Elstad, Lejonberg & Christophersen, under utgivelse).
Denne artikkelen beskriver veien fra idé til implementering av undervisningsvurdering i Norge. Den skandinaviske samarbeidsmodellen hvor forhandling mellom de involverte parter er bærebjelken, er sentral for å forstå det pågående arbeidet med å implementere et nasjonalt system for lærervurdering. Artikkelen presenterer også statistisk analyse hvor motstand mot undervisningsvurdering er avhengig variabel. Den avhengige variabelen forsøkes belyst av følgende potensielle forklaringsvariabler: (1) hvorvidt lærerne opplever at formålet med undervisningsvurdering er å kontrollere dem, (2) hvorvidt lærerne anerkjenner elevenes evne til å vurdere undervisning og (3) hvorvidt kommunikasjonen fra skolenes ledelse generelt oppleves som klar. Vurderingsrelatert stress er medierende (mellomliggende variabel) i den undersøkte modellen.
Funnene viser at lærere som opplever at formålet med undervisningsvurderingen er å kontrollere dem, er mer negative til vurderingssystemet og til elevenes evne til å vurdere undervisning enn lærere som ikke oppfatter kontrollhensikten som påtrengende. Opplevd vurderingsrelatert stress er imidlertid ikke assosiert med motstand mot undervisingsvurdering. De som ikke anerkjenner elevenes evne til å vurdere undervisning og som ikke rapporterer at de opplever at kommunikasjonen fra ledelsen generelt er klar, er mer negative til undervisningsvurdering. De som anerkjenner elevenes evne til å vurdere undervisning, rapporterer også lavere grad av stress relatert til undervisningsvurdering.
Et system for profesjonell utvikling
Til sammen bidrar funnene i disse artiklene til å tegne et bilde at et system for undervisningsvurdering som har potensial til å bidra til læreres profesjonelle utvikling. At lærere oppfatter formålet med vurderingen som utviklende, fremstår som en nøkkelfaktor for at undervisningsvurdering skal kunne bidra til læreres profesjonelle vekst. Dette indikerer at det over tid vil være avgjørende at vurderingene blir brukt i tråd med intensjonen: som et bidrag til å utvikle seg som lærer. Blir vurderingene brukt for kontrollformål, i vurderinger om lønn eller liknende vil det antakelig rokke ved tilliten til systemet og dermed til potensialet for vurderingsbasert utvikling.
Videre indikerer analysene forbedringspotensial for oppfølgingssamtalene. Samtalene lærerne har om vurderingsresultatene med sin leder, er antatt å være essensielle for at vurderingen faktisk skal bidra til profesjonell utvikling for den enkelte lærer.
Ettersom lærerne i høy grad rapporterer at de anerkjenner og respekterer lederen de har samtalen med, men likevel har relativt lavt utbytte av oppfølgingssamtalene, taler dette for et behov for å utvikle veiledningskompetansen hos skoleledere. Dersom undervisningsvurderingen skal være et hensiktsmessig bidrag til læreres profesjonelle utvikling, er det viktig at deres ledere har god kunnskap om hvordan de kan bidra som veiledere i lærernes arbeid med egen profesjonell utvikling.
Det fins ingen ideell lærervurdering
Til slutt noen advarende ord: utvalget av lærere i denne studien er hentet fra skoler der elevenes inntakspoeng plasserer seg omtrent rundt gjennomsnittet og oppover. Med andre ord mangler vi data fra skoler med svakere rekrutteringsgrunnlag. Videre underviser de aller fleste av lærerne i vårt utvalg ved studieforberedende programmer. Det hører med til framtidig forskning å finne ut hvordan slike ordninger kan fungere ved yrkesforberedende programmer og for eksempel i grunnskolen. Det er en rekke problemstillinger vi ikke har drøftet i denne artikkelen som bør være gjenstand for forskning og erfaring. Et eksempel er om ordningen med undervisningsvurdering kan føre til at lærere gir mindre utfordrende arbeidsoppgaver (for eksempel «losing») og karakterinflasjon.
Utviklingen må følges nøye. Vi vet heller ikke om slike ordninger over tid kan brukes som informasjonsgrunnlag for videre engasjement av midlertidige ansatte lærere, lønnsbonus osv., altså om formålet med en ordning dreies over tid fra en utviklingsbegrunnelse til en kontrollbegrunnelse. I det hele tatt er det mye vi ikke vet. Lærervurdering er intuitivt appellerende: undervisningskvaliteten er viktig for elevenes læringsresultater. Men det finnes ingen ideelle ordninger for lærervurdering. De metodene vi kjenner til, er beheftet med svakheter. Derfor er det viktig at de som følger opp resultatmålingene, kjenner til metodens potensielle svakheter. Det er noen løfterike funn i våre studier: lærerne har rimelig høy tiltro til elevenes tilbakemeldinger og til de som skal gjennomføre medarbeidersamtalene. Det kan bety at ordningen med undervisningsvurdering kan ha kimen i seg til profesjonell vekst hos dem som står i frontlinjen i norsk skole.
Litteraturhenvisninger
American Statistical Association (2014). ASA statement on using value added models for educational assessment.
Ballou, D. & Springer, M.G. (2015). Using Student Test Scores to Measure Teacher Performance: Some Problems in the Design and Implementation of Evaluation Systems, Educational Researcher, (2), 77–86.
Elstad, E., Lejonberg, E. & Christophersen, K.A. (under utgivelse). Teaching evaluation as a contested practice: Teacher resistance to teaching evaluation schemes in Norway. Education Inquiry.
Elstad, E., Lejonberg, E. & Christophersen, K.A. (manuskript). When students evaluate teaching: What variables affect teachers’ perception of the usefulness of the evaluations?
GNIST (2014). Rapport til drøfting i GNIST-partnerskapet. GNIST, Oslo.
GNIST (2015). Forslag til hvordan et system for lærervurdering kan utformes og prøves ut i Norge. Rapport fra en arbeidsgruppe ( fase 2). GNIST, Oslo.
Goldhaber, D. (2015). Exploring the Potential of Value-Added Performance Measures to Affect the Quality of the Teacher Workforce, Educational Researcher, 44(2), 87–95.
Goldring, E. mfl. (2015). Make Room Value Added: Principals’ Human Capital Decisions and the Emergence of Teacher Observation Data, Educational Researcher, 44 (2), 96–104.
Harris, D.N., Ingle, W.K. & Rutledge, S.A. (2014). How Teacher Evaluation Methods Matter for Accountability: A comparative Analysis of Teacher Effectiveness ratings by Principals and Teacher Value-Added Measures. American Educational Research Journal, online 3 January 2014.
Harris, D.N. & Herrington, C.N. (2015). The Use of Teacher Value-Added Measures in Schools: New Evidence, Unanswered Questions, and Future Prospects, Educational Researcher, 44 (2), 71–76.
Lejonberg, E., Elstad, E, & Christophersen, K.A. (manuskript). Teacher Evaluation: Antecedents of Teachers’ Perceived Usefulness of Follow-up Sessions and of Teacher Stress Related to the Evaluation Process
Papay, J. (2012). Refocusing the debate: Assessing the purposes and tools of teacher evaluation. Harvard Educational Review, 82(1), 123–141.