Nye verktøy og rutiner for resultatoppfølging

Kommuner, skoleledere og lærere har i løpet av det siste tiåret fått økt tilgang til informasjon om elevresultater. Fra nasjonale utdanningsmyndigheter uttrykkes det klare forventninger om at for eksempel resultater fra nasjonale prøver skal brukes til å utvikle og forbedre praksis på ulike nivåer i skolesystemet, slik sitatet nedenfor illustrerer: De nasjonale prøvene skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål for de grunnleggende ferdighetene regning og lesing på norsk og engelsk, slik de er integrert i kompetansemål for fag i LK06 etter 4. og 7. årstrinn.

Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid (Utdanningsdirektoratet, 2012, s. 4). Slik sett kan vi si at nasjonale prøver er både et vurderingsverktøy og et styringsverktøy.

Kunnskap om hvordan disse resultatene konkret brukes, er imidlertid begrenset. I denne artikkelen tar vi for oss hvordan ansvarlige på kommunenivå og rektorer responderer på de nasjonale forventningene. Vi presenterer også noen eksempler på hva kommuner og skoler gjør for å følge opp resultatene og bedre kvaliteten. Eksemplene er hentet fra casestudier i tre kommuner, gjennomført i 2011/2012 og var en del av forskningsprosjektet, Vifee (Visible Feedback), som ble ledet av Guri Skedsmo og Therese N. Hopfenbeck ¹. Kommunene ble valgt ut på bakgrunn av at de har etablert ulike kvalitetssystemer og ulike strategier for å holde skoleledere og lærere ansvarlig.

I hver kommune valgte vi ut tre skoler (både barneskoler og ungdomsskoler) til å delta i prosjektet. Analysene baserer seg på sentrale dokumenter som beskriver kommunenes kvalitetssystemer og intervjuer med skoleansvarlige på kommunenivå og ni rektorer.

Lite kunnskap om bruk av elevresultater

Bruk av elevresultater (data) skjer når lærere, lærere og skoleledere samt skoleledere og ansvarlige på kommunenivå anvender resultater fra nasjonale prøver, karakterer og andre typer vurderingsresultater for å videreutvikle undervisning og læring (se Coburn & Turner, 2011, Spillane, 2012). Dette innebærer med andre ord at lærere, skoleledere og ansvarlige på kommunenivå involverer seg i individuelle og kollektive utviklingsprosesser med utgangspunkt i informasjon om elevresultater.

I løpet av det siste tiåret har flere internasjonale studier fokusert på hvordan skoleledere gjennom sitt arbeid kan påvirke elevresultater (Bell m.fl., 2003; Leithwood m.fl., 2006; Marzano m.fl. 2005; Witziers m.fl., 2003). De fleste av disse studiene tar for seg skoleledernes personlighetsstrekk og hva slags lederstil de har, og de går i liten grad inn på hva skoleledere konkret gjør for å forbedre skolens kvalitet (Skedsmo & Hopfenbeck, sendt inn).

De få studiene som derimot er gjennomført med spesifikt fokus på bruk av elevresultater, viser at bruk av elevresultater henger tett sammen med hva slags rutiner skolen har etablert med tanke på tilgang på resultater, samt tid og mulighet for samarbeid, også sammen med skoleledelsen (Coburn & Turner, 2011). Spesielt viktig er det at skoleledere både involverer seg, gir støtte og sørger for at dette arbeidet blir et felles ansvar. Fokus på elevresultater kan føre til økt oppmerksomhet og samarbeid rundt vurdering av skolens praksis som igjen kan brukes som grunnlag for å legitimere beslutninger og sette i gang utviklingsarbeid (Datnow, 2011). Samtidig viser enkelte studier også det motsatte, nemlig at elevresultater ikke alltid brukes på måter som fostrer læring og utvikling, men i stedet kan føre til dårligere samarbeidsvilkår og mindre involvering i utviklingsarbeid (Hallett, 2010).

Norsk forskning har til nå i liten grad fokusert på hvordan elevresultatene tas i bruk på ulike nivåer i opplæringssystemet. I sentrale utdanningspolitiske dokumenter i Norge kan det synes som om det ofte tas for gitt at når ansvarlige på kommunenivå, skoleledere og lærere har informasjon om elevenes prestasjoner på nasjonale prøver, vet de automatisk hva som må til for å bedre undervisning og læring. Samtidig mangler det systematisk kunnskap om hvordan man kan finne fram til konkrete tiltak på basis av resultater, samt hvordan disse tiltakene fungerer i praksis.

Selv om eksisterende forskning er opptatt av å identifisere forhold som bidrar til bruk av ulike typer elevresultater, blir «data» ofte brukt i generelle vendinger, og det er mindre oppmerksomhet om hvordan spesifikke vurderingsverktøy tas i bruk. Ofte går man ut fra at verktøy som nasjonale prøver produserer nøytrale og objektive data, mens de i virkeligheten bærer med seg ulike meninger og verdisett som kan få konsekvenser for bruken av dem (se Lascoumes & Gales, 2007). Et element som kan vanskeliggjøre prosesser med å relatere elevresultater til praksis, er at nasjonale prøveresultater presenteres i et annet språk om elevers læring og utvikling enn det som ofte brukes i skolen.

Evalueringer av implementeringen av Kunnskapsløftet og det nasjonale kvalitetsvurderingssystemet har vist at det er store variasjoner mellom kommuner med tanke på i hvilken grad og hvordan resultatbruk inngår i det lokale kvalitetssystemet, samt at skolene har svært ulik kapasitet og kompetanse til å ta resultatene i bruk (Aasen mfl. 2012). Dette har ofte med kommunenes størrelse å gjøre. Tidligere studier har også vist at bruk av prøveresultatene ikke nødvendigvis ses på som en integrert del av læreres praksis og at lærere av ulike grunner er mer skeptiske til prøvene enn rektorer (Seland mfl., 2012; Mausethagen, 2013).

Ulik praksis rundt bruk av prøvene kan avhenge både av vilje, kunnskap og ressurser til å bruke resultatene.

Eksempler på oppfølging av resultater

Casestudiene fra Vifee-prosjektet viser at nasjonale prøveresultater er en viktig kvalitetsindikator i alle de tre kommunene. Til tross for at de har svært ulike kvalitetssystemer, ble resultatene fra nasjonale prøver brukt av både kommunalsjefene og rektorene til å dokumentere utviklingen til skolene over tid, sammenligne skoler innad i kommunen, samt kommunens gjennomsnitt med nabokommuner og landsgjennomsnittet.

Med tanke på bruk av resultatene i oppfølgingen, og ikke minst ansvarliggjøring av rektor, har kommunene etablert og satt i verk ulike rutiner og strukturer. De ni rektorene som er intervjuet i studien, er opptatt av at skolen deres gjør det bra på nasjonale prøver. De viser til at resultatene sier noe om «i hvilken grad vi er på rett spor». Internt på skolen bruker rektorene resultatene til å legitimere beslutninger og prioritere utviklingsområder og etterutdanningstilbud.

I denne artikkelen vil vi se på noen eksempler på rutiner som er etablert som følge av den økte tilgangen på data om elevenes resultater, og forventninger om å bruke disse dataene, som for eksempel resultatmøter, lederkontrakter og medarbeidersamtaler. Slike rutiner representerer en god inngang til å undersøke både endring og stabilitet i organisasjoner (Feltham & Pentland, 2003; Spillane, 2012), og i denne sammenheng i hvilken grad og på hvilken måte skoler og kommuner tar i bruk elevresultater i arbeidet sitt. Samtidig ser vi at rutinene kobles til ulike typer praksiser for ansvarliggjøring, samt bruk av insentiver og enkelte sanksjoner.

«Fossefall» kommune er den største av de tre kommunene, den har bygd opp et kvalitetssystem over de siste 15 årene som i stor grad hviler på prestasjons- og risikostyring (se Skedsmo & Møller, i trykk). Basert på oppnådde resultater defineres kommunale mål og strategier i form av et målhierarki. Målhierarkiet som er felles for alle skolene, følges tett opp basert på skolenes resultater.

«Elvebredden» er en middels stor kommune som over en femårsperiode har etablert et  valitetssystem, der nasjonale prøver og resultater fra Elevundersøkelsen og Foreldreundersøkelsen utgjør de viktigste kvalitetsindikatorene. «Fjorden» kommune er en liten kommune som over flere år gjennomførte kollegabasert skolevurdering, der de har samarbeidet med andre kommuner i regionen.

Denne ordningen ble avviklet blant annet fordi den ikke ble ansett som kostnadseffektiv. Skolenes utviklingsplaner og rapporter med krav om refleksjon rundt oppnådde resultater utgjør grunnlaget for kommunalsjefens oppfølging av skolene.

Nye møtestrukturer med fokus på resultater

«Elvebredden» kommune har innført resultatmøter på ulike nivåer som følger kommunens årshjul for gjennomføring av ulike typer tester blant elevene. Kommunalsjefen diskuterer resultater fra nasjonale prøver i resultatmøter med alle rektorene i kommunen, rektorene diskuterer resultatene i resultatmøter i lederteamet på skolen, samt at de deltar på resultatmøter med lærerteamene. Videre tar lærerne opp resultatene i vurderingssamtaler med elever og foresatte. Dette beskriver kommunalsjefen som «det siste leddet i kjeden». Et samarbeidsmøte mellom ungdomsskoler i samme krets er i tråd med dette blitt omdannet til resultatmøte mellom ungdomsskolen og barneskolene i nærheten, siden det er barneskolen som egentlig er ansvarlig for elevenes resultater på nasjonale prøver på 8. trinn.

Dersom en skole viser negativ resultatutvikling, blir rektor kalt inn til det kommunalsjefen kaller et «bekymringsmøte», der rektor må forklare resultatene til skolen og hva slags tiltak som er planlagt for å forbedre resultatene. Flere av rektorene betoner viktigheten av at ledelsen jobber sammen med lærerne når det gjelder fortolkning og diskusjon av resultatene, og hvor viktig det er å ha fokus og struktur på resultatmøtene. En av rektorene i «Elvebredden» kommune uttaler følgende:

Akkurat det møtet mellom lærerne på barne- og ungdomsskolen opplevde jeg som veldig lærerikt. Lærerne opplevde det også som nyttig. Jeg tror kanskje at møtet var mer strukturert enn det lærerne hadde vært vant til fordi jeg tok utgangspunkt i resultatene på de nasjonale prøvene. Vi kjørte et stramt faglig fokus, så det ikke skulle bli sånn «hvordan har Per klart seg, han var så vrang i fjor og nå er han blitt hyggeligere.. ». Resultatmøtene på trinn synes jeg kan bli litt tvangstrøye, fordi vi snakker mye ellers om hvordan elevene utvikler seg. Samtidig ser jeg nytten av det, for det blir et mer strukturert møte. Da har vi et skjema med punkter som vi går ut ifra (Rektor, «Furu» skole, «Elvebredden » kommune).

Dette eksemplet viser at rutiner som resultatmøter kan bidra positivt til å strukturere diskusjoner om elevenes prestasjoner og mulige tiltak. Vi vet imidlertid mindre om hva som foregår i disse resultatmøtene, innholdet som diskuteres og de mulighetene eller begrensningene som skapes for lærings- og utviklingsprosesser.

Kommunalsjefen i «Fjorden» kommune har videreført de tradisjonelle lederdialogene. Han besøker skolene en gang per år og anser erfaringslæring som en viktig arena for utveksling av kunnskap og erfaringer. Lærerne har dannet erfaringslæringsgrupper og det er satt av tidsressurs til gruppemøte hver fjortende dag. Temaer for møtene varierer og er dels definert av skolene og dels av kommunen. Et eksempel på felles tema for alle skolene er vurdering.

Målet med erfaringslæringen er å profesjonalisere lærerne gjennom å få fram den tause kunnskapen og ved at de utvikler et felles språk rundt egen praksis. Videre, gjennom støtte fra høgskolen på visse temaer har vi prøvd å utfordre lærerne på å knytte teori til egne erfaringer (Kommunalsjef, «Fjorden» kommune).

Sammenlignet med resultatmøter, representerer erfaringslæringsgruppene mulighet til å definere et bredere omfang av temaer sett fra et praksisståsted. Gruppene har fått rom til å skape struktur på møtene selv, og kommunen har bidratt med støtte dersom dette har vært ønskelig. Rapporter fra gruppenes arbeid inngår i skolenes rapportering til kommunen.

Rutiner for «feilsøk»

Prestasjonsstyringen i «Fossefall» kommune innebærer utstrakt bruk av ulike typer elevresultater fra nasjonale og kommunale prøver, kartleggingsprøver og overgangsprøver. Gjennom en risikoanalyse i fem steg, identifiserer rektorene mulige faktorer som kan hindre måloppnåelse, samt at de lager en plan for iverksetting av tiltak for å imøtekomme risikoen (Skedsmo & Møller, i trykk). Dette innebærer på mange måter kontroll av prosesser som leder fram mot resultatene.

Dersom målene ikke oppnås, åpner dette for å kunne «spore» hvor i prosessen «feilen» ligger. Ifølge rektorene i denne kommunen bidrar analysen til økt bevisstgjøring på mulige faktorer som kan hindre måloppnåelse, samt mulighet for å sette inn konkrete tiltak tidlig. Samtidig peker de på at det er mange faktorer de ikke har kontroll over, som når store forskjeller i elevgrunnlaget på 8. trinn skaper uforutsette variasjoner i elevresultater mellom kull.

Skoler som over tid ikke oppnår resultater i samsvar med sine forutsetninger, får tettere oppfølging av kommunen.

Bruk av kontrakter

Mål er nedfelt i kontrakter for rektorer og lærere i alle de tre kommunene. Flere av rektorene bruker elevresultatene til personalutvikling ved at de holder lærerne ansvarlig og forplikter dem til å delta i utviklingsarbeid. I dette arbeidet er medarbeidersamtaler og kontrakter med lærerne, som inneholder forpliktende utviklingsmål, viktige verktøy for rektorene. En av rektorene i «Fjorden» kommune understreker dette med følgende uttalelse:

Jeg er veldig bevisst på de sterke sidene til lærerne i mitt personale og hvem som trenger å utvikle sin kompetanse på de og de områdene. Jeg følger opp dette i medarbeidersamtaler og jeg bruker denne informasjonen når jeg setter sammen lærerteam. Jeg har også flyttet rundt på lærere med bakgrunn i vurdering av elevenes prestasjoner og behov (Rektor, «Alm» skole, «Fjorden» kommune).

Dette viser også hvordan rektorene ser nasjonale prøveresultater som viktige for å identifisere kompetansebehov hos lærerne. Bruk av kontraktene viser også til utvikling av en praksis der ansvarliggjøringen formaliseres og individualiseres. Tidligere lå dette ansvaret i større grad på skolen.

Tilsiktede og utilsiktede konsekvenser

I en av kommunene, «Fossefall», er oppnåelse av mål nedfelt i lederkontrakten knyttet til resultatbasert lønn. En av rektorene i Fossefall kommune sier følgende om målene i lederkontrakten:

De første årene satte jeg altfor høye mål. Etter hvert blir man mer strategisk og setter mål man har mulighet til å nå (Rektor, «Ask» skole, «Fossefall» kommune). 

Kommune	«Elvebredden»	«Fossefall»	«Fjorden»
Kvalitetsindikatorer	Nasjonale prøveresultater Kartlegginger Res. fra Elevund. Res. fra Foreldreund.	Nasjonale prøveresultater Kartlegginger Res. fra kommunale tester, overgangsprøver Res. fra Elevund. Res. fra Foreldreund.	Nasjonale prøveresultater Kartlegginger Res. fra Elevund. Skolenes innrapporterte mål, tiltak og resultater
Rutiner for resultat- oppfølging	Resultatmøter «Bekymringsmøte» Kontrakter Medarbeidersamtaler Kommunale satsinger	Risikoanalyse Kontrakter Medarbeidersamtaler Kommunalt strategisk kart og målhierarki	Gj.gang av skolens planer/rapporter Lederdialoger Kontrakter Medarbeidersamtaler Læringssamtale på skolenivå

Økonomiske insentiver gis også til lærerne i denne kommunen ved at resultater fra nasjonale prøver utgjør en basis for den prestasjonsorienterte delen av lønnen. Intensjonen med å innføre denne type insentiver er å belønne god innsats og motivere for videre arbeid.

Rektorene vurderer kompetanseutvikling for både lærere og skoleledere som et godt virkemiddel for å stimulere til større grad av kollektiv praksis og innsats. De peker også på positiv omtale av skolen i media som viktig, ikke minst overfor foreldrene. Samtidig bekymrer rektorene seg for negativ omtale i media og konsekvenser i form av at skolen får dårlig omdømme i kommunen dersom de oppnår «dårlige» resultater. Rektorer på skoler i to av kommunene mener at dette først og fremst virker demotiverende på lærerne. Videre kan det påvirke foreldrenes valg av skole, samt ha konsekvenser for rekruttering av lærere.

Dette kan ses som utilsiktede konsekvenser av tilgang på elevresultater. I tabellen på motstående side oppsummerer vi kort sentrale kjennetegn ved kvalitetssystemene i de tre kommunene, samt rutiner som er innført eller endret for å følge opp resultatene.

Behov for mer forskning

Presentasjonen av disse få eksemplene fra tre kommuner i Norge i regi av Vifee-prosjektet viser at resultatoppfølgingen i skolen foregår på svært ulike måter. Eksemplene illustrerer at det er etablert ulike rutiner omkring bruk av elevresultater, for eksempel i møtestrukturer som «resultatmøter » og «erfaringslæringsgrupper». Hvordan disse organiseres og hva slags interaksjoner som finner sted, har vi imidlertid mindre kunnskap om.

Viktige spørsmål i denne sammenheng er hvordan rektorene initierer arbeidet med bruk av elevresultater som grunnlag for videre utvikling og hvordan de motiverer lærerne til å ta aktivt del i dette. Hvordan oppfatter lærerne arbeidet? Hva slags kunnskap trekker de på når elevresultatene skal fortolkes, og hvordan blir de fulgt opp i form av diskusjoner rundt utvikling av konkrete tiltak? På hvilke måter tar eventuelt lærerne initiativ til bruk av elevresultater, og hvordan oppfatter skoleledere slike initiativ? Slike spørsmål er viktig å stille for å bedre forstå hvilke faktorer som spiller inn når resultatene tas i bruk eller ikke, og ikke minst på hvilken måte de tas i bruk.

Det kan for eksempel være fare for at bruk av elevresultater blir overfladisk og rituell og at utviklingsarbeid rammes inn av tiltak som å øve mer på oppgaver som blir gitt på nasjonale prøver. Samtidig kan det være at diskusjonene tar utgangspunkt i bredere, faglige diskusjoner rundt hvilken kompetanse elever for eksempel skal ha i lesing ved utgangen av barneskolen. Hvordan arbeidet med resultatene rammes inn og hvilke konsekvenser som settes i system, vil blant annet henge sammen med hvorvidt bruken av elevresultatene oppfattes som kontroll eller som muligheter for læring. Avhengig av rammene som er satt for rutinene, vil disse sannsynligvis også vokse og fornye seg innenfra, og det er derfor interessant å kunne undersøke slike rutiner over tid for å se hvordan dette skjer.

En balansert bruk av ulike typer elevresultater, samt ledere – og lærere – som rammer inn arbeidet innenfor en bredere faglig-pedagogisk ramme, vil være viktig for en produktiv og helhetlig bruk av tilgjengelige elevresultater, som for eksempel fra nasjonale prøver. For å få til dette må kvalitetsindikatorer så vel som systemer for oppfølging oppfattes som relevant av lærere og skoleledere.

Til nå viser forskning at dette byr på utfordringer, siden det eksisterer til dels svært ulike oppfatninger om resultatenes rolle i kvalitetsutviklingen i skolen. Vi vet imidlertid for lite både om bruk av lokale kvalitetsindikatorer, interaksjoner mellom sentrale aktører i oppfølgingen av resultater og bruk av nye rutiner. I det nyoppstartede forskningsprosjektet PraDa (se faktaboks) er dette nettopp i fokus, og her tar vi i bruk både kvantitative og kvalitative tilnærminger for å få kunnskap om slike endringer.