Bruken av nasjonale prøver en evaluering

Evalueringen av de nasjonale prøvene er en del av en større evaluering av det nasjonale kvalitets vurderingssystemet (NKVS) for grunnopplæringen, som er gjennomført av Agderforskning og Danmarks Pædagogiske Universitetsskole (DPU) ved Aarhus Universitet. DPU har hatt hovedansvaret for evalueringen i grunnskolen. Prosjektet er iverksatt og finansiert av Utdanningsdirektoratet. Evalueringen bygger på data fra kommuner, rektorer, lærere, elever og foreldre innsamlet ved intervju i 2006 og 2009.

Ut over dette bygges det på data fra landsdekkende spørreskjemaundersøkelser som omfatter kommuner, rektorer og lærere fra den samme perioden. I det følgende refererer jeg kun til resultatene fra de kommunale grunnskolene, primært fra 2009 (det vil si resultater fra prøver som ble gjennomført i 2008). I spørreskjemaundersøkelsene i 2006 og 2009 deltok henholdsvis 254 og 299 kommuner; 431 og 638 rektorer (skoler); samt 2459 og 2034 lærere. Intervjuene foregikk i tre kommuner som representerte forskjellige kommunestørrelser i to utvalgte fylker. Rundt 60 personer ble intervjuet i 25 intervju, idet mange av intervjuene foregikk som gruppeintervju.

Ettersom det har vært vanskelig å få de svarprosentene vi ønsket, har det vært gjennomført omfattende statistiske analyser, hvor det er foretatt sammenligninger mellom de dokumenterte fordelingene ut fra tilgjengelig statistikk og fordelingene i de innsamlede data, for en rekke bakgrunnsforhold. Det er foretatt sammenligninger som går på geografi, kjønn, alder, skolestørrelse og skoletype (barneskole, ungdomsskole eller kombinert skole). Disse analysene viser at det ikke er større forskjeller mellom de innsamlede svarene og allerede dokumenterte data. Det er videre foretatt analyser av dataenes validitet og reliabilitet.

En samlet vurdering av de foretatte analysene viser at datamaterialet til tross for beskjedne svarprosenter må anses som anvendelig, særlig når det gjelder 2009, mens det er en liten underrepresentasjon av små skoler i materialet fra 2006. Som nevnt bygger de følgende resultatene primært på data fra 2009. Både muntlige og skriftlige kommentarer fra skolene tyder på at man på mange skoler har nådd et «metningspunkt» når det gjelder det å delta i undersøkelser. Stort sett alle tilbakemeldingene fra skolene som ikke ønsket å delta i undersøkelsene, dreier seg om at skolen er belastet med andre undersøkelser eller annet arbeid, slik at man ikke har kapasitet til å delta.

Bred støtte til nasjonale prøver

De nasjonale prøvene er obligatoriske og gjennomføres på 5. og 8. trinn i lesing på norsk, regning og lesing på engelsk. Formålet med de nasjonale prøvene kan sammenfattes med at de skal:

• kartlegge i hvilken grad elevene har nådd læreplanens mål
• gi informasjon som grunnlag for forbedrings- og utviklingsarbeid
• gi informasjon som kan brukes i arbeidet med å forbedre kvaliteten i opplæringen

Overordnet er det lagt opp til at de nasjonale prøvene skal kunne brukes både til styring på nasjonalt nivå, til styring av kommuner og skoler – og som et pedagogisk-diagnostisk verktøy til å forbedre undervisningen i den enkelte klasse.

Både kommuner, rektorer og lærere støtter målene som her er nevnt. Dette viser seg for eksempel ved at 80–90 prosent av kommunene og omtrent like mange rektorer er enige i at de nasjonale prøvene bør kunne brukes til å forbedre undervisningen, fremme tilpasset opplæring, øke lærernes oppmerksomhet på faglige problemstillinger og som grunnlag for tilbakemeldinger til foreldrene om elevenes faglige utvikling. Omkring 70 prosent av lærerne deler denne oppfatningen.

Uenighet om hvordan prøvene faktisk brukes

Den brede støtten til formålet med de nasjonale prøvene finner man bare til en viss grad igjen i vurderingen av hvordan prøvene faktisk brukes. Vurderingene avhenger derimot av hvor sentralt man er plassert i systemet. 70 prosent av kommunene, 49 prosent av rektorene og 29 prosent av lærerne vurderer således de nasjonale prøvene til å ha stor betydning for en positiv utvikling på skolen (kommunens skoler). Ytterst få kommuner og rektorer, og 17 prosent av lærerne, tillegger prøvene liten eller ingen betydning for en positiv utvikling.

Disse og mange andre resultater viser at vurderingen av de nasjonale prøvene (og av bruken av NKVS overhodet) avhenger av hvor sentralt man er plassert i systemet. Den generelle tendens er at kommunene er mer positive enn rektorene, som igjen er mer positive enn lærerne. I mange tilfeller er det tale om ganske markante forskjeller, ikke minst mellom lærerne på den ene siden og kommuner og rektorer på den andre.

Den pedagogisk-diagnostiske bruken er liten

Resultatene fra de nasjonale prøvene brukes i høy grad som en «pekepinn», det vil si til å finne ut om man er på rett vei, samt finne frem til de faglig svakeste elevene. Man ser med andre ord om det går i riktig retning, om man avviker påfallende fra andre skoler, og om det er områder som krever en særlig innsats. Resultatene brukes primært som grunnlag for screening og som styringsdata for skoleetaten og rektorer og kun i begrenset omfang overfor den enkelte elev. Man ser hvilke elever som plasserer seg på det laveste, eller på de to laveste mestringsnivåene hvis det dreier seg om 8. trinn, der det er fem nivåer. Disse elevene blir så utredet nærmere, for eksempel gjennom andre prøver i regi av for eksempel PP-tjenesten.

Evalueringen viser at tilbakemeldingene til skolene der den enkelte elevens prestasjoner er angitt med ett av tre eller fem mestringsnivåer, ikke oppleves som tilstrekkelig av lærerne, og har medvirket til at resultatene fra de nasjonale prøvene kun i begrenset omfang brukes overfor den enkelte elev. Det viser seg for eksempel at kun mellom ca. en fjerdedel og ca. en tredjedel av de lærerne som hadde elever som har gjennomført nasjonale prøver, var enige i at tilbakemeldingene:

• ga ny informasjon om elevenes kompetanse
• viste på områder i undervisningen der det var behov for forbedringer
• var til god hjelp når det gjaldt å støtte den enkelte elev

Noen lærere etterlyser i den forbindelse fra sentralt hold et minimum av tilbakemeldinger om den enkelte elevens profil definert ut fra faglige delområder, og at de fra sentralt hold kan motta feiltypeanalyser over de hyppigst forekommende feiltyper i de enkelte prøvene.

Den begrensede pedagogisk-diagnostiske bruken av resultatene fra de nasjonale prøvene overfor de enkelte elevene står i motsetning til den ovenfor omtalte store og brede støtten til at disse prøvene blant annet bør kunne brukes som grunnlag for å fremme tilpasset opplæring.

Prøvene er styrende for undervisningen

Evalueringen viser tydelig at bare tilstedeværelsen av de nasjonale prøvene i seg selv fører til at det blir lagt større vekt på det som prøvene måler. Denne såkalte wash-back-effekten kan blant annet sees i at 50 prosent av kommunene, 45 prosent av rektorene og 25–30 prosent av lærerne som hadde elever som hadde gjennomført prøvene, svarer at bevisstheten om de nasjonale prøvene har ført til at man i undervisningen legger større vekt på det som blir målt. Et tilsvarende antall har svart at offentliggjøringen av resultatene fra de nasjonale prøvene har bidratt til at undervisningen fokuserer på det som måles. Når det gjelder elevene selv, er denne effekten ikke så fremtredende. Det kommer tydeligst til uttrykk ved at mange elever ikke har noen klar erindring om de nasjonale prøvene, og noen har også vanskelig for å skille dem fra andre prøver som de har deltatt i.

Internasjonale undersøkelser viser at bare det at pedagogiske tester eksisterer, i seg selv kan føre til wash-back-effekter.

Skolekulturen har betydning

I undersøkelsene i både 2006 og 2009 inngår det en rekke spørsmål om skolekulturen på den enkelte skole. Ut fra svarene på disse spørsmålene har det vært mulig å dele skolene etter hvor «samarbeidsorientert» og hvor «individuelt orientert» kulturen på den enkelte skole er. De samarbeidsorienterte skolene er definert ut fra at det på disse skolene er et mer omfattende samarbeid mellom lærerne innbyrdes og mellom lærerne og skolens ledelse enn tilfellet er på de individuelt orienterte skolene.

Tilsvarende er det på de samarbeidsorienterte skolene større enighet blant lærerne og mellom lærerne og skolens ledelse om i hvilken retning skolen skal utvikles. I sammenligningene er skolene oppdelt i tre grupper: 1) de skolene der kulturen var mest samarbeidsorientert, 2) de skolene der kulturen var mest individuelt orientert og 3) de som plasserte seg midt imellom. De følgende sammenligninger dreier seg om de to yttergruppene.

Det er påvist tydelige og systematiske forskjeller mellom disse to gruppene på en lang rekke områder, både når det gjelder bruken av de nasjonale prøvene og resultater fra evaluering i det hele tatt. Forskjellene går i retning av at man på de samarbeidsorienterte skolene har en mer positiv vurdering av bruken av resultatene enn man har på de individuelt orienterte skolene. Det viser seg for eksempel at 74 prosent av rektorene ved de samarbeidsorienterte skolene, og kun 55 prosent av rektorene ved de individuelt orienterte skolene, har svart at man på skolen i høy grad har fulgt systematisk opp resultatene fra de nasjonale prøvene i lesing på 5. trinn. Tilsvarende er 83 prosent av rektorene ved de samarbeidsorienterte skolene og 68 prosent av rektorene ved de individuelt orienterte skolene enige i at de nasjonale prøvene bør kunne brukes til å fremme tilpasset opplæring. Ved et mer generelt spørsmål om det er fastlagt rutiner for evaluering av den enkelte skoles kvalitet, er de tilsvarende andelene henholdsvis 74 og 62 prosent.

Disse resultatene dreier seg om rektorenes vurderinger. Det er imidlertid funnet tilsvarende forskjeller hos lærerne, selv om antallet utvalgte lærere fra hver skole er så få at man ikke kan regne dem som representative for skolen. Resultatene viser for øvrig en generell tendens til at skolekulturen i norske skoler har endret seg fra 2006 til 2009 i retning av en mer samarbeidsorientert skolekultur.

Støtte fra kommunen har betydning

Man har også analysert i hvilken grad kommunene har støttet de enkelte skolene når det gjelder å få mest mulig ut av resultatene fra de nasjonale prøvene og fra evaluering generelt. Disse analysene viser svært store forskjeller i rektorenes vurderinger om kommunen har vært en god støtte. 39 prosent av rektorene var enige, 19 prosent var uenige, mens de øvrige plasserte seg mellom disse ytterpunktene. Tilsvarende viste det seg at bare rundt en tredel av både kommuner og rektorer var enige i at kommunen hadde den nødvendige kapasiteten til å kunne yte relevant støtte, mens ca. en fjerdedel var uenige i dette. Det ser med andre ord ut til at det mange steder er behov for økt kapasitet til å yte støtte til enkeltskoler fra kommunens side, slik både kommunene selv og rektorene vurderer det.

Dette kan sees i relasjon til at det på en rekke områder er tydelige og systematiske sammenhenger mellom omfanget av støtten fra kommunen og skolenes bruk av resultatene fra de nasjonale prøvene og fra evaluering i det hele tatt. Det viser seg for eksempel at 80 prosent av rektorene fra skoler hvor man er enig i at kommunen har vært en god støtte, har svart at man i høy grad følger systematisk opp resultatene fra de nasjonale prøvene i lesing på norsk på 5. trinn, mens kun 58 prosent av rektorene på de skolene hvor man var uenige i at kommunen har vært en god støtte, har svart det samme. De tilsvarende resultatene for om skolen har kunnet bruke de nasjonale prøvene til å forbedre undervisningen, var på henholdsvis 61 og 37 prosent.

Det er foretatt tilsvarende sammenligninger av lærernes svar på de samme spørsmålene. Også her er sammenligningene foretatt ut fra hvor enig eller uenig rektor ved skolen er i at skolen har fått god støtte fra kommunen. En slik analyse av lærernes svar viser ikke tilsvarende forskjeller i synet på bruken av de nasjonale prøvene som vi ser hos rektorene. En årsak til dette kan være at rektorene via støtten fra kommunen har fått et godt overblikk over hvordan de styringsmessig kan bruke resultatene, men at lærerne ikke har merket denne støtten når de skulle bruke resultatene i undervisningen. Denne tolkningen underbygges av resultatene fra intervjuundersøkelsene, der det tydelig kommer frem at mange lærere gjerne ville hatt mer støtte til bruk av resultatene fra de nasjonale prøvene i undervisningen, for eksempel i form av mer differensierte tilbakemeldinger.

Perspektiver

Evalueringen viser i hvilken grad de nasjonale prøvene samtidig har fungert som:

• formative prøver med mulighet for at resultatene kan brukes som støtte overfor de enkelte elevene og som hjelp i bestrebelsene for tilpasset opplæring, og
• prøver hvor resultatene kan brukes med henblikk på styring og kontroll.

I denne sammenhengen er det verd å merke seg de store og systematiske forskjellene, som at kommunene gjennomgående vurderer bruken av de nasjonale prøvene mer positivt enn rektorene, som igjen vurderer bruken mer positivt enn lærerne. Resultatene tyder på en viss større tilfredshet med den styringsmessige og kontrollerende bruken av de nasjonale prøvene enn med den formative bruken.

Avslutningsvis kan det bemerkes at resultatene tydelig viser at positive virkninger av evaluering ikke alene forutsetter gode evalueringsredskaper og -metoder, men i høy grad at både skoler og kommuner må ha en beredskap som gjør at man profesjonelt kan forholde seg til resultatene og er i stand til å bruke dem formålsrettet.

Dette understrekes blant annet av de omtalte resultatene om skolekulturens betydning og betydningen av støtte fra kommunen. I den forbindelse bør også nevnes de meget positive erfaringene med individuelle utviklingssamtaler med elevene og andre former for dialog mellom lærer og elev, som peker på dialogenes muligheter i forbindelse med evaluering og utvikling.

Artikkelen er oversatt av Tore Brøyn.