Kommunene tolker og bruker prøveresultater i skolen ulikt

I Norge tar alle elever på femte, åttende og niende trinn nasjonale prøver. Da testes elevenes grunnleggende ferdigheter i lesing, regning og engelsk. Prøveresultatene legges ut offentlig på Skoleporten til Utdanningsdirektoratet.

Krever mye ressurser

Et viktig mål med prøvene er at de skal kunne brukes i skolenes utviklingsarbeid for å gjøre elevene, lærerne og skolene bedre. Samtidig har de en kontrollfunksjon som ofte blir underkommunisert av politikere og forskere.

- Vi ser en forståelse i kommunene for at dataene må håndteres med varsomhet. At det analytiske arbeidet tas på alvor og arbeides med, fremfor å gjøre raske konklusjoner og etablere sterke kontrollsystemer nedover. Vi ser sjelden lemfeldig bruk av data, men vi ser at dette er data som krever høy kompetanse og et sterkt fagmiljø for å gjøre gode analyser.

- Store kommuner har mer kapasitet til å gjøre dette arbeidet og ser ut til å være bedre rustet til å håndtere disse dataene enn mindre kommuner. I tillegg til forskjeller mellom kommuner, ser vi også forskjeller internt i kommuner. Det er ikke minst forskjeller mellom hvordan rektorer og lærere bruke elevresultatene på skolene, og det lederne deres i skole og oppvekstavdelingene gjør, sier Tine S. Prøitz.

Hun sier rektorer og lærere ofte vil se elevresultater i sammenheng med andre informasjonskilder om elevene.

Oppsummerer funn i bok

Sammen med Sølvi Mausethagen ved OsloMet og Guri Skedsmo ved Universitetet i Oslo har hun i flere år forsket på bruk av elevresultater i norske kommuner og skoler. Nylig gav de ut boken Elevresultater mellom kontroll og utvikling om funnene fra sitt fireårige forskningsprosjekt. Prøitz har særlig sett på kommunenes bruk av elevresultater, og hvordan kommuneledelser tar i bruk elevresultater i dialog med rektorer og lærere. 

Forskningen er basert på intervjuer og observasjoner i kommuner og skoler. Dette er supplert med en spørreundersøkelse blant annet rettet til skolefaglig ansvarlig i norske kommuner. I prosjektet har forskerne studert og kartlagt bruk av ulike typer prøver og data.

I boken skriver forskerne:

"Til tross for at det kommunale nivået anses for å ha stor betydning for endringsarbeid på skolene, har forskere likevel ofte oversett det kommunale nivået når de har studert utdanningsreformer. Det finnes også få europeiske og norske studier på bruk av elevresultater på kommunenivået. Med introduksjonen av nasjonale prøver i 2004 (og igjen i fornyet versjon i 2007), et nasjonalt kvalitetsvurderingssystem i 2005 og Kunnskapsløftet i 2006 fulgte en sterkere resultatstyring av den norske skolen med fokus på læringsutbytte. Norske kommuner fikk et større ansvar for elevenes læringsutbytte og skulle fra nå av blant annet ta initiativ til og å følge opp skolers utvikling (Aasen mfl ., 2012). Siden 2006 har alle norske kommuner vært pålagt å utvikle planer og etablere lokale systemer for kvalitets vurdering."

Finnes ingen veiledning

Til tross for de økte kravene til kommunene, kan forskerne slå fast at det ikke finnes noen nasjonal veiledning for hvordan kommunene skal bruke elevresultatene, utover som tall rapportert i tilsynsrapporter og årsmeldinger. Samtidig er dataene åpent tilgjengelig på nett, og brukes aktivt blant annet av media og i politisk debatt.

- Dermed havner kommunene i en situasjon hvor det skapes en offentlig fortelling om standarden på skolene deres, samtidig som de sitter på mange ulike typer data og informasjon. Disse gir ofte et mer komplisert og mer nyansert bilde, dersom de har kapasiteten til å gå inn i det. Spørsmålet blir hvordan kommunen makter å ta i bruk data og informasjon i sine fortolkninger av situasjonen i skolen. Denne variasjonen gir veldig ulike fortellinger om skolen og gir ulike forutsetninger for den lokale skoleutviklingen, sier Prøitz.

Hun viser til at det kan være stor avstand mellom det forenklede bildet Skoleporten kan gi om kommunens og skolers situasjon, og den fortellingen som kommuner og rektorer kan få ved å analysere tallene mer inngående.

- Mediefortellingen utfordrer hele tiden det nøkterne, solide arbeidet med disse dataene. At mediene rangerer skoler, hjelper i liten grad kommuner og skoleledere med å bruke disse dataene på en god måte. Samtidig fokuserer også utdanningssystemet vårt på de målbare størrelsene, uten at det nødvendigvis finnes ressurser til å ta tak i problemer identifisert med dataene. Resultatene fra elevmålinger kan dermed bli oppfattet som et problem for kommunene, snarere enn et verktøy til forbedring. Mangel på ressurser til å håndtere dataene, kan gjøre dette ekstra utfordrende for noen kommuner.

- Er de store kommunene bedre til å bruke resultatene?

- De har i hvert fall bedre tilgang på ressurser. De har ofte bedre økonomi og personale som kan jobbe med dette. I mindre kommuner kan hele oppvekstavdelingen bestå av en til to stillinger. Nasjonale prøver og andre elevmålinger innebærer universelle forventinger om avansert fortolkning og bruk av resultater til en kommunesektor som slett ikke er universell, men mangfoldig. Forventingen om at disse dataene håndteres, er jo lik for alle, sier Prøitz.

Tallene blir et utstillingsvindu

Hun henviser til tidligere forskning. Den viser at jo sterkere fokuset er på kontroll og presset er mot stadig forbedrede resultater, jo større er faren for at man velger ut de tallene som ser best ut. Prøitz, Mausethagen og Skedsmo jobber nå med analyser av hvordan kommunene bruker tallene for å presentere seg.

- Tallene blir raskt et vindu utad, men vi vet at tall kan manipuleres. Det er overraskende at det ikke er forsket mer på dette, siden suksessen til blant annet nasjonale prøver er avhengig av hvordan kommunene følger dem opp, sier Tine S. Prøitz.

- Hvilken lærdom kan skolemyndighetene trekke av funnene deres?

- Vi viser at det ikke finnes noen felles mal eller standard for fortolkning av nasjonale elevresultater, og de tolkes forskjellig i kommunene. Det er ikke slik at alt løser seg, bare du har dataene. Data er ikke nøytral informasjon om situasjonen i skolene i kommunen, men må behandles, analyseres og fortolkes i sammenheng med annen informasjon for å kunne tas i bruk. Dersom vi kun konkluderer basert på enkelttall, finner vi også ofte frem til enkle løsninger. Det kan innebære en orientering av skoleutvikling mot det kortsiktige og målbare, fremfor mer langsiktige og vidtgående satsinger. Dette er en utfordring særlig i spenningsfeltet mellom skolefaglig ansvarlige og politikerne i kommunene, og medienes forenklinger av elevresultater i rangeringer, sier Tine S. Prøitz.