PISA og den bakvendte visa

PISA, The Programme for Student Assessment, er et program for testing av elevprestasjoner. PISA handler først og fremst om distribusjonen av literacy eller hva vi kan kalle læringskapasiteten til en gruppe av ungdomskullet vårt. Disse ungdommene, i en alder på 15 år, er på veien i et utdanningsløp, men undersøkelsen sier lite om selve løpet, og mest om det ungdommene kan og oppfatter på noen utvalgte områder. Dette resultatfokuset er det viktig å være klar over når funn fra PISA­undersøkelsen skal formidles og fortolkes.

Kan vi trekke konklusjoner fra disse målingene om norsk skoles kvaliteter? Kan vi enkelt og greit oversette det engelske begrepet education med det vi på norsk forstår som skole- og utdanningssystem? Gir PISA­resultatene kunnskap om undervisningen i norsk skole er vellykket eller ikke? Det er god grunn til å diskutere disse spørsmålene når vi ser tilbake på den ukritiske oppmerksomheten som undersøkelsene har fått i norske medier.

Debatten har gang på gang forutsatt at education betyr det samme som skole og at PISA gir en dom over kvaliteten på utdanning, og dette til tross for at forklaringene først og fremst viser til faktorer som elevenes kjønn og hjemmebakgrunn. Bortsett fra elevoppfatninger på noen utvalgte områder, og en spørreundersøkelse til skoleledere, er det lite ved undersøkelsen som forklarer sammenhengen mellom skoletilbud og resultater.

Det er altså grunn til å spørre om man kan forutsette at PISA måler kvaliteten på norsk utdanning og hvordan undersøkelsen kan brukes i en bakenfrastyring av skolen. En slik bakfra styring innebærer at programmet angir hva norsk skole bør oppnå på sikt (Bachmann & Sivesind 2009). Dette er et viktig spørsmål å stille all den tid ansvaret for resultatoppnåelsen i PISA rettes mot ledere og lærere i utdanningssystemet. La meg først gjøre kort rede for hvordan literacy framgår i rammeverkene for PISA og deretter drøfte hvorvidt PISA kan danne et grunnlag for utviklingen av skole og læreplan.

Literacy framfor knowledge

PISA er en undersøkelse som har til hensikt å måle andre sider ved utdanning enn skolefaglig innhold slik det beskrives i lærebøker eller læreplaner for fag. Ifølge Ulf P. Lundgren, som var med i oppstarten av prosjektet, var poenget med PISA å utvikle internasjonale undersøkelser som skulle unngå å favorisere bestemte lands skolesystemer eller læreplaner. Undersøkelsene skulle være fag- og læreplannøytrale og fokusere på områder som kan testes over tid (Lundgren 2010, s. 50). Ideen var å måle sider ved landenes kultur- og utdanningspolitikk i vid forstand. Det var heller ikke meningen å konstruere en internasjonal læreplan som landene skulle måles etter. Å måle en læreplan som ikke finnes, er blant annet TIMSS (Trends in International Mathematics and Science Study) kritisert for.

Det primære siktemålet med PISA er å teste hva elever, uavhengig av skoletilbud, mestrer på bestemte områder. Derfor unngår rammeverket å bruke «subject content» eller skolefaglig innhold i sitt hovedfokus på hva som testes. I stedet anvendes begrepet «literacy» relatert til elevenes kunnskaper, holdninger og ferdigheter, forstått som kompetanse i anvendt og observerbar forstand. En slik kompetanse skal bidra til at den enkelte når sine mål, utvikler sin kunnskap og potensialer og settes i stand til å delta effektivt i det framtidige samfunnet eller livet (Kulbrandstad 2010; OECD 2001, s 21). Å gjøre de unge i stand til «full» deltakelse i samfunnet er en sentral ambisjon i PISAs rammeverk (OECD 2003, 2006, 2009).

Ifølge foreløpige undersøkelser som jeg har gjort i forbindelse med et forskningsprosjekt ved ILS, synes valg av begrepet literacy framfor subject content å være en suksessfaktor for undersøkelsens utbredelse (Sivesind 2010). I mange land står de statlige myndighetene overfor store utfordringer i styringen av skolesystemet. Problemer handler om rekruttering og kvalifisering av lærere, håndtering av kulturmangfoldet i skolen, og ikke minst en økende andel av barn og unge som trenger spesialundervisning (European Commission DG EAC 2006). Noen anser læreplaner med et felles kulturinnhold for å være en side ved problemet. I et ønske om å sikre fleksibilitet, pluralitet og verdimangfold, søkes det etter nye måter å ramme inn skole og utdanning på.

Begrepet literacy er et forsøk på å imøtekomme noen av problemene. I enkelte land oppfattes læreplaner å forsterke nasjonale og lokale kulturer som både kommunalpolitikere, skoleledere og lærere har et eierforhold til. Det antas at læreplaner etablerer kulturforståelser som vanskeliggjør tilpasningen til internasjonale mål og standarder. I dag uttaler også utdanningspolitikere i Norge at det ikke skal settes i gang nye reformer for skolen.

Den økende reformvegringen kan like mye skyldes mistro til reformenes virkninger, som at lærere i skolen har gått lei av endringer. Forskningen tyder jo på det motsatte, at reformer ikke leder til store endringer, men først og fremst strukturerer utdanning ved å sette noen sentrale temaer og begreper på dagsorden (Afsar et al. 2006a; Bachmann 2005). Literacy og kompetanse er slike begreper.

Med PISA og lignende undersøkelser får statlige myndigheter et nytt språk å styre med (Lundahl & Waldow 2009). Disse begrepene gjennomsyrer ikke bare utdanningspolitikken og forvaltningen, men også forskningen. I og med at literacy er programerklært til å tone ned innhold og skolestoff, kan PISA brukes som et standardiserende verktøy uavhengig av hva som er skrevet i lærebøker og læreplaner. PISA kan anvendes som et standardiserende mål på hva skolesystemer skal forberede til, utenfor skolens grenser, på tvers av nasjonale og lokale kulturer.

Young og Yates (2010) omtaler de nye målingstermene som generiske, som vil si at begreper som testes i PISA, blir abstrakte og universelle i karakter. Termene kan brukes i ulike sammenhenger og oppfattes som relevante på ulike nivåer. De er anvendelige i ulike kontekster og kan ifølge rammeverket inngå i personlige, lokale, nasjonale og globale sammenhenger (OECD 2009). Literacy viser til problemer i hverdagen så vel som i vitenskapen og det profesjonelle liv.

Den generiske bruken av begreper gjelder ikke bare literacy, men også education og learning. Anvendes education som et generisk begrep, er det altså ikke ensbetydende med det vi forstår som et lands skole- eller utdanningssystem, eller hvilken undervisning elevene tar del i, men hva en utvalgt del av befolkningen mestrer på bestemte områder, uavhengig av hvor de har lært det.

Begreper som unngår å gripe inn i skolens indre anliggender og som verken defineres av undervisningskulturer eller lærebøker, egner seg til markedsføring og utbredelse. Derfor kan PISA gi mening på tvers av landegrenser så vel som faggrenser. Prosjektet forener forskere fra ulike vitenskapsdisipliner (bl.a. sosiologer, fagdidaktikere, psykologer) og er en målestokk som flere internasjonale organisasjoner anvender i sine analyser (Elstad & Sivesind 2010).

Som kronen på verket kan bruken av begrepet literacy forene politikk med forskning. Politikken gis legitimitet ved at tiltak baseres på vitenskapelig grunn, mens forskningen utbres og anvendes til nytte både for samfunnet og den enkelte borger. Det er høyst vanskelig å argumentere mot en slik synergieffekt. Likevel kan man stille spørsmålet: Om ikke literacy berører den kulturelle dimensjonen ved skolen, knyttet til undervisning og skolefag, hva betyr da resultatene?

Resultatene i stor og liten målestokk

I PISA og lignende undersøkelser blir tradisjonelle måleinstrumenter, statistikk og analysemodeller anvendt for å beskrive og sammenligne elevenes prestasjoner i ulike land. I tillegg forsøker forskerne å se sammenhenger i resultatene og antyde noen forklaringer i lys av annen forskning. PISA­undersøkelsen bygger på tester som gis til et tilfeldig utvalg av elever. Bortsett fra lesetesten i 2009 bruker elevene blyant og papir når de løser oppgaver og svarer på spørreskjemaet. Prøven tar i overkant av 2 timer og ligger til grunn for resultater som rapporteres et år senere. Ifølge Hopfenbeck (2010) og Eklöf (2010) er elevenes motivasjon for å ta testen en viktig faktor for reliabiliteten ved undersøkelsene. Reliabilitet i denne sammenheng betyr at de resultatene forskerne kommer fram til, ikke skyldes tilfeldigheter. Så langt er det verken bevist eller motbevist at elevenes motivasjon utgjør en kritisk faktor for testkvaliteten.

Når det dreier seg om å karakterisere store populasjoner som alle 15-­åringer i Norge, eller elevbefolkninger på verdensbasis, opererer forskerne med aggregerte funn. Prinsippet er enkelt; samfunnet er summen av dens deler – i det norske tilfellet av 4700 tilfeldig utplukkede elever. Dette utvalget representerer 15-­åringene i Norge. På skolenivå vil svarene fra ca. 30 elever eller mindre, alt avhengig av størrelsen på skolen, danne grunnlag for å måle prestasjoner og oppfatninger på skolenivå (Kjærnsli et al. 2007, s 276). Både nasjonalt og skolevis betyr aggregering at man legger sammen hva den enkelte presterer på en prøve eller svarer på et spørreskjema. Dette er et veldig enkelt prinsipp, men lar seg vanskelig erstatte, selv med avansert metodologi. Aggregeringsmodeller er ofte benyttet innenfor samfunnsøkonomi og sosiologi når man skal avdekke strukturelle faktorer som ikke kan forstås eller forklares på annet vis.

Ofte er resultatene en konsekvens av forhold som verken er planlagt eller ønsket. Om det i hele tatt er mulig å forklare aggregerte resultater, viser de gjerne til samfunnsstrukturer som myndighetene har et ansvar for, men som det er vanskelig å gjøre noe med. Dette er politikernes problem.

Dersom PISA avdekker svake resultater som ikke svarer til forventningene, vil dette i utgangspunktet bety at en enkelt leder eller lærer ikke kan løse problemet alene. Det er altså ikke en tilfeldighet at kjønn og foreldrenes kulturelle kapital framstår som viktige forklaringsfaktorer i PISA. På mange måter avspeiler disse faktorene målingenes karakter.

Med disse modellene som utgangspunkt er det viktig å være klar over at man ikke kan trekke direkte slutninger fra resultater i PISA til hva som er gyldig for en enkelt elev i den praktiske skolehverdagen. Dette et er grunnleggende prinsipp som studenter lærer på metodekurs ved universiteter og høyskoler. Det er med andre ord ikke mulig å foreskrive hvordan lærere skal tilrettelegge undervisning ut fra de aggregerte resultatene som PISA kommer fram til. Derfor må PISA­rapportene bygge på andre undersøkelser, for å utvikle kunnskap om pedagogisk praksis i skolen.

I boken «Pisa – sannheten om skolen?» har Eggen (2010) og Bachmann, Haug og Myklebust (2010) drøftet klasseromsnære problemer. Kvalitative studier er viktige for å forstå hvordan lærere tilrettelegger undervisning og læring i klasserommet. Et viktig spørsmål er hvordan den praksisnære forskningen forholder seg til PISA.

Selv om resultatene fra PISA ikke kan brukes didaktisk, er det nærliggende å tro at PISA­designet influerer på pedagogisk forskning og teoriutvikling. I undersøkelsen blir elevene spurt om en rekke læringsprinsipper som forskere antar gir gode resultater. Man kan for eksempel hevde at en bestemt type læringsstrategi bidrar til å lære det PISA tester, og at større innsats for å forbedre den enkeltes læring vil bidra til å forbedre resultater i neste undersøkelse. Materiellet danner i seg selv et utgangspunkt for å utvikle ideer og prinsipper om den gode skole.

I den grad PISA ligger til grunn for pedagogisk og fagdidaktisk teoriutvikling, blir den også toneangivende for utdanningsforskningen. Det gjelder særlig den forskningen som peker på muligheter for å påvirke elevenes læring. Forskere som er kritiske til strukturelle forklaringer, hevder at det er enklere å påvirke ledere, lærere og elever enkeltvis enn en populasjon på mange tusen elever (Hanushek 2003). Dette danner et pedagogisk rasjonale for den pedagogiske bruken av testkonseptet. Om lærere utsettes for påvirkning til å endre sin undervisning, som igjen påvirker elevenes læring, så kan en i det minste håpe på forbedringer av læringsutbytte, og om mange nok lar seg påvirke, vil myndighetene kunne håpe på forbedringer over noen år.

Ideen baseres på det kausale prinsippet: klarere læringsmål for individet gir bedre resultater. Målstyringsideen, som ikke minst gjennomsyrer økonomiske modeller for utdanning, er altså normativ i sin art. Den forutsetter at hver og en jobber for en felles visjon, som et felles sett av verdier og målsettinger. For å endre kvalitetsstrukturene satses det på prosjekter og tiltak som forutsetter at det enkelte undersøkelsesobjekt og dets omgivelser forandrer seg til det bedre. Å endre bevissthetsstrukturene blir like viktig som å trene ferdigheter, som igjen er avhengig av den enkeltes utholdenhet, målbevissthet og evne til selvregulert læring.

Dermed legitimeres differensiering og individualisering slik Kunnskapsløftet legger opp til. Denne individualiseringen gjenspeiles også i forskningen, både nasjonalt og internasjonalt (Rosenmund 2006). Individualisert opplæring blir en følge av testenes rasjonale selv om forskning kan tyde på at fellesundervisning er vel så effektiv, noe også den norske PISA­rapporten fra 2007 peker på (Kjærnsli et al. 2007, s. 259) Her står vi ved ett av de store paradokser i den pedagogiske anvendelsen av PISA.

På denne måten bidrar selve undersøkelsesdesignet og forskningen som følger av dette designet, til å re­spesifisere pedagogikkens formål – hvordan skape effektiv læring for den enkelte elev. Argumentasjonen er forførende, og det er vanskelig å være uenig i formålet om å forbedre undervisningen for den enkelte elev. Ideen om den store skoledugnaden, at flest mulig skal utvikle et samstemt språk for å løfte elevene i et felles kunnskapsløft, er heller ikke å forakte. Det er selvfølgelig en moralsk plikt å sørge for at de særlig de svakeste får hjelp til å lære.

Likevel er det oppsiktsvekkende at formålet for norsk skole dekker en hel rekke andre aspekter som knapt nevnes i rammeverket for undersøkelsen. Aktuelle temaer er å «gi elevane og lærlingane historisk og kulturell innsikt og forankring», eller å «utvide kjennskapen til og forståinga av den nasjonale kulturarven og vår felles internasjonale kulturtradisjon» (Lov om grunnskolen og den vidaregåande opplæringa (opplæringslova) § 1­1).

Riktignok vil PISA-­undersøkelsen rette oppmerksomhet mot elevenes dugleik og holdningsaspekter knyttet til for eksempel miljøbevissthet, men alt i alt er tanken at literacy skal måle noe kulturuavhengig og læreplannøytralt. Derfor vil ikke en undersøkelse som PISA være dekkende for skolens læreplan. Så er vel heller ikke testene ment å dekke alle sider ved utdanning, noe det er viktig å merke seg i debatten om svake resultater.

PISA – en ny læreplan?

Et interessant spørsmål er om PISAs rammeverk og testsystem har en tilbakeføringsverdi til skolens lærebøker og læreplaner. Tilbyr rammeverket begreper som er egnet til å strukturere nasjonale og lokale læreplaner og som bidrar til å organisere den kunnskapen elevene møter gjennom sin skolegang?

I rammeverket for PISA er problemløsing og det å mestre ulike typer problemsituasjoner, en hovedsak. Om elever mestrer problemer på originale måter uten forhåndsbestemte oppskrifter eller faglig hjelp, viser eleven stor mestringskapasitet. Refleksjon er altså et godord og framstår som det høyeste nivået på mestring i både regning og i lesing. I motsatt tilfelle vil reproduksjon av kunnskap etter bestemte prosedyrer vurderes som en svakere prestasjon. I en mellomposisjon finner vi den analytiske kompetansen og evnen til å trekke slutninger og se sammenhenger.

Ser vi på læreplanreformer i Norge, synes PISA å være en inspirasjonskilde for blant annet Kunnskapsløftets læreplaner, først og fremst med tanke på å utvikle standarder eller nivåbeskrivelser for hva elevene kan mestre på ulike trinn. I læreplaner for fag er kompetansebegrepet helt sentralt. Ser vi på matematikkfaget, er begreper for kunnskapsnivåer inkorporert på alle trinn i utdanningsløpet, som for eksempel at elevene skal «beskrive og gjennomføre», «analysere egenskaper», eller «utforske og beskrive strukturer og forandringer» (UFD 2005, s. 62).

Mens nasjonale prøver er mer tilpasset PISAs prøve- og rammeverk (Skedsmo 2009), er enkelte eksamensoppgaver mer i tråd med tidligere eksamener og læreplaner (Jone 2010). Det synes også som om læreplaner i matematikk er mer i tråd med PISAs literacybegrep enn for eksempel læreplaner i naturfag (Dale 2010).

I Kunnskapsløftets læreplaner finner vi igjen standardbeskrivelsene i bruken av verb, men det første problemet med å tilbakeføre PISA­kompetanser til læreplanen er at disse standardene ikke kan avgjøre vanskegraden eller progresjonen i faget. Det er viktig å merke seg: alle trinn i utdanningen kan vise til beskrivende, analytiske og reflekterende mestringsmål, og de er like relevante om du er førsteklassing på barnetrinnet eller skal opp til eksamen på videregående skole. Det er heller ikke slik at vi forventer at førsteårsstudenter ved universiteter og høyskoler kan reprodusere, mens det først er på doktorgradsnivå at man er i stand til å reflektere! Om dette er mønsteret for kommende lære- og studieplaner, er vi på gal vei (Det kongelige kunnskapsdepartement 2009).

Det som gjør at fag blir vanskeligere år for år, er ikke individuelle standarder eller mestringsnivåer, men innholdet i faget, slik en av mine informanter antyder i et intervju (Sivesind 2010). Det betyr at man ikke kan bruke PISAs rammeverk og begreper til å strukturere innholdet i utdanningsløp. Det er også slik at om literacy går ut over sin generiske karakter og spesifiseres i form av læreplanstoff, blir læreplanen tung i formen og vanskelig å tilpasse en lokal skolepraksis.

Denne betydningen av literacy er nærmere den som forbindes med L97, slik den framsto i all sin prakt. Denne læreplanen var blant annet bygget på ideen om cultural literacy i læreplaner for fag, inspirert av Hirsch (Hirsch 1985). Planen fikk som kjent kritikk for sin måte å regulere innholdet på, men på grunn av manglende målstyring og vurderingssystemer hadde lærere og elever et fortolkningsrom å leve med. Jeg vil si at de nasjonale styringsambisjonene har økt med Kunnskapsløftet.

Om literacy anvendes i betydningen av et kjerneinnhold, som vil si at stoffet inngår i læring og skal vises gjennom målte prestasjoner, oppstår et spørsmål om hvem det er som skal velge dette innholdet og hva det skal være. Er det et mål at elevene skal lære kristendom framfor islam, eller de store religioner framfor de små? Denne type spørsmål lar seg vanskelig besvare ut fra et begrep om cultural literacy, når man forsøker seg på et svar, blir løsningen like mye av alt! Fordi innholdet relateres til at noe skal være lært og være relevant i framtiden, må det også være gyldig for alle, og det gjelder neppe all kunnskap som kan danne et utgangspunkt for undervisning i skolen. Dette problemet er ikke minst aktualisert med læreplanene for Kunnskapsløftet, som forsøker å balansere ulike hensyn og områder ved å «veie likt». Resultatet av et slik tilnærming ender også opp i at det blir for mye av all den kunnskapen som er relevant for framtidig deltakelse i et samfunn.

Literacy i form av at alt skolestoff skal være lært eller inngå i læring, fører til et innholdsbegrep som vanskelig lar seg forene med kulturmangfoldet i skolen. Derfor vil enkelte læreplanforskere argumentere for et annet innholdsbegrep, som vil si at innhold er stoff som representeres i undervisning og lærebøker, som legges til rette for læring, men som ikke betinges av hva elevene skal ha lært (Hopmann 2007; Karseth & Sivesind 2010; Künzli 1998). Et slikt forhåndsbestemt innholdsbegrep skaper pustehull for både elever og lærere, og det blir enklere å konsentrere seg om å lære noe og ikke alt. PISA omgår samme problem ved å argumentere for et læreplannøytralt og generisk begrep av literacy, men kan ikke på samme måte sette grenser for hva som skal være innholdet i skolen.

Mens evaluering av resultater i PISA sier noe om tilstanden for 15-­åringers kapasitet til å besvare en test, vil planlegging og tilrettelegging av undervisning være et framskridende handlingsforløp der noe følger noe annet. Det er denne rekkefølgen læreplanforskere kaller progresjonen i faget, som forutsetter begrepet om et skolefaglig innhold (Engelsen 2006; Gundem 2008). Dette innholdet framstår som syntetiserende beskrivelser av verden, som representeres for elevene i skolen, men hvor det likevel er en relativ frihet for eleven å fortolke og anvende det på sitt vis. Videre er tanken at meningsdannelsen om et felles stoff skapes i relasjonen mellom lærere og elever i klasserommet. PISA gir ingen begreper om hvordan den faglige progresjonen fastsettes for et utdanningsløp eller hvordan et innhold skal velges ut. Til det trenger vi læreplaner.

Om PISA anvendes som en ny læreplan, som en forutsetning for planlegging og undervisning i skolen, vil prestasjonskravene øke i takt med framtidsutfordringene og tilstanden fort bli den som Alf Prøysen beskriver i sin bakvendte vise:

«Når barna første dagen går til skolehusets grind, så starter de i syv´nde klasse når de skrives inn. Så blir de flyttet nedover i klasser pø om pø og går ut ifra første klasse dumme som et brød».

Læreplaner for et skolesystem, som skal være til hjelp for lærere fra 1. til 13. trinn, kan ikke starte med hva elevene skal mestre i 15-­årsalder eller hva de skal mestre som borgere i sitt voksne liv. Bakfra styring blir fort bakvendt om vi erstatter begreper om undervisning og skolefag med learning og literacy. Mer generelt, et mål- og resultatstyrt vurderingssystem kan ikke erstatte sentrale betingelser som rammer inn hva lærere og elever skal foreta seg i klasserommet. En målstyrt skole, som forbereder elever for framtiden, forutsetter betingelser og rammer som avgrenser hva som er skolens oppgave, og disse rammene har både politikere, forvaltere, ledere og lærere ansvaret for, kanskje også elevene.

Nå kan det hevdes at en ansvarlig aktør i utdanningssystemet bør tenke både fram og tilbake for å øke sin forståelse av skolens handlingskapasitet, og at evalueringsresultater kan gi fruktbar informasjon for å bidra til forbedret læring gjennom refleksiv ledelse (Afsar et al. 2006b). Men i tilfelle med PISA, er sammenhengen mellom skolens praksis og målte resultater vanskelig å beskrive og i alle fall forklare. Hva skyldes gode, middels gode eller dårlige resultater?

Derfor vil enhver følge av PISA forutsette eller betinge at noen legger planer for framtiden, at vi analytisk skiller mellom undervisning og læring og reflekterer over måten skolens fag og innhold organiseres på. For å avslutte med siste vers i Prøysens vise: «Ja slik er det i bakvendtland, slik er det ikke her. Her starter vi i første klasse alle og enhver, med skolesekk og varebind og sanger som vi kan, blant annet denne nye vi har lært om bakvendtland…»