Hva kjennetegner de svakeste elevenes lesekompetanse, lesevaner og strategikunnskap når de går ut av grunnskolen?
- De svakeste leserne relativt sett har størst problemer med komplekse fagtekster og minst problemer med skjønnlitterære tekster, og at de mangler kunnskap om lesestrategier.
De norske PISA-resultatene i 2015 viste en framgang i lesing for norske 15-åringere, men andelen elever på det laveste nivået var fortsatt uendret. Denne artikkelen studerer de norske elevene i denne kategorien når det gjelder hvilke tekst- og oppgavetyper de har særlige problemer med og hva som kjennetegner deres lesevaner og kunnskap om lesestrategier. Datagrunnlaget stammer i hovedsak fra PISA 2009, da lesing hadde hovedfokus. Resultatene viser at de svakeste leserne relativt sett har størst problemer med komplekse fagtekster og minst problemer med skjønnlitterære tekster, og at de mangler kunnskap om lesestrategier. Samtidig er de mer interessert i å lese aviser og nettbaserte tekster enn skjønnlitteratur. Vi peker på elevenes leseinteresser, samt viktigheten av å arbeide med leseforståelse i alle fag, også i videregående skole, som utgangspunkt for å bidra til å redusere andelen svake lesere.
What Characterises the Reading Competence, Reading Habits and Strategy Awareness at the End of Lower Secondary Education of Those Learners Struggling the Most?
The Norwegian PISA-results in 2015 showed a progress in the reading competence of 15-year-olds. That of pupils struggling with reading, however, remained the same. This article explores the Norwegian pupils pertaining to this category and which kinds of texts and tasks they experience as especially difficult. We also investigate what characterises their reading habits and knowledge of reading strategies. The empirical basis of this study is mainly the 2009 PISA, which emphasised reading. The results of this particular student assessment showed that pupils struggling with reading largely have trouble with fictional texts and lack knowledge of reading strategies. They are moreover more interested in reading newspaper articles and web-based texts than fiction. In this article, we explore pupils's interests as regards reading and the importance of working with reading awareness in all subjects, at the upper secondary level as well. Our aim is to reduce the amount of struggling learners.
Innledning
I denne artikkelen studerer vi lesekompetanse, lesevaner og kunnskap om lesestrategier blant de norske elevene som oppnådde lavest skår på leseprøven i
2009. PISA-undersøkelsen gjennomføres hvert tredje år om våren rett før elevene forlater grunnskolen, og målet med vår studie er å bidra med økt kunnskap om de svakeste leserne i denne aldersgruppa.Programme for International Student Assessment (PISA).
I PISA er lesekompetanse (reading literacy) beskrevet slik:
Reading literacy is understanding, using, evaluating, reflecting on and engaging with texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society (OECD, 2016).
Lesing er altså definert som noe mer enn bare å kunne avkode og forstå tekster. Det legges også vekt på evne til å engasjere seg i tekster og til å vurdere og reflektere over det man leser. Tekstbegrepet i PISA omfatter ulike typer tekster på skjerm eller papir, og «reading literacy» handler om å kunne fylle de kravene som stilles til lesekompetanse i videre utdanning, i yrkeslivet og i samfunnet for øvrig. Lesing er ikke lenger noe som kan velges bort, tvert imot blir utfordringene når det gjelder tekstforståelse stadig mer omfattende.
PISA opererer med sju kompetansenivåer i lesing, der nivå 1 er det laveste, og disse danner bakgrunnen for denne studien ved at vi studerer de elevene som skårer under nivå 2, altså på nivå 1. Ifølge OECDs ekspertgruppe i lesing leser elever på nivå 1 med stor sannsynlighet for dårlig til å klare seg godt, både i videre utdanning og i mange situasjoner ellers i livet (OECD, 2010a). Utdanningsmyndighetene i alle land oppfordres til å følge med på hvor stor andel elever som befinner seg på det laveste nivået, og rette en spesiell oppmerksomhet mot disse elevene:
Level 2 is judged the baseline level at which students begin to demonstrate reading literacy competencies that will enable them to participate effectively and productively in life.(…) Students below level 2 may have learned to read, but they struggle with using reading for learning. From an equity perspective this is a critical group of students (OECD, 2010b, s. 41).
En studie som fulgte kanadiske elever som deltok i PISA 2000 over flere år, støtter antakelsen om at de lavest presterende leserne vil få utfordringer videre i livet. Den viser blant annet at elever på de laveste nivåene etter hvert fikk problemer både i videre utdanning og i yrkeslivet (OECD, 2010a; Statistics Canada, 2011).
I Norge økte andelen elever på nivå 1 fra 17 til 22 prosent fra 2000 til 2006, noe som hang sammen med at resultatene i lesing generelt ble signifikant svakere i denne perioden (Kjærnsli et al., 2007). I 2009 og 2012 var resultatene omtrent de samme som før 2006, og andelen elever på nivå 1 var henholdsvis 15 og 16 prosent (Roe & Vagle, 2010; Roe, 2013). I 2015 viste norske elever ytterligere framgang og presterte for første gang signifikant over OECD-gjennomsnittet, og andelen elever på de høyeste nivåene økte, men fortsatt var 16 prosent av elevene på nivå 1. Det er positivt at andelen flinke lesere øker, men vi vil hevde at det er minst like viktig å redusere andelen svake lesere. Derfor er det ekstra god grunn til å se nærmere på hva som kjennetegner de utfordringene som denne elevgruppa sliter med.
Da Fredriksson og Sundgren (2012) undersøkte kjennetegn ved nordiske elever på nivå 1 i PISA 2009, fant de at andelen gutter var signifikant høyrere enn andelen jenter i denne gruppa, og at elever med et annet morsmål også var overrepresentert. Videre fant de at sosioøkonomisk status korrelerte signifikant positivt med elevenes leseprestasjoner (Fredriksson & Sundgren, 2012). At hjemmebakgrunn henger sammen med elevers skoleprestasjoner er grundig belyst gjennom mange studier siden James Samuel Colemans banebrytende Equality of Educational Opportunity (Coleman et al., 1966).
Skolen har ingen mulighet til å påvirke elevenes sosioøkonomiske bakgrunn, derfor retter vi her søkelyset mot to faktorer der skolen kan bidra positivt: lesevaner og lesestrategier. Disse to faktorene er innlemmet i rammeverket for PISA 2009, der det påpekes at god lesekompetanse ikke bare beror på ferdigheter og kunnskaper, men at det også har sammenheng med engasjement for å lese og metakognitiv bevissthet under lesingen (OECD, 2009).
Engasjement kan både handle om lyst til å lese for fornøyelsens skyld og om drivkraften som oppstår når man ser viktigheten av å forstå en tekst. Engasjement er dessuten nødvendig for å holde konsentrasjonen oppe når teksten er krevende og man må lese nøyaktig og konsentrert for å få med seg innholdet. I PISA måles engasjement gjennom en rekke spørsmål til elevene om lesevaner og holdninger til lesing, og i 2000 var elevenes leseengasjement den variabelen som korrelerte høyest med leseskår, høyere enn sosioøkonomisk status (OECD, 2002). Data fra PISA 2009 viste at det var de elevene som svarte at de aldri leste i fritiden, som skilte seg ut ved å skåre mye lavere på leseprøven enn de som leste, uavhengig av hvor mye tid de brukte på lesing (Roe & Taube, 2012).
Metakognitiv bevissthet innebærer å ha kunnskap om egne kognitive ferdigheter, samt om hvilke strategier som finnes og som er egnede når man står overfor ulike situasjoner (Baker & Brown, 1984). Også når det gjelder leseprestasjoner, viser flere studier at det er en sammenheng mellom leseforståelse og effektiv bruk av lese- og læringsstrategier (se for eksempel Artelt et al., 2001; Brown et al., 1983; Shiefele, 2001).
Elever som er i stand til å tilpasse ulike strategier til oppgavene de skal løse, og som er engasjerte, vil i større grad enn andre elever gjøre det bra på skolen. Slike elever omtales gjerne som effective learners (Guthrie & Wigfield, 2000). I PISA 2009 finnes det oppgaver som måler elevenes metakognitive bevissthet, forstått som kunnskap om nytten av oppgitte lesestrategier i to gitte kontekster.
I det følgende vil vi først studere hva som kjennetegner tekster og oppgaver som elevene på nivå 1 skårer dårligere enn forventet på. Deretter ser vi på engasjement og metakognisjon blant elevene. Målet er å bidra til å forstå hvor de største utfordringene til de svakeste leserne ligger, samt å peke på mulige tiltak for å redusere antall svake lesere.
Materiale og metode
PISA-undersøkelsen omfatter de tre fagområdene lesing, matematikk og naturfag og har vært gjennomført hvert tredje år siden 2000. Ett av fagområdene har hovedfokus hver gang, og i 2000 og 2009 var dette lesing, noe det også er i 2018. De nærmere 4700 elevene fra 197 skoler i Norge som deltok i PISA 2009, danner grunnlaget for denne studien. Hver elevs totale poengsum på leseprøven avgjorde hvilket nivå de ble plassert på. 701 elever skåret på nivå 1, og det er disse elevenes resultater på leseprøven og svar på spørsmål om lesevaner og lesestrategier vi studerer nærmere her.
I flere av analysene sammenligner vi dem med elever på nivå 2 for å undersøke hva som skiller de aller svakeste elevene fra de elevene som også presterer under gjennomsnittet, men som likevel er over den grensen som OECDs ekspertgruppe i lesing har satt som «bekymringsgrense». I studien gjøres det bruk av både kvantitativ og kvalitativ metode. I de kvantitative analysene benyttes i hovedsak deskriptiv stati-stikk. Kvalitativ metode tas i bruk i analysen av de tekstene og oppgavene som elevene skårer aller dårligst på i forhold til sitt forventede gjennomsnittlige nivå.
I 2009 besto leseprøven av 29 tekster med til sammen 101 oppgaver. Inkluderer man matematikk- og naturfagsoppgavene, inneholdt prøven testmateriale for til sammen 510 minutter. Hver elev løste imidlertid bare et utvalg av disse oppgavene. I PISA brukes hefte-rotasjon (multiple matrix sampling), en metode som muliggjør utprøving av et rikelig antall oppgaver samtidig som prøvetiden for elevene ikke blir for lang. I praksis betyr dette at elevene løser ulike og overlappende deler av prøven, ved at oppgavene er organisert i ulike klustre som igjen er organisert i ulike prøvehefter.
I PISA 2009 løste hver elev ett av i alt 13 prøvehefter, hvor hvert hefte var satt sammen av fire av totalt 16 klustre med oppgaver. Hvert kluster av oppgaver gikk igjen i flere av heftene i forskjellig kombinasjon med andre klustre. Testtiden for materialet i hvert hefte var 120 minutter. Siden hver elev kun løser en del av oppgavene, fører denne metoden til at det er usikkerhet knyttet til prestasjoner på individnivå. På den annen side er metoden effektiv og presis for å estimere ferdighetsnivåer og andre karakteristikker i populasjonen, ved at den kombinerer enkeltelevers besvarelser med annen bakgrunnsinformasjon som samles inn som del av undersøkelsen (Rutkowski, Gonzalez, von Davier og Zhou, 2014; Frønes, 2017).
Med utgangpunkt i prøvedesignet som brukes i PISA, er det utviklet en overordnet skala for lesekompetanse. Ved at man bruker Rasch-modellen, kan hver leseoppgave knyttes til et punkt på skalaen som indikerer vanskegrad til oppgaven, og hver elevs lesekompetanse kan knyttes til et punkt på skalaen som estimerer hans eller hennes kompetanse. Når man estimerer vanskegraden til oppgavene, ser man på hvor stor del av elevene som svarer riktig på oppgaven. For å si noe om elevenes kompetanse ser man på hvor stor del av oppgavene de mestrer. Dermed kan man med en enkelt skala se på forholdet mellom oppgavenes vanskegrad og elevenes kompetanse (OECD, 2010a).
For enklere å kunne tolke hva elevskårene innebærer av konkret kompetanse, har man delt skalaen inn i nivåer med utgangspunkt i statistiske prinsipper. I PISA 2009 benyttes som nevnt sju kompetansenivåer. Ved å se på oppgavene innenfor hvert nivå, kan man si noe om ferdighetene og kunnskapene elevene må ha for å kunne utføre dem korrekt. Når man estimerer elevenes kompetansenivå, er det imidlertid viktig å understreke at nivåene ikke må oppfattes som gjeldende for enkeltelever, men som et uttrykk for hva elever som har skåret tilsvarende et bestemt nivå, med en sannsynlighet på 50 prosent, vil være i stand til å mestre. Sannsynligheten for at de mestrer oppgaver som befinner seg under deres nivå, er større, og tilsvarende er det mindre sannsynlighet for at de mestrer oppgaver som befinner seg over deres nivå på skalaen (OECD, 2010a; Frønes og Narvhus, 2010).
Den overordnete skalaen i lesing tar utgangspunkt i at gjennomsnittet for elever i OECD-land i PISA 2000 ble satt til 500, med et standardavvik på 100. I vår studie har vi imidlertid valgt å bruke prosentandel riktige svar som uttrykk for oppgavers vanskegrad. Dette ligger også til grunn for residualanalysen, som har til hensikt å vise om det er oppgaver elever på et gitt kompetansenivå skårer dårligere eller bedre på enn man kan forvente ut fra nivået deres. Prosentandel riktig svar gir oss informasjon om elevenes gjennomsnittlige prestasjonsnivå og om oppgavenes gjennomsnittlige vanskegrad. Slike gjennomsnittlige estimater er imidlertid ikke så interessante dersom vi ønsker å se på om det er oppgavetyper som skiller seg ut som vanskeligere eller enklere enn forventet for elever på et gitt nivå.
Residualverdien sier altså noe om hvordan elevene på et gitt nivå presterer på en oppgave utover det man kan forvente fra oppgavens generelle vanskegrad og elevenes generelle prestasjoner. Dersom prosentandelen riktig svar på en oppgave for elever på et gitt kompetansenivå er som forventet ut fra oppgavens generelle vanskegrad og det generelle prestasjonsnivået, vil residualet ha verdien 0. Positive og negative residualer uttrykker at oppgaven har vært henholdsvis lettere eller vanskeligere enn forventet i forhold til oppgavenes generelle vanskegrad og den generelle prestasjonen til elevene på et gitt nivå. Gjennomsnittet av residualverdiene for alle oppgavene vil alltid bli 0.
For å si noe om hva som kjennetegner de oppgavene som elevene på nivå 1 skårer bedre eller dårligere enn forventet på, har vi tatt utgangspunkt i rammeverket PISA bruker for lesing. Rammeverket i lesing definerer tekstene og oppgavene når det gjelder teksttype, tekstformat, oppgavens svarformat og oppgavens leseaspekt (se Frønes & Narvhus, 2010). Vi bruker denne tekst- og oppgavekategoriseringen i analysene av elevenes sterke og svake sider som lesere, og hver av disse karakteristikkene vil i ulik grad være med på å påvirke resultatene.
I PISA tilstreber man for eksempel at de tre leseaspektene finne informasjon, tolke og reflektere skal prøves med to ulike svarformat: åpne oppgaver der elevene skal formulere svaret med egne ord og avkryssingsoppgaver med flere svaralternativer. Når resultatene skal tolkes, er det imidlertid viktig å være klar over at frekvensen av åpne oppgaver er høyere blant refleksjonsoppgavene enn blant oppgavene der elevene skal finne og hente ut informasjon. Det kan derfor knyttes en viss usikkerhet til om det er leseaspektet eller svarformatet som er mest avgjørende for elevens prestasjoner. Differansen mellom residualverdiene for ulike oppgavekategorier og elevgruppas forventede prestasjonsnivå er signifikanstestet ved å beregne 95 % konfidensintervall for standardfeilen til differansen mellom gjennomsnitt (p<0,05).
Spørreskjemaet inneholder enkeltvariabler som enten kun er ment å fungere separat, som kjønn og morsmål, eller som inngår i en samlevariabel som representerer skårverdier for et konstrukt (OECD, 2009). Alle konstrukter er målt ved hjelp av et sett variabler som viser rimelig høy indre konsistens. Konstruktet «reading engagement» består av en rekke variabler som til sammen både måler lesevaner (hvor ofte elevene leser ulike typer lesestoff) og holdninger til lesing (hvorvidt elevene liker å lese), gjengitt i figur 1 og tabell 5 og 6 nedenfor. De to konstruktene som måler elevenes evne til å vurdere lesestrategier, består av henholdsvis fem og seks enkeltvariabler. Her bruker vi både enkeltvariabler og konstrukter når vi analyserer elevenes holdninger til lesing og vurdering av lesestrategier.
Resultater
I PISA 2009 ble elevene fordelt på sju ulike nivåer etter poengsum på leseprøven: nivå 1a, 1b, 2, 3, 4, 5 og 6 (se Frønes & Narvhus, 2010). I tabell 1 er elever som skårer på nivå 1a og 1b slått sammen, fordi disse samlet representerer nivå 1. Elevene på nivå 5 og 6 er også slått sammen, både fordi det er svært få elever på nivå 6 og fordi det ikke er denne elevgruppa vi skal studere her. Tabellen viser gjennomsnittlig prosentandel oppgaver som elevene på hvert nivå klarer, samt standardavvikene innen hver av gruppene. Gjennomsnittlig klarte de norske elevene 61 prosent av oppgavene, som er litt over OECD-gjennomsnittet på rundt 60. Elevene på nivå 1 klarte i gjennomsnitt 26 prosent av oppgavene, mens elevene på nivå 2 klarte 48 prosent av oppgavene. Som tabellen viser, er forskjellene mellom elever på de øvrige nivåene ikke så store som mellom de to lavest presterende gruppene. Spredningen innad i hver gruppe er minst for de lavest og de høyest presterende elevgruppene.
Resultater på leseprøven
For å studere relative styrker og svakheter blant elevene på nivå 1, har vi beregnet residualverdiene for hver av oppgavene i leseprøven. Vi tar først for oss grupper av oppgaver med utgangspunkt i kategorier som er beskrevet i PISAs rammeverk. Deretter ser vi på kjennetegn ved de enkeltoppgavene som skiller seg ut ved å være mye vanskeligere enn forventet for elevene på nivå 1. Til slutt ser vi nærmere på de fire oppgavene med høyest negativ residualverdi for å kunne peke på hvilke konkrete utfordringer som både kan ligge i selve teksten og i oppgavens krav til lesemåte.
Oppgavene kan som nevnt deles inn etter svarformat og leseaspekt og knyttes til tekstformat og teksttype. Hver kategori består igjen av tre til fem undergrupper. I tabell 2 presenteres gjennomsnittlige residualverdier innen hver av disse for elever på nivå 1. Positive residualverdier viser altså at oppgavene har vært lettere enn forventet, mens negative residualverdier viser at oppgavene har vært vanskeligere enn forventet. Tabellen viser at differansen mellom residualverdien for de ulike oppgavekategoriene og elevgruppas forventede prestasjonsnivå, satt til 0, varierer.
I de fleste tilfellene er ikke differansen mellom gruppas forventede nivå og residualverdien statistisk signifikant, hovedsakelig fordi antall oppgaver i hver kategori er forholdsvis lavt, noe som fører til større feilmarginer. Vi vil likevel hevde at forskjellene viser noen interessante tendenser.
Det er bare på åpne
at elevene på nivå 1 skårer signifikant lavere enn gjennomsnittlig forventet. Disse oppgavene omfatter mer enn en tredel av prøven. En grunn til at de skiller seg ut som spesielt vanskelige for de svakeste elevene, kan være at elevene har problemer med å formulere svaret sitt godt nok til at det går tydelig fram at de har forstått oppgaven. En annen grunn kan være at de rett og slett hopper over oppgaver som krever skriving, noe vi finner støtte for når vi undersøker hvordan svarene til elevene på nivå 1 og nivå 2 er fordelt i PISA 2009. Tabell 3 viser at det særlig er andelen riktige svar og andelen blanke svar som skiller elevene på nivå 1 og 2.«Langsvar» betyr her at elevene skal gi en ca. tolinjers begrunnelse eller forklaring til svaret sitt; «kortsvar» betyr at et ord, navn eller tall vil være nok.
Litt forenklet kan vi si at elevene på nivå 1 får poeng på halvparten så mange oppgaver som elevene på nivå 2, samtidig som de hopper over dobbelt så mange oppgaver. Ser vi kun på langsvarsoppgavene, finner vi at andelen blanke svar er 33,2 prosent for elever på nivå 1 og 18,1 prosent for elever på nivå 2. En kan selvsagt stille spørsmål ved bruken av oppgaver som krever at elevene selv formulerer svar i en leseprøve. På den annen side ville prøvens validitet svekkes dersom alle oppgaver hadde kun ett fasitsvar. Det er relativt få elever i begge grupper som ikke har rukket å svare, det samme gjelder kategorien «ugyldig svar», som f.eks. kan være avkryssing av to svaralternativ i en flervalgsoppgave.
Blant de tre leseaspektene er det en tendens til at å finne fram til informasjon i teksten relativt sett er litt lettere for elever på nivå 1 enn å reflektere over tekstens form eller innhold, men som nevnt kan andelen åpne oppgaver blant refleksjonsoppgavene også forklare noe av denne forskjellen.
Tabell 2 viser videre at innen de fire gruppene av tekstformat er oppgaver knyttet til multiple tekster vanskeligere enn forventet og blandede tekster lettere enn forventet. Men siden det er svært få oppgaver innen begge disse gruppene, kan disse utslagene være tilfeldige. Det ville imidlertid ikke vært overraskende om de multiple tekstene faktisk var mer utfordrende for de svakeste elevene. Typisk for dem er at de består av flere relativt korte tekster om samme tema, men der informasjonen i én tekst ofte står i motsetning til eller belyser andre sider enn det som er presentert i en annen.
Innen de ulike teksttypene er det en tendens til at de fortellende tekstene relativt sett er litt lettere for elevene på nivå 1 enn de øvrige teksttypene, mens de beskrivende og forklarende tekstene, som omfatter det vi i skolesammenheng ville kalle fagtekster, ser ut til å være litt vanskeligere. De fortellende tekstene har som regel et tydelig handlingsforløp, mens fagtekstene beskriver og forklarer faglige fenomener og sammenhenger. Over halvparten av oppgavene i prøven er knyttet til fagtekster, og selv om de negative residualverdiene er relativt små, skiller de seg fra de fortellende tekstene.
Når vi sorterer oppgavene etter residualverdi for elevene på nivå 1, finner vi 14 oppgaver med negative verdier større enn 10. Siden dette er oppgaver som er signifikant vanskeligere enn forventet, viser vi i tabell 4 hva som kjennetegner disse oppgavene når det gjelder svarformat, tekstformat, teksttype og aspekt. Her vises også gjennomsnittlig prosentandel som klarer hver av oppgavene på nivå 1, nivå 2 og totalt i Norge. Blant de 14 oppgavene er 86 prosent langsvarsoppgaver. Til sammenlikning utgjør langsvarsoppgavene bare 36 prosent i prøven totalt. Refleksjonsoppgavene er også noe overrepresentert med 36 prosent i dette utvalget mot 24 prosent i prøven totalt. Bare én oppgave er knyttet til en fortellende tekst.
Som tabell 4 viser, er de fleste av oppgavene enklere for de norske elevene totalt enn gjennomsnittet på 61 prosent (Roe & Vagle, 2010:85). Den gjennomsnittlige forskjellen i prosentandel godkjente svar mellom elevene på nivå 1 og nivå 2 er 22 for alle oppgavene i prøven (se tabell 1), mens den i dette utvalget av oppgaver er 32. Forskjellen mellom elevene på nivå 1 og 2 er altså spesielt stor for disse oppgavene.
I det følgende ser vi mer detaljert på de fire oppgavene som har størst negativ residualverdi for elevene på nivå 1 (markert med grått i tabell 4). Den oppgaven som elevene skårer aller dårligst på i forhold til sitt forventede nivå, er knyttet til en sammenhengende argumenterende tekst om en kjent vitenskapsmann som levde for flere hundre år siden. Teksten er på 477 ord, og den aktuelle oppgaven er en åpen tolkningsoppgave der elevene selv må formulere et relevant svar etter at de har satt seg inn i hva vitenskapsmannen ville ha tenkt om en del av den forskningen som gjøres i dag, sammenliknet med den banebrytende forskningen han selv utførte. De må forstå tekstens hovedpoeng – at mye av dagens forskning er uvesentlig sammenliknet med arbeidet til denne vitenskapsmannen. At oppgaven har vært spesielt vanskelig for de svakeste elevene, kommer også til uttrykk ved at bare 29 prosent av dem avgir godkjent svar sammenlignet med 70 prosent av elevene på nivå 2 og 81 prosent av elevene totalt.
Et søylediagram med en kort forklaring er utgangspunktet for den andre oppgaven. Diagrammet gjengir resultater fra en spørreundersøkelse der personer i tre forskjellige byer har valgt tre av ti oppgitte egenskaper som de mente var viktige for barna deres. Diagrammet gjengir prosentandelen som har valgt de ulike egenskapene i hver av byene. Innledningsvis i oppgaven gis et eksempel på en konklusjon som kan trekkes på bakgrunn av resultatet fra en av de ti oppgitte egenskapene som mødrene i de tre byene har vurdert. Elevene skal selv formulere en konklusjon som passer til resultatet fra en av de andre egenskapene. For å klare dette må de tolke innholdet i eksemplet og overføre dette til en konklusjon som passer med det konkrete resultatet i diagrammet, og de må uttrykke konklusjonen med egne ord.
Oppgaven krever både at elevene kan lese og forstå hva slags informasjon som er uttrykt i et diagram, samt evne til abstraksjon og til å skille ulike typer informasjon fra hverandre. 68 prosent av elevene totalt fikk poeng på oppgaven, altså er den litt lettere enn gjennomsnittet. Likevel fikk bare 16 prosent av elevene på nivå 1 poeng på den. Også her er det et stort sprang opp til elevene på nivå 2, der 49 prosent klarer oppgaven.
Den tredje oppgaven er knyttet til en beskrivende fagtekst på ca. 400 ord om haibestanden i et bestemt havområde, og oppgaven krever at elevene skal finne fram til og formulere to eksempler på at haien trives i nettopp dette området. Informasjonen de trenger finnes i teksten, som er relativt informasjonstett, med mange navn og tall. Elevene må lese nøye for å komme fram til to relevante eksempler. Også denne oppgaven er lettere enn gjennomsnittet for hele elevgruppa. Bare 18 prosent av elevene på nivå 1 klarer den, mens dette gjelder 56 prosent av elevene på nivå 2.
Utgangspunktet for den fjerde oppgaven er en multippel tekst, det vil si at den er satt sammen av tre tekster om samme tema: baksideteksten til en bok og to kontrasterende omtaler av boka. Total tekstmengde er 314 ord. Den aktuelle oppgaven er en åpen refleksjonsoppgave som krever at elevene må gi en relevant begrunnelse for hvilken av bokomtalene som kunne dukket opp på baksiden av boka dersom den ble gitt ut på nytt. Elevene må både forstå at bokomtaler er evaluerende tekster, og de må oppfatte budskapet i hver av omtalene. I den negative bokomtalen nevnes det også noen gode sider ved boka, noe som kan ha forvirret de svakeste leserne og gjort oppgaven ekstra vanskelig. Oppgaven er blant de letteste i leseprøven, men bare 29 prosent av elevene på nivå 1 gir godkjent svar, og også her er avstanden til elevene på nivå 2 stor, der dette gjelder 72 prosent.
Kort oppsummert viser resultatene at elevene på nivå 1 skårer signifikant lavere enn forventet på de åpne langsvarsoppgavene, og at det er her vi finner størst andel blanke svar blant denne elevgruppa. Det er også tendenser til at elevene på nivå 1 relativt sett har større utfordringer knyttet til fakta- og fagtekster som inneholder mye og delvis konkurrerende informasjon, enn til fortellende tekster med en enklere struktur.
Lesevaner og holdninger til lesing
I det følgende tar vi for oss elevene på nivå 1 og nivå 2 når det gjelder lesevaner og holdninger til lesing, og der det er relevant, viser vi også resultater fra hele elevgruppa.
På det første spørsmålet om lesevaner, ”Omtrent hvor mye tid bruker du vanligvis på å lese for din egen fornøyelses skyld?”, svarer 40 prosent av de norske elevene totalt at de ikke leser for fornøyelsens skyld. Denne andelen er relativt høy i internasjonal sammenheng (OECD, 2010c). For elevene på nivå 1 er denne andelen på 66 prosent og for elevene på nivå 2 på 54 prosent.
Figur 1, som også representerer lesevaner, viser andelen elever som svarer at de «aldri eller nesten aldri» leser ulike typer lesestoff. Elevene på nivå 1 skiller seg klart ut ved å ha den største andelen som oppgir at de aldri leser, uavhengig av lesestoff. Selv når det gjelder ukeblader og tegneserier, som regnes som lettleste tekster, er det henholdsvis 18 og 25 prosent av elevene på nivå 1 som oppgir at de ikke leser dette, mens elevene på nivå 2 her er på linje med elevene totalt.
Når det gjelder bruk av datamaskin til internett/underholdning hjemme, rapporterer de norske elevene om en klart hyppigere bruk enn elevene i OECD totalt. De norske elevene på nivå 1 rapporterer imidlertid om sjeldnere bruk av datamaskin til underholdning og fritidsaktiviteter enn OECD-gjennomsnittet (Frønes & Narvhus, 2011).
Tabell 5 presenterer prosentandel elever som krysser av for «enig» eller «svært enig» for seks positivt formulerte utsagn om lesing, og tabell 6 viser tilsvarende for fem negativt formulerte utsagn. Disse utsagnene måler til sammen holdninger til lesing. Når det gjelder disse utsagnene, skiller ikke elevene på nivå 1 og nivå 2 seg så mye fra hverandre som de gjør når det gjelder lesevaner.
De 11 utsagnene er slått sammen til et konstrukt som et mål på positive holdninger til lesing, der verdiene i de negativt formulerte utsagnene er «snudd». I figur 2, som viser hvordan elevene på hvert av de fem nivåene fordeler seg når det gjelder dette konstruktet, representerer OECD-gjennomsnittet 0 og standardavviket er 1. Figuren uttrykker altså om holdningene til elevene i de ulike gruppene er mer eller mindre positive enn OECD-gjennomsnittet. Samlet rapporterer norske elever om litt mindre positive holdninger til lesing enn OECD-gjennomsnittet. Innad i Norge ser vi imidlertid at jo høyere kompetansenivå elevene er på, jo mer positive holdninger har de til lesing, og at det er en forholdsvis stor forskjell mellom den gjennomsnittlige konstruktverdien i de ulike gruppene.
Det at elevene på nivå 1 leser mindre i fritiden og er mindre engasjert i leseaktiviteter enn elevene på nivå 2 og elevene totalt, samsvarer med at engasjement i lesing korrelerer klart positivt med leseskår for alle elevene (Roe, 2010).
Metakognisjon og bruk av lesestrategier
To konstrukter er utviklet for å måle det som i PISA kalles elevenes metakognitive kompetanse, nærmere bestemt kunnskap om nytten av ulike lesestrategier (OECD, 2010c). Oppgavene går ut på at elevene skal gi poeng til lesestrategier de tror det er best å bruke i to gitte situasjoner, på en skala fra 1: «Ikke nyttig i det hele tatt», til 6: «Veldig nyttig». Disse oppgavene er på forhånd pilotert og besvart av leseeksperter, og elevenes svar sammenlignes med ekspertenes «fasit», som danner utgangspunktet for elevenes skår. Den første oppgaven beskriver denne lesesituasjonen:
«Du skal forstå og huske innholdet i en tekst. Hvordan vil du vurdere nytten av de følgende strategiene for å forstå og huske teksten?»
Seks strategier skal vurderes:
- Jeg konsentrerer meg om de delene av teksten som er lette å forstå.
- Jeg leser teksten raskt to ganger.
- Etter at jeg har lest teksten, diskuterer jeg innholdet med andre.
- Jeg setter strek under viktige deler av teksten.
- Jeg oppsummerer teksten med egne ord.
- Jeg leser teksten høyt for en annen person.
Ifølge fasiten er strategiene 1, 2 og 6 rangert som de minst gunstige, mens 3, 4 og 5 er ansett som de beste, og for å få full skår må elevene rangere samtlige av de minst gunstige lavere enn hver av de beste. Figur 3 viser at elevene på nivå 1 gjennomgående rangerer alle strategiene lavere enn elevene på nivå 2 og totalt i Norge. Figuren viser også at elevene på nivå 1 skiller lite mellom strategier de mener er gode og dårlige. Forskjellen mellom elever på nivå 1 og 2 er størst for strategiene 3, 4 og 5, som leseekspertene rangerte høyest, noe som kan bety at elevene på nivå 2 har et mer bevisst forhold til hvilke lesestrategier som er hensiktsmessige å bruke i gitte lesesituasjoner enn elevene på nivå 1 (OECD, 2010c; Artelt et al., 2001).
Den andre oppgaven beskriver denne lesesituasjonen:
«Du har lest en lang og relativt vanskelig tekst på to sider om endringer i vannstanden i en innsjø i Afrika. Du skal lage et sammendrag. Hvordan vil du vurdere nytten av de følgende strategiene for å kunne skrive et sammendrag av denne to sider lange teksten?»
Fem strategier skal vurderes:
- Jeg skriver et sammendrag. Så sjekker jeg om hvert avsnitt er dekket i sammendraget, fordi innholdet i hvert avsnitt skal være med.
- Jeg forsøker å kopiere helt nøyaktig så mange setninger som mulig.
- Før jeg skriver sammendraget, leser jeg teksten så mange ganger som mulig.
- Jeg sjekker nøye om de viktigste faktaopplysningene i teksten er med i sammendraget.
- Jeg leser gjennom teksten og setter strek under de viktigste setningene. Så skriver jeg sammendraget med mine egne ord.
Av disse strategiene er nummer 4 og 5 rangert som de beste, deretter nummer 1 og 3, og til sist nummer 2.
Figur 4 viser at elevene på nivå 1 riktig nok rangerer strategi 4 og 5 høyest og 2 lavest, i tråd med ekspertene, men de skiller mye mindre mellom strategiene enn de øvrige elevene gjør. Forskjellen mellom elevene på nivå 1 og nivå 2 er størst for strategi 4, «Jeg sjekker nøye om de viktigste faktaopplysningene i teksten er med i sammendraget», som er en god, men kanskje litt krevende strategi. Også for den siste strategien er forskjellen forholdsvis stor; også denne kan nok anses som krevende for elevene, særlig fordi den innebærer å formulere noe med egne ord. Elevene på nivå 2 differensierer med andre ord i større grad enn elevene på nivå 1 mellom hvilke strategier som er nyttige og ikke.
I figur 5 er lesestrategiene samlet i to konstrukter, «Å forstå og huske innholdet i en tekst» og «Å skrive et sammendrag av en tekst», og her vises konstruktverdiene for elevene i de ulike gruppene. Gruppenes gjennomsnittlige skår for hvert av konstruktene er standardisert i forhold til gjennomsnittet i OECD, som er satt til 0 med standardavvik lik 1. Ikke uventet har elevene på nivå 1 lavest verdi for konstruktene, som innebærer at de i minst grad er i stand til å skille mellom egnede og mindre egnede lesestrategier for ulike formål. Når det gjelder egnede strategier for å forstå og huske innholdet i en tekst, ser vi at de norske elevene samlet skårer klart under OECD-gjennomsnittet, mens de ser ut til å ha bedre kunnskaper om egnede strategier for å skrive et sammendrag av en tekst, der de ligger litt over OECD-gjennomsnittet. Her er også differansen mellom elevene på nivå 1 og elevene på nivå 2 mer påfallende enn for det første konstruktet: Et halvt standardavvik skiller de to elevgruppene.
Resultatene fra de to oppgavene om lesestrategier viser altså at jo lavere elevene skårer, jo mindre bevisste er de på hvilke lesestrategier som er best egnet i en gitt lesesituasjon, noe som også er i tråd med en klar positiv korrelasjon mellom disse to konstruktene og leseskår (Hopfenbeck & Roe, 2010).
Oppsummering og drøfting
Resultatene på leseprøven i PISA 2009 viser at forskjellen mellom elever på nivå 1 og nivå 2 er større enn mellom elever på de andre etterfølgende nivåene, noe som indikerer at elevene på det laveste nivået er en spesielt sårbar gruppe. Nærmere analyser av resultatene på tekst- og oppgavenivå viser at de oppgavene som elevene på nivå 1 presterer dårligere enn forventet på, ofte er knyttet til fagtekster av en viss kompleksitet.
Disse oppgavene krever som regel at elevene først må skaffe seg overblikk over hele teksten og utvikle en overordnet forståelse av hva den handler om gjennom å tolke og reflektere. Deretter må de oppfatte hvilke opplysninger, gjerne fra ulike steder i teksten, som er sentrale og vise evne til å sammenfatte, sammenligne eller kontrastere disse.
Utfordringene ser ut til å øke ytterligere når oppgaven krever at elevene må uttrykke svaret med egne ord. Elevene på nivå 1 presterer bedre enn forventet på fortellende tekster og tekster med en tydelig struktur. Det er også noen av fagtekstene disse elevene gjør det relativt bra på, for eksempel når teksten er relativt oversiktlig, når oppgaven ber om eksplisitt uttrykt informasjon, og når omfanget av konkurrerende informasjon er lav.
Når det gjelder engasjement for lesing, oppgir to tredeler av elevene på nivå 1 i utgangspunktet at de ikke leser fordi de har lyst til det. Men når de blir spurt om frivillig lesing av konkrete typer lesestoff, er det en langt mindre andel som svarer at de aldri leser, og særlig gjelder dette tegneserier, ukeblader, aviser og nettbasert lesestoff. Skjønnlitteratur og faktabøker er lesestoff som elevene på nivå 1 oppgir at de svært sjelden leser, og det er her vi finner den største forskjellen mellom elevene på nivå 1 og nivå 2.
At majoriteten av elevene på nivå 1 umiddelbart svarer at de ikke leser frivillig, tyder på at de først og fremst forbinder frivillig lesing med boklesing, og at de derfor ikke identifiserer seg som lesere. Det at disse elevene i liten grad identifiserer seg som lesere, blir også tydelig gjennom resultatene fra holdningsutsagnene om lesing, og sammenhengen med prestasjoner er tydelig her. Blant elevene på nivå 1 sier tre av fire seg helt eller delvis enige i at de kun leser hvis de må eller for å finne informasjon som de trenger, mens dette gjelder cirka to av tre elever på nivå 2 og omtrent halvparten av elevene totalt.
Resultatene fra de to oppgavene der elevene rangerer ulike lesestrategier i to gitte kontekster, viser at det også her er en betydelig forskjell mellom elevene på nivå 1 og 2, i hovedsak fordi elevene på nivå 1 i liten grad klarer å skille mellom effektive og mindre effektive lesestrategier. Totalt finner vi at jo mindre forståelse elevene har for hvilke lesestrategier som er egnet i ulike lesesituasjoner, jo lavere nivå er de på når det gjelder lesekompetanse.
Det er ikke lenger slik at elever som av ulike årsaker leser dårlig kan klare seg godt i videre utdanning eller i yrkeslivet uten å måtte forholde seg til komplekse fagtekster. De aller fleste vil møte tekster og oppgaver som representerer tilsvarende utfordringer som elevene på nivå 1 hadde størst problemer med her, uansett om de velger studieforberedende eller yrkesfaglige utdanningsløp. Dette understreker viktigheten av å arbeide med å redusere andelen elever på det laveste nivået, som fortsatt var på 16 prosent i PISA 2015, til tross for at de norske elevene dette året hadde en total framgang i lesing sammenlignet med tidligere år. Det er ingen grunn til å slå seg til ro med at andelen svake lesere er så høy. For eksempel i Estland, der andelen elever på nivå 4 og høyere er 36 prosent, som i Norge, er bare 10 prosent av elevene på nivå 1 (Frønes, 2016).
I tråd med resultatene fra de store internasjonale leseundersøkelsene PIRLS og PISA (Lie et al., 2001; Solheim & Tønnessen, 2003; van Daal et al., 2007), viser også denne studien at engasjement i stor grad henger sammen med lesekompetanse. Jo svakere elevene presterer på leseprøven, jo større er andelen som oppgir at de ikke leser for fornøyelsens skyld. Forskning viser at engasjement vil ha en selvforsterkende positiv eller negativ effekt på leseforståelsen. De som leser mye, blir stadig bedre lesere, mens de som leser lite, sakker akterut (Stanovich, 1986). Guthrie og Wigfield (2000) argumenterer for at motivasjon er en drivkraft for leselyst. Flere studier viser at også nytteorientering er avgjørende for elevenes innsats når det gjelder lesing (se for eksempel Hoel & Helgevold, 2005).
I sin studie av 14-åringers forståelse av fagtekster, fant Anmarkrud og Bråten (2009) at elevenes verdsetting av leseoppgaven var den faktoren som sterkest bidro til forståelse av teksten. De hevder derfor at læreren bør motivere elevene slik at de forstår at tekstene de skal lese, er viktige for dem personlig (Anmarkrud & Bråten, 2009). Dersom elevene forstår at det de lærer på skolen kan bidra til å fremme personlige målsettinger og interesser, vil de føle økt autonomi og videre motivasjon i møte med skolens tekster (Assor, Kaplan & Roth, 2002).
I lys av forskning som viser hva som fremmer leseforståelse, og med bakgrunn i våre funn, vil vi hevde at det er flere tiltak som vil kunne bidra til å redusere andelen elever på nivå 1. Noe av det viktigste er at lærere i alle fag tar ansvar for elevenes tekstforståelse i sine fag. Dette kan de gjøre ved å forklare hvordan tekstene i faget er bygget opp, hvilke teksttyper de består av, hva som kjennetegner språket i tekstene, hvordan de er fremstilt organisatorisk og visuelt og hvilke ord og begreper som skiller fagspråket fra elevenes hverdagsspråk. Videre gjelder det å få elevene til å se nytten av å lese, slik at de opplever at det de leser og skal lære, har relevans. Når det gjelder frivillig lesing, gir boklesing selvsagt mest mengdetrening, men vi vil hevde at det er viktigere å få elevene til å lese tekster de har lyst til å lese enn å tvinge dem til å lese skjønnlitteratur.
Vår studie viser at en relativt stor andel av elevene på nivå 1 leser aviser og ulike nettbaserte tekster forholdsvis ofte. Denne typen tekster kan være stimulerende både som fritidslesing og for videre arbeid i skolesammenheng. Klarer lærere å stimulere elevene til å lese slike tekster, vil elevene styrke lesekompetansen sin, og vanskegraden på tekstene de blir introdusert for, kan gradvis økes. Saker som står omtalt i aviser eller på sosiale medier, kan settes på dagsorden og danne grunnlaget for diskusjon og stimulering av refleksjon og kritisk bevissthet, noe som har vist seg å være svært utfordrende for elevene på nivå 1. Tekster som elevene finner på nettet, gir også mulighet for å undersøke hvordan ulike medier dekker samme nyhetssak, noe som kan være engasjerende. Den store variasjonen blant nettbaserte tekster gir dessuten mulighet for tilpasset opplæring for å unngå at lesingen fører til frustrasjon og nederlag, noe som i sin tur undergraver motivasjon (Weinstein et al., 2006).
Denne studien viser at det er en klar sammenheng mellom elevenes kunnskaper om lesestrategier og deres leseforståelse. Flere studier støtter denne sammenhengen ved å vise at elever som får eksplisitt undervisning i strategibruk forbedrer sin tekstforståelse (Brown, Palinscar & Armbruster, 2004). For å bidra ytterligere til å fremme elevenes leseforståelse i alle fag, må elevene tilegne seg gode lesestrategier og kunnskap om hvilke strategier det er hensiktsmessig å bruke i ulike situasjoner. Ved at læreren viser og modellerer bruk av ulike lesestrategier for elevene, og forklarer når strategiene skal brukes og hvorfor de er nyttige, kan elevene utrustes med verktøy som de kan ta i bruk i arbeidet med ulike tekster og ved læring av faglige emner.
Målet med denne studien har vært å gi innsikt i hva som kjennetegner lesekompetansen til elevene som skårer under den grensen som OECDs ekspertgruppe i lesing har satt ved nivå 2 i PISA. Økt kunnskap om de lavest presterende leserne i denne aldersgruppa, både med tanke på lesevaner, holdninger til lesing og bruk av lesestrategier, kan som vi har vist danne grunnlaget for tiltak som kan styrke lesekompetansen deres. Lærere som drar nytte av dette i undervisningen, vil kunne bidra til at flere elever lykkes i videre utdanning, i yrkeslivet og som aktive deltakere ellers i samfunnet. Vi vil understreke at dette ikke primært gjelder norsklærere. Lærere i ulike fag vet hva som kjennetegner utfordringene i sine fags tekster og vil best kunne bidra til å styrke lesekompetansen til de svakeste elevene. Mange hevder at tidlig innsats er avgjørende og at det er for sent å lære elevene å lese når de kommer på ungdomsskolen, men vi vil hevde at også i videregående skole vil elevene ha nytte av å lære seg gode lesestrategier og hvordan de skal bli kritiske og reflekterte lesere.
Litteraturhenvisninger
Anmarkrud, Ø. & Bråten, I. (2009). Motivation for reading comprehension. Learning and individual differences, 19(2), 252–256. doi: 10.1016/j.lindif.2008.09.002
Artelt, C., Schiefele, U. & Schneider, W. (2001). Predictors of reading literacy. I European Journal of Psychology of Education, 16(3), s. 363–383.
Assor, A., Kaplan H. & Roth G. (2002). Choice is good, but relevance is excellent: Autonomy-enhancing and suppressing teacher behaviours predicting students’ engagement in schoolwork. British Journal of Educational Psychology, 72, s. 261–278. The British Psychological Society.
Baker, L. & Brown A. L. (1984). Metacognitive skills and reading. I P. D. Pearson et al. (red.), Handbook of Reading Research, 1, s. 353–394. New York: Longman.
Brown, A. L., Palinscar, A. S. & Armbruster, B. B. (2004). Instructing Comprehension-Fostering Activities in Interactive Learning Situations. I R. B. Ruddell og N. J. Unrau (red.), Theoretical Models and Processes of Reading. (s. 780–809). Newark: International Reading Association.
Brown, A. L., Bransford J., Ferrara, R. & Campione, J. (1983). Learning, remembering, and understanding. I P. Mussen, J. Flavell & E. Markman (red.), Handbook of child psychology, 3, s. 77–166. New York: Wiley.
Coleman, J.S., Campbell, E., Hobson, C., McPartland, J., Mood, A., Weinfeld, R. & York, R. (1966). Equality of educational opportunity. Washington, DC.: Government Printing Office.
Fredriksson, U., Rasmusson M. & Sundgren M. (2012). Weak readers in the Nordic countries – gender, immigrant background, socioeconomic background, enjoyment of reading and school related factors. I N. Egelund (red.), Northern Lights on PISA 2009 – Focus on Reading. (s. 23–43). Nordic Council of Ministers, København.
Frønes, T. S. (2017). Å lese og navigere på nettet. En studie av elevers navigasjonsstrategier. Dissertation submitted to the University of Oslo for the degree of Doctor of Philosophy.
Frønes, T.S. (2016). Resultater i lesing. I Kjærnsli, M. & Jensen, F. (red.). Stø kurs. Norske elevers kompetanse i naturfag, matematikk og lesing i PISA 2015. Oslo: Universitetsforlaget.
Frønes, T.S. and Narvhus, E. K., (2011). Elever på nett. Digital lesing i PISA 2009 [Pupils on the internet. Digital reading in PISA 2009]. Oslo: ILS, UiO.
Frønes, T. S. & Narvhus E. K. (2010). Lesing: rammeverk, tekster og oppgaver. I M. Kjærnsli & A. Roe (red.), På rett spor. Norske elevers kompetanse i lesing, matematikk og naturfag i PISA 2009 (s. 31–58). Oslo: Universitetsforlaget.
Guthrie, J.T. og Wigfield, A. (2000). Engagement and motivation in reading. In M. L. Kamil, P. B. Mosenthal, P.D. Pearson, & R. Barr (Eds.), Handbook of reading research: Vol. 3 (pp. 403-424). New York: Lawrence Erlbaum Associates.
Hoel, T. & Helgevold L. (2005). “Jeg leser aldri – men jeg leser alltid!” Gutter som lesere og som bibliotekbrukere. Stavanger: nasjonalt senter for leseopplæring og leseforsking.
Hopfenbeck, T.N. og Roe, A. (2010). Lese- og læringsstrategier. I: M. Kjærnsli og A. Roe (red.), På rett spor. Norske elevers kompetanse i lesing, matematikk og naturfag i PISA 2009. Lastet ned 18. mars 2014 fra <http:// www.pisa.no/pdf/publikasjoner/Paa_rett_spor.pdf>
Kjærnsli, M., Lie, S., Olsen R. V., & Roe A., (2007). Tid for tunge løft: norske elevers kompetanse i naturfag, lesing og matematikk i PISA 2006. Oslo: Universitetsforlaget.
Lie, S., Kjærnsli, M., & Turmo, A. (2001). Godt rustet for framtida? Norske 15-åringers kompetanse I lesing og realfag i et internasjonalt perspektiv. Acta Didaktica 2001/4. Oslo: Institutt for lærerutdanning og skoleforskning, Universitetet i Oslo.
OECD (2002). Reading for Change – Performance and Engagement Across Countries. Paris: OECD Publications.
OECD (2009). PISA 2009. Assessment Framework. Key comptencies in reading, mathematics and science. Paris, OECD Publications.
OECD (2010a). PISA 2009 Results: What Students Know and Can Do – Student Performance in Reading, Mathematics and Science (Volume I). Paris: OECD Publications.
OECD (2010b). PISA 2009 Results: Overcoming Social Background – Equity in Learning Opportunities and Outcomes (Volume II). Paris: OECD Publications.
OECD (2010c). PISA 2009 Results: Learning to Learn. Student Engagement, Strategies and Practices (Volume III). Paris: OECD Publications.
OECD (2016). PISA 2018. Draft Analytical Frameworks, May 2016. Hentet 28. april 2017 fra https://www.oecd.org/pisa/data/PISA-2018-draft-frameworks.pdf
Olsen, R. V. (2005). Item-by-country interactions in PISA 2003: Country-specific profiles of science achievement. I R. V. Olsen (red.), Achievement tests from an item perspective. An exploration of single item data from the PISA and TIMSS studies, and how such data can inform us about students’ knowledge and thinking in science. (Dr.scient.-avhandling). Oslo: Unipub.
Roe, A. (2010). Elevenes engasjement i lesing. I M. Kjensli & A. Roe (red.), På rett spor. Norske elevers kompetanse i lesing, matematikk og naturfag i PISA 2009. Oslo: Universitetsforlaget.
Roe, A. (2013), Lesing. I M. Kjærnsli og R. V. Olsen (red.), Fortsatt en vei å gå. Norske elevers kompetanse i matematikk, naturfag og lesing i PISA 2012 (s. 177–200). Oslo: Universitetsforlaget.
Roe, A. & Taube, K. (2012).To read or not to read- that is the question. Reading engagement and reading habits in a gender perspective. I: Egelund, N. (ed.) Northern Lights on PISA 2009- focus on reading. Side 45-74. Nordic Council of Ministers.
Roe, A. & Vagle, W. (2010). Resultater i lesing. I: Kjærnsli, M. & Roe, A. På rett spor. Norske elevers kompetanse i lesing, matematikk og naturfag. Oslo, Universitetsforlaget.
Rutkowski, L., Gonzalez, E., von Davier, M. & Zhou, Y (2014). Assessment Design for International Large-Scale Assessments. I L. Rutkowski, M. von Davier & D. Rutkowski (red.), Handbook of International Large-Scale Assessment. Background, Technical Issues, and Methods of Data Analysis. (s. 75–96). CRC Press, Taylor & Francis Group.
Shiefele, U. (2001). The Role of Interest in Motivation and Learning. I J. M. Collins& S. Messick (red.), Intelligence and Personality Bridging the Gap in Theory and Measurement. (s. 175–194). Lawrence Erlbaum Associates.
Solheim, R. G. & Tønnessen F. E. (2003). Slik leser 10-åringer i Norge. En kartlegging av leseferdigheten blant 10-åringer i Norge 2001. Stavanger: Senter for leseforskning.
Stanovich, K. (1986). Matthew effects in reading: Some consequences of individual differences in the acquisition of literacy. Reading Research Quarterly, 21, 360-407.
Statistics Canada (2011). Youth in Transition Survey (YITS). Hentet 28. april 2017 fra http://www23.statcan.gc.ca/imdb/p2SV.pl?Function=getSurvey&SDDS=4435
van Daal, V., Solheim, R. G., Gabrielsen, N. & Begnum, C. (2007). Norske elevers leseinnsats og leseferdigheter. Resultater for fjerde og femte trinn i den internasjonale studien PIRLS 2006. Stavanger: Lesesenteret, Universitetet i Stavanger.
Weinstein, C. E., Ivar, B. & Andreassen, R. (2006). Læringsstrategier og selvregulert læring: teoretisk beskrivelse, kartlegging og undervisning. I E. Elstad og A. Turmo (red.), Læringsstrategier. Søkelys på lærerens praksis. (s. 27–54). Oslo: Universitetsforlaget.