Summativ vurdering i formativ drakt – elevperspektiv på tilbakemelding fra heldagsprøver i norsk

Heldagsprøven er en utbredt skrivesituasjon og prøveform i norskfaget i ungdomsskolen og videregående skole. Prøven utarbeides og vurderes lokalt på den enkelte skole, og i løpet av fem timer skal elevene skrive en eller flere tekster i ulike sjangere. Tradisjonelt har prøvesituasjonen vært nokså lik eksamenssituasjonen i skriftlig norsk, og den har således en viktig funksjon som eksamenstrening. Ofte gis vurdering på sluttprodukter, tekster elevene ikke skal jobbe videre med, selv om den lokale utformingen av prøvesituasjonen gir rom for ulike måter å gjennomføre prøven på, med responsgrupper, mulighet for revisjon osv. Vurderingsforsking viser at kommentarer på sluttprodukter har begrenset verdi som læring (Leahy, Lyon, Thompson, & Wiliam, 2005). Noen forskere hevder også at en praksis der tilbakemelding gis sammen med karakter, i liten grad fører til videre læring (Butler, 1988; Leahy et al., 2005).

Siden innføringen av Kunnskapsløftet i 2006 har vi i norsk skole hatt en satsing på vurdering for læring. Dette innebærer at vurdering brukes som grunnlag for videre læring. Vurdering av heldagsprøven i norsk har tradisjonelt hatt en funksjon som vurdering av læring. I lys av satsingen på vurdering for læring er det imidlertid også interessant å se hvilke formative aspekter denne vurderingen har.

Her ligger utgangspunktet for studien som presenteres i artikkelen. Heldagsprøven er en typisk skrivesituasjon i norskfaget, og den tar tid både å gjennomføre og vurdere. Dersom kommentarer og vurdering gis på en ferdig tekst, er det en utfordring å få lærerens tilbakemelding til å få overføringsverdi til neste skriveoppgave. Er det slik at norsklæreres kommentarer på heldagsprøvebesvarelser ikke har noen betydning for elevenes videre skriveutvikling dersom de gis på ferdige tekster eller dersom de gis sammen med karakter? I denne artikkelen presenteres en studie der formålet er å få innsikt i hvordan elevene forholder seg til lærerkommentarene. Forskningsspørsmålet som belyses er: Hvordan forstår og bruker elevene lærers tilbakemelding på heldagsprøver i norsk?

Teoretisk forankring – vurdering for og av læring som dimensjoner

Vurdering for og av læring brukes ofte synonymt med henholdsvis formativ og summativ vurdering selv om begrepene har ulike utspring (Black, 1986; Scriven, 1967; Stobart & Gipps, 1997). Vurdering for læring skal gi informasjon som kan brukes til å fremme læring og tilpasse videre opplæring, mens vurdering av læring gir informasjon om elevenes kompetanse på et gitt tidspunkt, ofte på slutten av et opplæringsløp (Black, 1986; Harlen, 2006; Stobart & Gipps, 1997). Heldagsprøven kan betraktes både som en summativ og formativ vurderingssituasjon. Summativt gir vurderingen informasjon om elevens kompetanse på et gitt tidspunkt. Man kan på den annen side se på kommentarene som noe elevene skal bringe med seg videre. Dermed har vurderingen også et formativt element. Harlen (2006) hevder at all vurdering, uansett om den er formativ eller summativ, bør forbedre undervisning og læring, og at det er mer fruktbart å betrakte vurdering for og av læring som dimensjoner enn som dikotomier. En summativ vurdering kan ha formative elementer i seg og omvendt. Min studie bygger på en slik forståelse av vurdering for og av læring, jeg ønsker å studere hvordan elevene opplever tilbakemeldinger på heldagsprøver som summativ og formativ vurdering.

Det er godt dokumentert at vurdering for læring kan forbedre elevenes prestasjoner (Black & Wiliam, 1998; Hattie & Timperley, 2007). Feedback (tilbakemelding) regnes som en viktig strategi for å støtte elevenes læring (Leahy et al., 2005; Wiliam, 2009), men kan virke både positivt og negativt på elevenes prestasjoner (Hattie, 2009; Kluger & DeNisi, 1996). For at feedback skal virke positivt, må den ifølge Hattie og Timperley (2007) gi svar på følgende spørsmål:

• Hvor skal jeg (feed up)?
• Hvordan gjør jeg det (feed back)?
• Hva er neste steg (feed forward)?

Feed up handler om å kjenne til målene og vurderingskriteriene for arbeidet. Feed back er informasjon om den læring som har funnet sted, og feed forward er informasjon om fokus for framtidig læring (Hattie & Timperley, 2007). Begrepet feedback oversettes gjerne med tilbakemelding, og omhandler både feed back og feed forward. I den videre framstillingen bruker jeg for enkelhets skyld begrepet tilbakemelding både for å betegne tilbakemelding og framovermelding, og tilbakemelding brukes synonymt med begrepene lærerkommentarer og vurdering.

Den gode tilbakemeldingen viser både styrker og svakheter ved produktet, er konkret og individrettet, oppfordrer eleven til å reagere på tilbakemeldingen og gjør eleven delaktig i vurderingen (Black og Wiliam, 1998). Nettopp det at tilbakemelding brukes og at elevene er delaktige i vurderingen, er kritiske faktorer for at vurdering skal forbedre læring (Black & Wiliam, 2006; Kluger & DeNisi, 1996; Ramaprasad, 1983; Sadler, 1989; Wiliam, 2011). Elevene må være aktører i vurderingsarbeidet, hvis ikke kan tilbakemeldinger bli det Sadler (2010) kaller "feedback as telling", en enveisinformasjon som forutsetter transformasjon, at kunnskap kan overføres.

Disse prinsippene for effektiv tilbakemelding, feed up, feed back og feed forward danner det analytiske rammeverket for min studie.

Forskningsfeltet - skriving og tilbakemeldinger

I det følgende vil jeg ta for meg forskning på vurdering av skriving spesielt, først internasjonalt, deretter nordisk. Forskningsfeltet inkluderer blant annet studier av både formativ og summativ vurdering, tilbakemeldingspraksiser og elevers/studenters oppfatning og bruk av tilbakemeldinger. På tross av endrede politiske føringer for vurdering de siste tiårene er dette et av de minst utforskede områdene i internasjonal skriveforskning (Juzwik et al., 2006). Det er også verdt å være klar over at en stor del av den internasjonale forskningen som faktisk finnes, ikke gjelder grunnopplæringen, men høyere utdanning.

Én tilnærming til fagfeltet er studier av hva som karakteriserer tilbakemeldinger. Et utbredt funn i noen tidlige studier er at tilbakemeldingene er vage og inkonsistente (Smith, 1997; Sommers, 1982; Straub, 1996). Etterhvert har responsforskningen utviklet retningslinjer for gode tilbakemeldinger (Black & Wiliam, 1998; Shute, 2008; Straub, 1997), men vi mangler studier som kan nyansere funnene fra de tidlige studiene.

En annen tilnærming er studier av tilbakemeldingspreferanser. Slike studier viser at studenter liker å få spesifikke kommentarer, både på globalt og lokalt tekstnivå, men de liker ikke kommentarer som setter spørsmålstegn ved deres egne ideer eller som tar kontroll over deres egen skriving (Beach & Friedrich, 2006; Black & Wiliam, 1998; Straub, 1997).

Når det gjelder bruk av tilbakemeldinger, rapporterer studier at studentene enten ikke leser tilbakemeldingene (Hounsell, 1987) eller at de ikke forstår eller bruker dem (Gibbs & Simpson, 2004; Lea & Street, 1998; McCune, 2004). En nyere reviewstudie viser at studenter verdsetter å få tilbakemeldinger, men at de i liten grad bruker tilbakemeldingene. Dette forklares dels med kvaliteten på kommentarene, dels i at studentene mangler strategier for å bruke kommentarene og dels i at det ikke er forventet at studentene skal revidere tekstene sine etter å ha fått tilbakemelding (Jonsson, 2013).

I likhet med internasjonal skriveforskning er det også i norsk sammenheng begrenset forskning på vurdering av skriving. Kunnskapsløftets innføring av skriving som grunnleggende ferdighet har ført til økt interesse for skriving som grunnleggende ferdighet (Hertzberg, 2012) og skriving i fag (Flyum & Hertzberg, 2011; Helstad & Hertzberg, 2013; Knain, 2012; Vatn, Folkvord, & Smidt, 2009), men disse studiene omhandler ikke vurdering.

To studier om vurdering av skriving er KAL-prosjektet (Kvalitetssikring av læringsutbyttet i norsk skriftlig) og det pågående NORM-prosjektet (Developing national standards for the assessment of writing). I KAL-prosjektet analyseres blant annet elevbesvarelser og sensorkommentarer til avgangseksamen på ungdomstrinnet, med en rekke ulike tilnærminger (Berge, Evensen, Hertzberg, & Vagle, 2005a; Berge, Evensen, Hertzberg, & Vagle, 2005b; Skjelten, 2013), mens NORM-prosjektet har som formål å utvikle kunnskap om hva man kan forvente av elevers skrivekompetanse på ulike trinn i utdanningssystemet (Solheim & Matre, 2014). Disse studiene berører imidlertid ikke elevers forståelse av vurdering.

I prosjektet Forskning på individuell vurdering i skolen er vurderingspraksiser i norskfaget undersøkt (Fjørtoft, 2013). For ungdomstrinnet rapporterer studien om en manglende kultur for eksplisitt arbeid med revisjon av tekster. Ifølge Fjørtoft preges skriveundervisningen på ungdomstrinnet og videregående trinn i denne studien av tradisjonelle summative vurderingspraksiser, og han beskriver enkelte forsøk på endring av praksis som "summativ vurdering i en formativ drakt" (2013, s. 111).

Det finnes noen nordiske studier som belyser elevers forståelse og bruk av tilbakemeldinger spesielt. Et viktig funn i studier av elevers bruk av respons, er at elevenes omarbeiding i stor grad er svar på lærerens respons. Elevene gjør få egeninitierte endringer sammenlignet med endringene de gjør som svar på lærers respons (Brorsson, 2007; Bueie, 2014; Igland, 2008). Studiene viser også at det å sette av tid til revisjon er avgjørende for at lærerkommentarene blir brukt.

I en studie av finlandsk-svenske gymnaselevers forståelse og reaksjon på lærerkommentarer på ferdige tekster, finner Kronholm-Cederberg (2009) en responskultur som fokuserer på svakheter i tekstene og er preget av symboler uten ytterligere forklaringer, en responspraksis som elevene ofte ikke forstår. Kronholm-Cederberg kategoriserer elevenes forståelse i forståelse – ikkeforståelse, og reaksjonene i aksept – protest – ambivalens, kategorier som er relevante for min studie av elevenes forståelse av og reaksjon på tilbakemeldingene.

I en tidligere studie (Bueie, 2014) undersøker jeg fem elever forståelse og bruk av lærerkommentarer på tekster skrevet i prosess med revisjon. Denne studien har samme metodiske tilnærming for å studere elevers forståelse av tilbakemeldinger, men studerer bruk av respons gjennom tekstanalyse. Studien som presenteres i denne artikkelen supplerer Bueie (2014) ved at den undersøker elevers bruk av lærerkommentar gjennom intervjuer.

Vurderingsforskere har pekt på behovet for studier med et elevperspektiv (Gamlem & Smith, 2013; Hattie & Gan, 2011), for eksempel hvordan elever forstår og bruker tilbakemeldinger, slik fokuset er i denne artikkelen. Min studie bygger på eksisterende studier, men søker også å supplere disse med ny innsikt gjennom å innta et elevperspektiv på tilbakemeldinger på ungdomstrinnet.

Tidligere studier av elevers bruk av tekstkommentarer er tekstanalytiske studier av elevenes revisjon. Dette er én tilnærming som kan gi innsikt i hvordan elever forholder seg til lærerkommentarer, og indirekte kan revisjonen gi innblikk i hvordan elever forstår responsen fra lærer. Tekstrevisjon alene kan imidlertid ikke gi et fullstendig bilde av elevers forståelse av lærerkommentarer, siden forståelsen ikke uttrykkes eksplisitt. Den kan heller ikke forklare hvorfor en elev ikke har fulgt opp en kommentar – det kan ha ulike forklaringer; et uttrykk for mangelfull forståelse, at eleven er uenig i kommentaren eller at eleven ikke er motivert for å revidere teksten etc. Elever kan også klare å etterkomme kommentarer uten særlig forståelse dersom kommentarene er konkrete nok. For å få et dypere innblikk i hvordan elever forstår og forholder seg til lærerkommentarer, velger jeg en annen metodisk tilnærming, der elevene eksplisitt blir bedt om å sette ord på sin forståelse av kommentarene og hvordan de bruker tilbakemeldinger som ikke inngår i en prosessorientert tekstproduksjon.

Metode og materiale

Datainnsamling

Det empiriske materialet består av heldagsprøvebesvarelser i norsk med lærerkommentarer, verbale protokoller og individuelle elevintervjuer. Datainnsamling ble gjort i tilknytning til to heldagsprøver på hver skole, først våren 2013, så høsten 2013. Verbale protokoller brukes for å få innblikk i elevenes forståelse av kommentarene (Ericsson & Simon, 1993; Flower & Hayes, 1981). Jeg tar elevene ut av klasserommet i det de får tilbake tekstene sine med lærerkommentarer. Elevene leser teksten høyt, stopper opp hver gang de kommer til en lærerkommentar, leser den og tenker høyt rundt kommentaren. For å få ytterligere kunnskap om hvordan elevene bruker kommentarene, har jeg gjennomført individuelle elevintervjuer med utgangspunkt i en intervjuguide. Protokoller og intervjuer er tatt opp med lydopptaker og transkribert.

Utvalg og kontekst

For å få en bredde i materialet, ønsket jeg informanter fra flere læreres klasser. Informantene er 18 elever fordelt på fire skoler, seks ulike norsklærere i tre kommuner. Informantene ved tre av skolene gikk i niende klasse ved første datainnsamling og tiende klasse ved andre datainnsamling, mens de fra en skole gikk i henholdsvis åttende og niende klasse.

De deltakende skolene er praksisskoler i lærerutdanningen. Elevene i utvalget er valgt ut av sin norsklærer. Jeg ba lærerne velge ut en sterk skriver, en svakere skriver og en skriver med norsk som andrespråk. En kvalitativ studie med et begrenset utvalg på 18 elever har ikke som formål å gi et representativt bilde av det som studeres. Jeg har likevel et utvalg elever som kan ha ulik forforståelse og motivering for skriving, noe som kan gi et mer nyansert bilde av forståelse og bruk av lærerkommentarer enn ved å velge for eksempel bare sterke skrivere, selv om resultatene ikke er statistisk generaliserbare. Mellom de to datainnsamlingene skjedde det noen endringer i utvalget, slik at det på skole 2 bare var to av elevene igjen, mens det på skole 3 var fire elever. Det totale utvalget vises i tabell 1. Deltakelse er basert på informert samtykke fra elever og foresatte. Elevene er gitt fiktive navn.

Studiens skrivesituasjon er en heldagsprøve der elevene skriver en tekst på skolen, og får den tilbake med kommentarer og vurdering.

På skole 1 gis det bare karakterer ved terminslutt, ellers gis alle vurderinger uten karakter. Lærer kommenterer på pc, ved bruk av "spor endringer" - funksjonen i Word. Hun bruker fargekoder der blå farge markerer rettskrivingseller grammatikkfeil, rød farge viser tegnsettingsfeil og grønt brukes for kommentarer eller innskudd av ord. Fargekodene kan finnes i selve teksten eller i margkommentarer. I tillegg får elevene et vurderingsskjema med følgende momenter: helhetsvurdering, innhold og kildebruk, oppbygning, språk og stil, formelle ferdigheter og videre arbeid.

Også ved skole 2 kommenterer lærer på pc ved hjelp av "spor endringer". For å bevisstgjøre elevene på hva kommentaren gjelder, bruker læreren et bokstavsystem sammen med kommentaren, kalt "FROST", der hver bokstav står for en kommentartype: F (formulering), R (rettskriving) O (ordvalg), S (setningsoppbygging) T (tegnsetting). Elevene får også et skjema med kommentarer knyttet til tre mestringsnivåer og karakter. Den skriftlige vurderingen følges av en individuell, muntlig fagsamtale.

Lærer ved skole 3 kommenterer på pc, og bruker et fargekodesystem i sine tilbakemeldinger, der rød farge markerer grammatisk feil eller rettskrivingsfeil, gul farge markerer formuleringsproblemer og grønn farge at noe er bra i teksten. Elevene får tilbake tekstene med kommentarer, men uten karakter. De skal så, ved hjelp av et skjema med kriterier, vurdere hverandres tekster i grupper, og de skal vurdere egen tekst. I egenvurderingen skal de foreslå karakter. Deretter har de en samtale om vurderingen med lærer, og her får elevene karakteren.

Ved skole 4 får elevene tilbakemelding og vurdering enten skrevet for hånd eller pc (ved "spor endringer"). Kommentarene er plassert underveis i teksten og en sluttkommentar med karakter. Elevene får først tilbake teksten med kommentarer, men uten karakter. De skal rette teksten før de får karakteren.

Det er altså litt ulike vurderingspraksiser ved de fire skolene. Lærerne har ulike kodesystemer, og én skole gir ikke karakter. Ved to av skolene, skole 3 og 4, kreves en form for bearbeiding av tekstene, enten i form av "retting" eller egenvurdering og kameratvurdering, mens ved to skoler er det ikke forventet bearbeiding etter vurdering. Tabell 1 gir en skjematisk oversikt over utvalget og vurderingspraksis.

Tabell 1: Oversikt over utvalget. Tabellen viser skoler, kommuner, elever og en kortfattet beskrivelse av vurderingspraksis. Elevnavnene er fiktive.

Skole, trinn	Elever (morsmål)	Vurdering
Skole 1, 9.-10. trinn (Elever fra en klasse) (Kommune A)	Harald (norsk) Espen (norsk) Leo (thai)	Kommentarer og fargekoder i teksten (pc), samt eget vurderingsskjema. Vurdering uten karakter. Ingen krav om bearbeiding etter vurdering.
Skole 2, 8.-9. trinn (Elever fra en klasse) (Kommune B)	Fredrik (norsk) Juana (portugisisk)	Kommentarer i teksten (pc), eget vurderingsskjema og muntlig fagsamtale om vurderingen. Vurdering med karakter. Ingen krav om bearbeiding etter vurdering
Skole 3, 9.-10. trinn (Elever fra en klasse) (Kommune B)	Sigurd (norsk) Dag (norsk) Jelena (polsk) Krystyna (polsk)	Kommentarer og fargekoder i teksten (pc), og skjematisk sluttkommentar. Vurdering med karakter. Karakter gis etter at eleven har gjennomført egenvurdering og kameratvurdering, i muntlig samtale. Ingen revisjon av teksten etter vurdering.
Skole 4:, 9.10. Trinn (Elever fra tre klasser) (Kommune C)	Jon (norsk) Martine (norsk) Swetlana (polsk) Mariam (urdu) Zurab (somali) Yusuf (somali) Petter (norsk) Sara (norsk) Emilie (norsk)	Kommentarer i teksten (pc/håndskrift). Vurdering med karakter, men eleven får først karakteren etter å ha rettet teksten (retting av rettskriving og tegnsetting).

Dataanalyse

Det empiriske materialet blir analysert ved hjelp av rammeverket som ble presentert tidligere, knyttet til prinsippene for effektiv feedback: feed up, feed back og feed forward, og resultatkapitlet er strukturert etter disse prinsippene. Elevenes forståelse av kommentarene analyseres i kategoriene forståelse – ikkeforståelse, og elevenes reaksjon på kommentarene analyseres i kategoriene aksept, ambivalens, protest (Kronholm-Cederberg, 2009).

I resultatdelen er utdragene fra de verbale protokollene skrevet slik at elevene starter med å lese fra teksten (markert [Fra teksten]), så leser eleven kommentaren (markert [Kommentar]) og til slutt rapporterer eleven hvordan kommentaren forstås (markert [Om kommentaren]). Sitater fra intervjuene er kursivert.

Resultater og analyse

I det følgende presenteres studiens funn, strukturert etter begrepene feed up – elevenes forståelse for mål og kriterier, feed back – elevenes forståelse av hvordan de har gjort det på oppgaven og feed forward – elevenes forståelse av hvordan de bør jobbe videre.

Feed up – elevens innsikt i mål og kriterier

Feed up handler om at elevene kjenner målet for arbeidet og kriteriene for vurderingen. Mitt materiale viser at elevene uttrykker usikkerhet knyttet til hva som vurderes. For de fleste elevene stod vurderingskriteriene på oppgavearket de fikk på heldagsprøven, og dette hadde de framfor seg under intervjuene. Likevel er bevisstheten rundt vurderingskriteriene nokså svak hos de fleste elevene. På spørsmålet om elevene kjente til vurderingskriteriene for oppgaven på forhånd, svarer to at de ikke kjente til disse, mens to svarer at de var usikre. De resterende 14 elevene sier de kjente kriteriene. Det er imidlertid få som kan gi eksempler på kriterier. De fleste eksemplifiserer med generelle utsagn som at de skulle skrive riktig og svare på oppgaven. Bare to elever sier at de aktivt forholder seg til vurderingskriteriene mens de skriver. En av disse er Fredrik, som uttaler:

… Så jeg skrev meg egentlig ferdig, og så sjekket jeg om jeg hadde med alt, og så tilføyde jeg det jeg ikke hadde, så tok jeg bort det som var overflødig. (…). Jeg liker å vite hva vi blir vurdert etter, så slipper vi liksom å ende opp med å få denne tilbake, så får du dårlig karakter.

Utsagnet viser at Fredrik bruker vurderingskriteriene for å kvalitetssikre at besvarelsen er i tråd med kriteriene. Flertallet av elevene sier imidlertid at de ikke bruker kriteriene aktivt i skrivearbeidet.

Feed back handler om at elevene forstår hvordan de har gjort det på den aktuelle oppgaven.

Jeg presenterer først hvordan elevene forstår enkeltkommentarer i teksten, altså kommentarer på ulike tekstnivå, basert på de verbale protokollene. Deretter presenterer jeg hvordan elevene forstår vurderingen mer generelt, basert på intervjuene.

Forståelse av enkeltkommentarer i tekstene

Elevene kan forstå eller ikke forstå lærerkommentarene, og de kan reagere på kommentarene med aksept, protest eller ambivalens (Kronholm-Cederberg, 2009). De verbale protokollene viser at elevene i hovedsak uttrykker en adekvat forståelse av lærerens kommentarer, og det gjelder kommentarer på ulike tekstnivå. Eksemplene under viser elevenes forståelse.

(1)[Fra teksten:] Etter at jeg var uteksaminert hadde jeg kjæreste og mange venner som alltid hjalp meg, men der jeg var i dag hadde aldri skjedd uten Martin sin død. [Kommentar:] Stort tidssprang er ikke et sjangertrekk for en novelle. [Om kommentaren:] Da hadde jeg skrevet, eller da var det stort tidssprang, og ikke et sjangertrekk for en novelle. … Novelle skjer egentlig, det er ikke sånn over veldig lang tid, det er over en liten periode, på ett sted. (Jens, novelle om et vendepunkt i livet)

(2)[Fra teksten:] I løpet av det siste tiåret har utbredelsen av digitale midler økt eksepsjonelt mye. For 15 år siden var det eksklusivt å ha en personlig datamaskin, men til i dag har tingenes tilstand forandret seg drastisk. [Kommentar:] God formulering. [Om kommentaren:] Her har jeg fått en merknad på at det var en god formulering, fordi… tror jeg da… det var liksom saklig skrevet, på en voksen måte da, på en måte. (Fredrik, artikkel om digitale midler i hverdagen)

Av dette ser vi at Jens viser forståelse for lærers kommentar om hans tidsbrudd i novellen er et sjangerbrudd. Fredrik tolker lærers kommentar som at det er en god formulering fordi det er voksent skrevet. Vi vet ikke om det er slik lærer har ment, men det kan virke å være en adekvat tolkning. I noen tilfeller uttrykker elevene imidlertid en usikkerhet eller manglende forståelse for kommentarene. Dette gjelder særlig hvis kommentaren består av en fargekode uten ytterligere kommentar. Slik uttrykkes usikkerheten av Dag, Sigurd og Harald:

(1)[Fra teksten:] Har rasisme i Norge ført til at personer har blitt drept? [Kommentar:] setningen er markert med gul farge. [Om kommentaren:] Jeg tror hun har gulet ut den starten fordi jeg har brukt for mye spørsmål og heller burde brukt mer påstander i avsnitta mine. (Dag, debattartikkel om rasisme. Gul fargekode betyr at formuleringen kan bli bedre.)

(2)[Fra teksten:] De tyske soldatene med Hitler som fører "slaktet" ned jøder, polakker, russere, homofile, funksjonshemmede, handicappede og mange flere bare fordi de var litt annerledes enn dem selv. [Kommentar:] Setningen er markert med gul farge. [Om kommentaren:] Her skjønner jeg ikke helt hva lærer mener, men jeg har fått gult, kanskje fordi jeg har skrevet feil i teksten her. (Sigurd, debattartikkel om menneskerettigheter. Gul fargekode betyr at formuleringen kan bli bedre.)

(3)[Fra teksten:] Noen er trent i å avsløre andre, og ser etter felles trekk og kroppsspråk hos mennesker. [Kommentar:] "felles trekk" er markert med blå farge. [Om kommentaren:] Jeg vet ikke hva som er feil her jeg, … hva det er retta på… (Harald, tekst om livsløgn. Blå fargekode betyr rettskrivings- eller grammatikkfeil.)

Her ser vi at Dag og Sigurd uttrykker usikkerhet, men har en fortolkning av kommentaren. Harald har derimot ingen fortolkning av lærers kommentar. Mens Dag knytter kommentaren til at han har brukt mange spørsmål i framstillingen sin, noe som virker å være en adekvat tolkning av kommentarer, tror Sigurd det handler om at han har skrevet feil. Feil markeres imidlertid med rød farge, den gule kommentaren markerer svakheter i selve formuleringen. Eksemplene illustrerer hvordan kommentarer kan misforstås (Sigurd) eller ikke forstås (Harald).

Når det gjelder elevenes reaksjoner på kommentarene, møtes de i hovedsak med aksept. Bare en av elevene, Jon, skiller seg fra resten ved å være uenig i flere av lærers kommentarer. Uenigheten er særlig knyttet til kommentarer til ordvalg, men også til innholdsrelaterte kommentarer i fortellingen:

[Fra teksten:] Per, min beste kamerat, hoppet ned fra båten og tok meg på skulderen. Jeg skvatt, spant rundt og slo han ned. Jeg traff Jon på nesa og blodet fosset. [Kommentar:] Litt urealistisk. [Om kommentaren:] Urealistisk, hva da? Hva er det som er urealistisk? Du kan jo skvette i en sånn manøver… Det jeg mente var at han hadde armen ute sånn, fordi han skvatt så veldig, men det er jo ikke urealistisk at det kan skje hvis du står i veldig dype tanker og plutselig tar noen deg på skulderen. (Jon, fortelling med handling fra en annen tid/verden/kultur)

Eksempelet over viser at Jon er uenig i kommentarer som rokker ved hans prosjekt, og det finnes noen eksempler på slike protester hos denne eleven. Han er imidlertid enig i andre kommentarer: "Her vil Lærer at jeg skal skildre mer og se på noen sider i Kontekst-boka [læreboka] om å utvide dette øyeblikket. Det kan jeg nok være enig i.".

Oppsummert ser vi at elevene i hovedsak forstår kommentarene de får, og usikker eller mangelfull forståelse knytter seg til kommentarer i form av fargekoder. Slike kommentarer kan være utfordrende fordi de krever at elevene husker hvilket tekstnivå fargen er knyttet til og de må selv finne ut hvorfor et tekstelement er markert med denne fargen. Vi ser også at elevene i hovedsak møter kommentarene med aksept.

Forståelse av vurderingene mer generelt

Mens de verbale protokollene gir innsikt i hvordan elevene forstår spesifikke kommentarer, gir intervjuene innsikt i hvordan elevene forstår vurderingene mer generelt.

Flertallet av elevene synes tilbakemeldingene begrunner karakteren de får på heldagsprøven. Seks av elevene sier imidlertid at det varierer, noen ganger forklarer tilbakemeldingen karakteren, andre ganger ikke. Fredrik, som ofte får høy karakter, savner informasjon om hva som mangler for å få toppkarakteren. Swetlana, Jon og Petter sier de noen ganger opplever at de skriftlige kommentarene er veldig positive, og så er det ikke helt samsvar mellom disse positive kommentarene og karakteren de får. Swetlana sier: "Hvis det står… denne teksten er bra, mye bedre enn før, (…), og så får du en 3er. Den var bedre, lærer sa jeg skrev mye, mye bedre, men så får jeg fortsatt en 3er da, hva er bedre da". Disse elevene opplever altså at kommentarene fra lærer gir inntrykk av en positiv skriveutvikling, samtidig som dette ikke kommer til uttrykk i høyere karakter.

Flere elever synes det er vanskelig å trekke ut det viktigste de har lært av denne tilbakemeldingen. Selv om elevene får kommentarer på ulike tekstnivå, er det særlig det som gjelder lokale tekstnivå, såkalte kodekompetanser (Solheim & Matre, 2014), flertallet av elevene trekker fram som viktig. Bare fire elever mener kommentarer på globale nivå som innhold eller sjanger er viktigst. En elev sier at hun ikke har lært noe, fordi hun får de samme tilbakemeldingene fra tekst til tekst.

Intervjuene viser altså at de fleste elevene forstår karakteren de får, men noen elever opplever ikke alltid samsvar mellom positive tilbakemeldinger og karakteren. Når elevene skal oppsummere hva de har lært av tilbakemeldingene, er det særlig rettskriving og tegnsetting som trekkes fram.

Feed forward – elevens innsikt i hvordan han skal gå videre i arbeidet med skriving

Gjennom feed forward får elevene råd om hvordan de skal jobbe videre. I intervjuene undersøker jeg hvordan elevene bruker lærers tilbakemelding. Vi skal se hvordan elever bruker tilbakemeldingene før de skal skrive en ny tekst, hva de gjør idet de får tilbakemeldingene, hvordan de følger opp tilbakemeldingene og hva de ser på som gode tilbakemeldinger.

Bruk av tilbakemeldinger i forberedelse til ny skriveoppgave

Mitt materiale viser at bruk av tidligere tilbakemeldinger har liten plass i forberedelsen til en ny skriveoppgave. Harald så på tidligere tilbakemelding på en tekst i samme sjanger som han skulle skrive denne gangen, og Sigurd sier: "Jeg så gjennom dem og det jeg hadde fått riktig og feil på, og så tok jeg med meg det sånn at jeg kunne se hva jeg måtte øve litt ekstra på". De andre elevene sier de ikke brukte tidligere tilbakemeldinger i forberedelsen til skrivedagen.

Hva gjør elevene straks de får tilbakemelding?

Alle elevene leser gjennom kommentarene fra lærer. Noen ser først på karakteren, så kommentarene, mens andre gjør det motsatte. Ingen elever gjør noe med teksten, med mindre de har fått beskjed om å gjøre noe. Som Swetlana uttrykker det: "Hvis lærer sier at vi skal rette, så gjør jeg det. For jeg vil jo ikke få nedsatt oppførsel. (…) Ellers så bare ser jeg gjennom de og tenker liksom på hva jeg må jobbe litt mer med da." Dette synspunktet uttrykkes av flere av elevene, de sier de leser kommentarer og rettinger og "tar det til seg", slik at de vil prøve å huske på det neste gang de skriver.

Det er variasjon i hva elevene skal gjøre etter de har fått tilbakemelding på tekstene. Skole 1 og 2 hadde ikke krav til bearbeiding. Disse elevene sier at de bare leser tilbakemeldingene, men gjør ikke noe annet. På skole 4 skulle elevene "rette" tekstene før de fikk karakteren. Slik vurderer Emilie ordningen med å "rette": "Det fungerte egentlig ganske greit. Nå til de tentamenene vi hadde nå, skulle vi rette opp alle feilene våre. Da så jo alle mer på tilbakemeldingene egentlig. Jeg tenker mer på hva jeg har gjort feil og hva jeg kunne ha gjort bedre og sånn." Elevene som har opplevd denne praksisen, uttrykker at det gjør at de forholder seg litt mer til feilene enn de ville gjort om de ikke skulle rette opp teksten. Det er likevel ikke alle som ser poenget med retting. Slik uttrykker Petter dette: "… denne gangen her så måtte vi rette hele greia før vi får karakter og sånn, og det er ikke jeg så veldig fan av da, for jeg ser ikke poenget i å gjøre det. Jeg har skrevet den og nå er jeg ferdig med den." Det er også viktig å merke seg at å rette opp teksten betyr å rette skrivefeil og kanskje også omformulere enkelte setninger, elevene gjør ikke større endringer i teksten, f.eks. knyttet til innhold, sjanger eller struktur. Bearbeiding av teksten etter tilbakemelding handler altså om det lokale tekstnivået.

På skole 3 hadde elevene kamerat- og egenvurdering før de fikk karakteren. Disse elevene sier at de synes dette er nyttig, men at det kan være vanskelig både å vurdere egen og andres tekster. Elevene skal ikke gjøre noe mer med tekstene etter vurdering.

Bruk av tilbakemeldinger over tid

Med unntak av to elever tar elevene vare på tekstene og tilbakemeldingene, enten i en perm eller på pc-en. Det er imidlertid få som går tilbake til eldre tilbakemeldinger. Samia og Sigurd sier de prøver å passe særlig på å forbedre det de har fått tilbakemeldinger på før, mens Jon sjekker rettskriving opp mot tidligere tilbakemeldinger ved å søke på ord han har skrevet galt før. Harald så på tidligere tilbakemelding denne gangen, fordi han hadde skrevet en tekst i samme sjanger før. Harald sier at det var greit å se på tilbakemeldingen fordi det var samme sjanger, ellers er det vanskelig å overføre tilbakemeldinger fra en sjanger til en annen. Tolv av elevene ser ikke tilbake på eldre tilbakemeldinger.

Seks elever snakker ikke med noen om tilbakemeldingene, de andre tolv pleier å snakke med venner eller foreldre. Samtalene handler først og fremst om karakterer, men fire av elevene sier de ofte leser medelevers tekster, og at de gjennom dette både kan lære av hverandre og hjelpe hverandre.

Tilbakemeldingenes betydning for skriveutvikling

Elleve elever synes tilbakemeldingene hjelper dem til å forstå hvordan de kan bli bedre til å skrive, resten sier tilbakemeldingene noen ganger viser hva som må bli bedre, andre ganger ikke. Elevene synes det er vanskelig å trekke fram bestemte tilbakemeldinger de har opplevd som særlig nyttige, de sier de lærer litt og litt for hver gang de får tilbakemelding. Noen elever sier de ikke lærer så mye av tilbakemeldinger som gjentar seg fra tekst til tekst eller hvis det handler om slurvefeil som de ikke så da de skrev teksten. Et par av de sterkeste skriverne sier også at lærer kommenterer lite i teksten, og at de da ikke lærer så mye. Martine uttrykker følgende om hvordan tilbakemeldingene noen ganger ikke hjelper henne:

… hvis det er tilbakemelding som sier sånn du må gå og lære deg noe, altså lese i en bok eller noe, lese mer om … ja, f.eks. her da, må lese mer om sjangeren fortelling … Jeg gjør jo ikke det. Jeg kan ikke bare lese i en bok og så lære meg hvordan man skriver en fortelling. Så liksom da … ja, jeg vet jo at man skal ha en avslutning og innledning, men hva gjør man for å gjøre det spennende, liksom, jeg lærer ikke det av å lese om det. Jeg lærer bedre hvis læreren forklarer det, det er mye bedre. Men hun kan jo ikke gi sånne tilbakemeldinger muntlig til alle, det skjønner jeg jo, at hun ... for vi har jo ikke samme problemet alle sammen, så det blir jo forskjellig, da.

Martines utsagn kan si oss noe om strategier for å bruke tilbakemeldinger. For denne eleven daler motivasjonen når hun selv må bruke læreboken aktivt for å lese om skriving, hun ønsker all forklaring fra lærer.

Tilbakemelding virker positivt på motivasjonen for å skrive for de fleste elevene. Dette gjelder særlig positive tilbakemeldinger, men flere elever synes også at negative kommentarer er motiverende, fordi man får lyst til å forbedre seg. Swetlana sier at hun blir motivert dersom tilbakemeldingen viser henne konkret hva hun må jobbe med, hvis hun ikke forstår dette, mister hun motivasjonen.

De gode tilbakemeldingene – slik elevene ser det

Elevene har ulike preferanser når det gjelder tilbakemeldinger. De ønsker tilbakemeldinger som viser både styrker og svakheter ved tekstene. Videre ønsker de tilbakemelding på alle tekstnivåer, men særlig kommentarer på lokale tekstnivå framheves fordi det er viktig for helheten i teksten.

Flertallet av elevene ønsker tilbakemeldinger som er formet slik at de selv må reflektere over andre løsninger, finne feilene etc. Noen få av elevene, og det gjelder både sterke og svakere skrivere, mener det er best at lærer retter og kommer med konkrete råd. En av disse er Dag, som begrunner ønsket med at han har skrevet slik han tror er bra, og at han ikke ser hvordan det kan bli bedre uten konkrete råd fra lærer.

Noen av de sterkeste skriverne i mitt materiale sier at de synes de får få kommentarer og kunne ønske seg flere tips for hvordan de kan bli enda bedre til å skrive. Flere av elevene ønsker mer muntlige tilbakemeldinger i tillegg til de skriftlige. Elevene ved skole 2 har en fagsamtale med lærer i forbindelse med vurdering, og de uttrykker at de synes dette er veldig nyttig. Også de andre elevene sier de gjerne skulle hatt mer muntlige tilbakemeldinger, for da er det mulig "å få utdypet litt mer, at man der og da kan få avklart uklarheter" (Espen) og "tilbakemeldingene blir mer utfyllende enn de korte, skriftlige" (Zurab). Og som Sara uttrykker det: "… Da ser man hvordan de sier og hvordan de uttrykker de forskjellige tingene. For noen ganger så kan man lese og så leser man feil, og så tenker man oj, så leser man det kanskje på en litt negativ måte." For Sara kan muntlig tilbakemelding gi støtte for å forstå om tilbakemeldingen er ment positiv eller negativ.

Drøfting

Forskningsspørsmålet for denne studien er Hvordan forstår og bruker elevene lærers tilbakemeldinger på heldagsprøver i norsk? Når det gjelder første del av forskningsspørsmålet, elevenes forståelse av tilbakemeldinger, viser studien at elevene i hovedsak forstår lærerens kommentarer. Dette er i samsvar med funn fra en tidligere studie, Bueie (2014). I en liknende studie i et finlandssvensk gymnas finner derimot Kronholm-Cederberg (2009) at elevene i stor grad er undrende til kommentarene og at de ofte ikke forstår. Tilsvarende funn rapporteres også i studier av høyere utdanning (Gibbs & Simpson, 2004; Lea & Street, 1998; McCune, 2004). Min studie viser at elevene møter en tilbakemeldingspraksis som i hovedsak er forståelig. Det er imidlertid ikke alle elevene som forstår karakteren de får. En tredjedel av elevene opplever manglende samsvar mellom kommentarer og karakter, kommentaren uttrykker bedring, mens karakteren ikke blir bedre.

Et viktig funn som gjelder elevenes forståelse, er forståelsen for vurderingskriterier. Studien viser at elevene har lav bevissthet rundt vurderingskriteriene. Et flertall av elevene sier at de vet hva som blir vurdert, men få klarer å konkretisere og gi eksempler på kriterier og også hvordan kriteriene kan forstås og brukes aktivt i skrivearbeidet. Dette funnet er interessant på bakgrunn av den satsingen norsk skole lenge har hatt på formativ vurdering, først med prosjektet Bedre vurderingspraksis (Utdanningsdirektoratet, 2009), deretter prosjektet Vurdering for læring (Hopfenbeck et al. 2013). Disse prosjektene har blant annet ført til at det har blitt vanlig å gi elevene oppgaver med detaljerte kriterier for hva de blir vurdert etter. Dette er en etablert praksis i norskfaget (Fjørtoft, 2013). Slik er det også i min studie, og i flere av intervjuene sitter elevene faktisk med kriteriene foran seg. Når de likevel ikke kan konkretisere vurderingskriterier, kan det ha sammenheng med en mulig svakhet ved intervjusituasjonen. Nettopp fordi de sitter med kriteriene foran seg, kan de tenke at det er unødvendig å gjengi det som står skrevet på papirene som ligger framfor dem under intervjuet; det kan tenkes at de tror intervjueren er ute etter noe "mer". Samtidig viser andre studier at studenter og elever kan ha uklar oppfatning av hva mål og kriterier betyr, og hvilke kriterier som gjelder for vurderingen (Dysthe & Hertzberg, 2009; Hounsell, 2007; Sadler, 2005). Det er ikke nødvendigvis tilstrekkelig med kriterier og tilbakemeldinger basert på kriteriene. Sadler (1989) framhever betydningen av å gi "exemplars of performance" (1989, s. 121), altså autentiske eksempler på kvalitativt gode prestasjoner. Det å vise eksempler og å involvere elevene i diskusjon rundt kriterier, gjør ifølge Rust, Price og O'Donovan (2003) at elevene får en annen forståelse av kriteriene og hvordan disse kan brukes for å utvikle eget arbeid. Lærere må altså bruke tid på å gjennomgå og forklare hva kriteriene betyr og hvordan de kan brukes dersom kriterielistene skal bli et verktøy for elevenes læring.

Til andre del av forskningsspørsmålet, som går på elevenes bruk av tilbakemeldinger, viser studien at alle elevene sier at de leser kommentarene de får, både de som står underveis i teksten og de som står til slutt eller i eget vurderingsskjema. En studie av Hounsell (1987) viser at studenter ikke leser tilbakemeldingene, mens Leahy et al. (2005) og Butler (1988) problematiserer det å gi karakterer og kommentarer samtidig, og peker på at en slik praksis kan føre til at elevene ikke leser kommentarene. Dette er ikke tilfellet i min studie, elevene leser kommentarene, også når de gis sammen med karakter.

I prosjektet Forskning på individuell vurdering i skolen rapporteres det om at norsklærere i ungdomsskolen i løpet av de siste ti årene har utviklet et mer prosessuelt syn på heldagsprøver (Sandvik et al., 2012). Den samme studien viser imidlertid også at summative vurderingspraksiser dominerer, og det er i liten grad lagt opp til at elevene skal revidere tekster etter å ha fått tilbakemelding (Fjørtoft, 2013). I min studie kommer det prosessuelle synet på heldagsprøven til uttrykk i forberedelsene til prøven. Skolene forbereder skrivingen gjennom sjangeropplæring og lesing av modelltekster, elevene får forberedelseshefte, vurderingskriterier og de kan ha med seg notater og hjelpemidler på prøvedagen. Selv om skrivesituasjonen ikke er prosessorientert, kan det tyde på at den prosessorienterte skrivepedagogikken har fått innflytelse på heldagsprøven, men dette gjelder i forberedelsesfasen, det foregår lite revisjonsarbeid etter elevene har fått tilbakemelding. Elevene blir oppfordret til å bruke tilbakemeldingene på en formativ måte ved å huske på kommentarene når de skal skrive neste tekst, men det blir i liten grad lagt til rette for at de skal brukes formativt.

Elevene i studien gjør det som forventes av dem etter de har fått tilbakemelding. Ved en av skolene blir det stilt krav til retting og ved en skole ble det stilt krav til egen- og kameratvurdering før elevene får karakter. Ved de to siste skolene opplever elevene ikke at det er forventet at de skal gjøre noe utover å lese og huske på tilbakemeldingene, og de gjør heller ingenting mer med tekstene. Dette sammenfaller med Jonsson (2013) og Brorsson (2007) sine funn. Både elevene som må rette tekstene sine og elevene som må egenvurdere og kameratvurdere tekstene, sier de forholder seg mer aktivt til tilbakemeldingen enn de ville gjort om dette ikke var forventet.

Elevene omtaler det å gå tilbake til teksten som "retting", som er et snevert syn på tekstrevisjon. Lærerkommentarene på heldagsprøvene handler også om andre forhold enn de lokale tekstnivåene som kan "rettes", og slike kommentarer opplever ikke elevene i studien at det er forventet at de skal gjøre noe med. Vi har også sett at elevene trekker fram kommentarer på lokale tekstnivå når de skal oppsummere hva de har lært av tilbakemeldingene. Kommentarer på lokale nivå er mer konkrete og kan derfor være lettere å forholde seg til enn kommentarer på globale tekstnivå. De elevene som skal gjøre noe med tilbakemeldingene, skal rette teksten, altså revidere på lokale tekstnivå. Det at det bare er slike kommentarer som skal brukes, kan gjøre at elevene opplever slike kommentarer som særlig viktige.

Et flertall av elevene i denne studien ønsker mer muntlige tilbakemeldinger som kan supplere de skriftlige. Slike muntlige tilbakemeldinger inngår i det Gamlem og Smith (2013) kaller "tilbakemeldinger som faglig dialog" (2013, s. 162). Ifølge Gamlem og Smith finner elevene slike tilbakemeldinger svært nyttige, fordi det er en type tilbakemelding som inneholder stor grad av verbal interaksjon og elevene er aktive deltakere, noe som er viktige forutsetninger for formativ vurdering. Å supplere skriftlige tilbakemeldinger med muntlige kan synes å være et grep som kan gi tilbakemeldinger en sterkere formativ funksjon, blant annet fordi tilbakemeldingene kan utdypes og forklares, slik at misforståelser kan unngås.

Oppsummering

Tilbakemeldinger på heldagsprøven har både en summativ og en formativ funksjon. Mitt materiale tyder på at tilbakemeldingene fungerer godt i en summativ hensikt, elevene forstår og aksepterer i hovedsak kommentarer og vurdering. Tilbakemeldingene fungerer imidlertid svakere som formativ vurdering fordi de i liten grad brukes og følges opp. Selv der hvor det legges til rette for bearbeiding etter tilbakemelding, er bearbeiding begrenset til lokale tekstnivå. Det er altså et potensiale ved at det kan legges til rette for at kommentarene brukes i større grad, både gjennom mer omfattende revisjon av tekster og i forberedelse til nye skriveoppgaver.

I norsk skole har vi de siste årene hatt en satsing på vurdering for læring. Noen vurderingsforskere hevder at vurdering først er formativ først når den brukes for videre læring (Black & Wiliam, 2006; Kluger & DeNisi, 1996; Sadler, 1989). Hvis den ikke brukes, blir den det Sadler (2010) kaller "feedback as telling". I dette ligger det at kunnskap ikke nødvendigvis overføres gjennom tilbakemeldingene dersom tilbakemeldingene er informasjon fra lærer til elev, uten at eleven skal respondere på dem. Elevene må være aktive i vurderingsarbeidet, og de må gis mulighet til å respondere på tilbakemeldingene (Black & Wiliam, 1998; Sadler, 2010). Min studie tyder på at tilbakemeldinger på heldagsprøven i stor grad er slik "feedback as telling", som det i liten grad legges til rette for at elevene skal respondere på. Dette er i samsvar med Fjørtofts funn (Fjørtoft 2013), elevene er i liten grad involvert i vurderingsarbeidet, og det er i liten grad lagt opp til revisjon etter vurdering. Fjørtoft finner enkelte forsøk på endringer i vurderingspraksis, men karakteriserer disse som summativ vurdering i formativ drakt. Også i min studie er to skoler som legger opp til en viss bruk av tilbakemeldingene, men det er begrenset, slik at tilbakemeldingene først og fremst fungerer summativt. Satsingen på vurdering for læring kommer foreløpig lite til uttrykk i vurderingspraksiser knyttet til heldagsprøven.

Enkelte didaktiske grep synes å kunne bidra til at tilbakemeldinger på heldagsprøver kan få en styrket formativ funksjon, for eksempel det å jobbe med å utvikle elevenes strategier og refleksjon rundt hvordan de kan bruke både vurderingskriterier og tilbakemeldinger. Videre bør man legge til rette for revisjon etter tilbakemelding, og denne bør omhandle både lokale og globale tekstnivå. Det å utvikle systemer for å bruke tidligere tilbakemeldinger når nye tekster skal skrives, synes også å være viktig for at tilbakemeldingene skal få en overføringsverdi fra en oppgave til neste. Gjennom muntlige tilbakemeldinger kan det skapes en dialog om tilbakemeldingene som gir større grad av interaksjon og gjør elevene mer delaktige i vurderingsarbeidet enn om tilbakemeldingene gis skriftlig som enveisinformasjon. Norsklærere bruker mye tid på å gi tilbakemeldinger på heldagsprøvebesvarelser. For at dette skal være vel anvendt tid, trengs et styrket systematisk arbeid med oppfølging av tilbakemeldingene, slik at tilbakemeldingene i sterkere grad får en formativ funksjon.