Vurdering for læring i norskfaget: Hva kjennetegner norsklæreres skriftlige tilbakemeldinger til egne elever?
I hvilken grad gir lærerne skriftlige tilbakemeldinger som retter seg mot målet med opplæringen og i hvilken grad inneholder de konkrete råd og instrukser som kan hjelpe elevene til å komme nærmere målet?
Vurdering for læring (VfL) er et stadig voksende forskningsfelt, og det har hatt betydelig innflytelse på norsk utdanningspolitikk gjennom både lovendringer og større satsinger der det er investert mye i undervisningsressurser, etterutdanning av lærere og lokalt forankrete utviklingsprosjekter. Det er imidlertid lite forskning på hvordan denne satsingen manifesterer seg i praksis, og spesielt med hensyn til VfL i norskfaget. I denne artikkelen presenteres resultater av en undersøkelse av seks norsklæreres skriftlige tilbakemeldinger til egne elever på 171 skriftlige heldagsprøver i norsk, gitt tilbake til elevene med cirka ni uker igjen av skoleåret. Tilbakemeldingene er kvalitativt analysert og kategorisert i en eksplorerende studie. Funnene indikerer at lærerne langt på vei gir elevene tilbakemeldinger som er i tråd med anbefalingene fra sentral VfL-forskning om hva som kjennetegner formative tilbakemeldinger, men at det samtidig er betydelig variasjon.
Assessment for learning (AfL), known from extensive international research has made a considerable impact on Norwegian educational policy, including changes in assessment regulations. This has been accompanied by excessive amount of resources invested in training teachers, schools staff, development of materials, and alike. However, there is little research investigating to what extent and in what ways these efforts have manifested themselves in Norwegian language arts. This article reports on teachers’ written response to students’ assignments in a high-stakes writing test shortly before an important national exam and at the end of their upper-secondary education. Six teachers from two schools and their six classes in general studies participated, and teachers’ comments on student texts (N = 171) were analyzed. Analyses were conducted qualitatively through categorization in an explorative study. Findings show that, with the exception of one, teachers to a fairly high degree give feedback in line with the recommendations from research on AfL and cover both language and content. However, there were differences observed in all aspects of feedback among individual teachers.
Bakgrunn
Vurdering for læring (VfL) er et konsept som er utviklet over tid, og sentrale forskere, som Ramaprasad (1983) og Black og Wiliam (1998; 2009), legger avgjørende vekt på at kunnskap om læring som en tilegner seg gjennom vurdering, brukes i det videre læringsarbeidet.
I tillegg er en sentral komponent at den lærende får tilbakemelding om hvordan han/hun står i forhold til målene for opplæringen (Sadler, 1989). Tilbakemeldingen bør utformes slik at den bidrar til å redusere avstanden mellom ønsket mål og det den lærende har prestert.
Hattie og Timperley (2007) legger blant annet vekt på Sadlers (1989) forståelse når de definerer hva som kjennetegner tilbakemeldinger av høy kvalitet, og Parr og Timperley (2010, s. 70) har i forlengelsen operasjonalisert kjennetegn på formative tilbakemeldinger innenfor rammene av en VfL-kontekst. De formulerer det slik: “Formative assessment has been reframed as a social, collaborative activity, aligned more with learning. The emphasis has shifted to the teacher and the students, working in partnership to enhance student learning”.
Denne forståelsen, som er forankret i en skriveopplæringskontekst, legges også til grunn her. Begrunnelsen for den foreliggende studien er i forlengelsen av dette at det har betydning å studere innholdet i tilbakemeldinger fordi de har et læringsfremmende potensial, og at sjansen for at tilbakemelding kan brukes i videre læringsarbeid er større hvis den er utformet etter prinsippene for formativ vurdering. Hvordan disse prinsippene er operasjonalisert, ut fra Parr og Timperley (2010), blir gjort rede for i metodedelen.
Studier av læreres tilbakemeldingspraksiser innen språkopplæring er det mange av, særlig innenfor andrespråk- og fremmedspråkopplæringen (Ferris, 2004; Lee, 2004; Truscott, 1996), men mange studier retter seg mot høyere utdanning (Dysthe, 2011; Sadler, 1989) eller mot grunnskolen. Forskningen på læreres tilbakemeldinger i skriveopplæringen har ofte hatt et fokus på grammatikk (Ferris, 2004; Lee, 2004) eller de har hatt et helhetsperspektiv der man har kategorisert ulike talehandlinger (Magno & Amarles, 2011) og ulike nivåer av språklig korrigering (Bergman-Claeson, 2003; Lee, 2007). Det er derimot færre studier som retter seg mot videregående skole og mot vurdering for læring i førstespråkopplæringen.
Utformingen av tilbakemeldingen er av betydning fordi en uklar tilbakemelding i liten grad har potensial til å kunne brukes i læringsarbeid (Weaver, 2006). I forskning på læreres skriftlige tilbakemeldinger fant for eksempel Sommers (1982) at studenter ofte fikk vage tilbakemeldinger, noe som delvis bekreftes av Kronholm-Cederberg (2009), som fant at finske gymnaselever hadde problemer med å forstå hva læreren skrev til dem.
Også på dette grunnlaget er det viktig å få kunnskap om hva norsklærere skriver til egne elever. I en studie av tilbakemeldinger til masterstudenter argumenterer Dysthe (2011) for at tilbakemeldinger kan ha læringspotensial om de retter seg mot dypereliggende forhold i teksten, selv om teksten ikke skal revideres. Dysthes studie (2011) har relevans for norskfaget i skolen fordi lærernes tilbakemeldinger kan være et redskap i skriveopplæringen, og tekstlige trekk har likhetstrekk og dermed overføringsverdi fra gang til gang, hvis denne informasjonen gjøres forståelig og tilgjengelig for elevene.
den foreliggende studien er det omtrent ni uker igjen av skoleåret for elevene, og de har dermed potensielt sett tid til å nyttiggjøre seg informasjon fra læreren. Om de faktisk har gjort det, er imidlertid ikke undersøkt.
VfL knyttet til skriveopplæring
I en sentral newzealandsk studie (Parr & Timperley, 2010) analyseres 59 grunnskolelæreres tilbakemeldinger på en elevtekst i en VfL-kontekst. Forskerne finner at de lærerne som best viser evne til å gi VfL-tilbakemeldinger, har elevene med størst læringsframgang, målt i score på en nasjonal skriveprøve i førstespråket.
Parr og Timperleys (2010) studie har et eksperimentelt design, og resultatene har derfor bare indirekte overføringsverdi fordi det ikke er lærernes daglige praksis som er analyseobjekt. Likevel er den relevant, fordi den kombinerer skriveopplæring med VfL gjennom å kategorisere førstespråklæreres tilbakemeldinger til en elevtekst. Den er også metodisk overførbar ved at kategoriene forskerne har utviklet, har relevans i norsk skriveopplæringssammenheng, noe som blir gjort rede for i metodedelen.
En mer læringsfremmende vurderingspraksis har vært et satsingsområde for norske myndigheter over en lengre periode, men sluttrapporten til Forskning på individuell vurdering i skolen (FIVIS) framhever at det ikke synes å være noen klar, etablert forståelse i skolen av hvordan vurdering kan bidra til økt mestring hos elevene (Sandvik & Buland, 2014). I lys av dette funnet er norsklæreres skriftlige tilbakemeldinger til egne elever i den foreliggende studien undersøkt i et dobbelt perspektiv.
Det ene er innenfor et VfL-rammeverk som i en norsk kontekst blant annet har kommet til uttrykk gjennom prosjekter som Bedre vurderingspraksis (2007–2009) og Vurdering for læring (2010–2014). Prinsippene for en mer læringsfremmende vurderingspraksis, som fikk lovstatus i 2010 (Udir, 2010), er at 1) eleven kjenner målet med opplæringen, 2) de får informasjon om hvordan de har prestert i forhold til målet, 3) de får informasjon om hvordan de skal komme seg nærmere målet og 4) de er involvert i eget læringsarbeid ved å vurdere eget arbeid og utvikling (jf. Hopfenbeck, Tolo, Florez & El Masri, 2013).
I min studie undersøkes særlig om elevene får informasjon om hvordan de har prestert og om hvordan de skal komme nærmere målet. Det legges til grunn at tilbakemeldingen fra læreren er en av de viktigste kildene til denne informasjonen. Et sentralt spørsmål er derfor hvordan denne tilbakemeldingen er utformet.
Det andre perspektivet kaster lys over hva som ellers kjennetegner skriftlige tilbakemeldinger lærere gir til elevene. Denne siden av undersøkelsen bygger på tidligere studier av læreres skriftlige tilbakemeldinger (Bergman-Claeson, 2003; Lee, 2007; Magno & Amarles, 2011).
I norsk kontekst er det lite forskning på norsklæreres faktiske tilbakemeldinger til egne elever i videregående skole. I stedet rapporterer f.eks. Sandvik et al. (2014) om læreres oppfatninger av skolens og deres egen vurderingspraksis på bakgrunn av dokumenter, observasjons- og intervjudata, men ikke faktiske tilbakemeldinger. Det er ikke opplagt at lærernes egenrapportering og skriftlige praksis samsvarer.
Hertzberg og Roe (2016) framhever at VfL er en viktig satsing på mange skoler, men det er ikke tilstrekkelig kunnskap om hvordan VfL er operasjonalisert i de enkelte fagene og heller ikke i hvilken grad dette skjer på den enkelte skole. Hayward, Priestley og Young (2004) viser at forskningsbaserte utdanningsreformer har en kompleks vei fra initiering til praksis.
Et eksempel på et grunnskolerettet tiltak innen norsk språkopplæring er Norm-prosjektet (Matre & Solheim, 2015; Berge, Evensen & Thygesen, 2016; Evensen, Berge, Thygesen, Matre & Solheim, 2016), som fra ulike perspektiver har jobbet med å utvikle tekstnormer og standarder for reliabilitetstesting av vurdering av skriving (Jølle, 2014; Berge & Skar, 2015). Det finnes også casestudier av enkeltlæreres skrivepraksis (Igland, 2008) og av elevers oppfatninger av læreres tilbakemeldingspraksiser i ungdomskolen (Bueie, 2015; 2016), men ingen av disse ser spesifikt på VfL i norskfaget i videregående skole.
Min studie søker å gi svar på hvordan norsklærere håndterer oppgaven med å utforme skriftlige VfL-tilbakemeldinger i norskfaget. På denne måten er den med på å gi innsikt i hvordan en VfL-komponent, tilbakemeldingen, kan operasjonaliseres innen et fagfelt og bidra med innsikt i spørsmålet om hvordan norsklærere, i sitt daglige virke, løser oppgaven med å gi tilbakemeldinger til egne elever. De overordnede prinsippene for hvordan vurdering kan bidra til læring er generelt formulert, og de bør derfor forankres i konkrete fag- og skolekontekster (Bennett, 2011; Black & Wiliam, 1998).
Parr og Timperleys (2010) forståelse av VfL ligger til grunn for operasjonaliseringen, som også er i samsvar med opplæringslovens definisjon av underveisvurdering og de endringer som Stortingsmelding nr. 28 (2015–2016) løfter fram, og som vektlegger at formativ vurdering er aktiviteter som skal bidra til læring. Tilbakemeldingen er her forstått som en slik aktivitet, og det er i denne betydningen begrepet brukes her.
Forskningsspørsmålet blir derfor: I hvilken grad gir lærerne skriftlige tilbakemeldinger på skriftlige prøver i norskfaget som er i tråd med premissene for formative tilbakemeldinger, slik de er uttrykt i internasjonal forskning?
Metode
Forskningsspørsmålet er belyst gjennom en kvalitativ, eksplorerende studie, som gjennom dokumentanalyse kategoriserer lærernes tilbakemeldinger og kvantifiserer dataene for å gi oversikt over et komplekst materiale.
Deltakere og utvalg
Studien er basert på data fra to videregående skoler på Østlandet. Skole A kombinerer yrkesfaglige og studiespesialiserende studieretninger. Den har cirka 600 elever og er geografisk plassert i et område med antatt lav sosioøkonomisk status. Det var ingen nedre grense for inntak på studiespesialiserende studieretning høsten 2014, det vil si at alle som søkte, kom inn. Skole B har cirka 650 elever og ligger i et område med antatt høy sosioøkonomisk status. Den har en mer homogen elevgruppe enn skole A. Den har studiespesialiserende studieretning med et inntakssnitt på 4,0 høsten 2014.
Den siste heldagsprøven på bokmål på slutten av skoleåret ble valgt som analyseobjekt (studiespesialiserende studieretning). Utvalget ble gjort med tanke på å få inn sammenliknbare data, det vil si noenlunde korresponderende oppgaver, teksttyper og tekstlengder på tvers av skoler og klasser.
Prøven egner seg til analyse fordi den er gitt på slutten av opplæringen for fem av klassene og slutten av skoleåret for én klasse, og det er derfor stor sjanse for at den har betydning for elevenes standpunktkarakter, noe alle klassene har felles. Dermed kan en tenke seg at læreren i sine skriftlige tilbakemeldinger vil vektlegge begrunnelse av karakteren, og at det kan være vanskeligere å finne forekomster av tilbakemeldinger utformet for å bidra til læring.
Spørsmålet er da om lærerne prioriterer å gi denne typen tilbakemeldinger, og en kan anta at hvis de gjør det på dette tidspunktet, er det sannsynlig at de også gjør det ellers i året. Prøvesituasjonen kan således fungere som en kritisk case (Patton, 2014), det vil si at den kan kaste lys over lærerens skriftlige tilbakemeldingspraksis gjennom året. Heldagsprøvene er for øvrig en del av et større datamateriale samlet inn i skoleåret 2014–2015.
Valget av heldagsprøven reiser spørsmålet om forholdet mellom formativ og summativ vurdering. Forståelsen er teoretisk forankret i Newton (2007), som framhever at begrepet summativ vurdering viser til en vurderingsform som oppsummerer resultater, mens formativ vurdering viser til spørsmålet om hva resultatene skal brukes til. I dette tilfellet undersøkes om lærernes tilbakemelding er utformet på en slik måte at de har større potensiale for å bidra til læring.
Oversikt over datagrunnlaget for studien (Tabell 1)
Skole A |
Lærer/pseudonym |
Utdanningsnivå |
Erfaring |
Elever/klasse |
Elevtekster med tilbakemeldinger |
|
Anne |
Master |
1 år |
Vg3 |
32 |
|
Berit |
Bachelor |
3 år |
Vg3 |
32 |
|
Carina |
Master |
8 år |
Vg2 |
24 |
Skole B |
Dina |
Master |
24 år |
Vg3 |
30 |
|
Eva |
Master |
5 år |
Vg3 |
25 |
|
Frøy |
Master |
5 år |
Vg3 |
28 |
Kodeskjema
Et sentralt spørsmål er hvordan et teoretisk konstrukt som en læringsfremmende tilbakemelding kan operasjonaliseres. Et svar finnes i studien til Parr og Timperley (2010), som har kategorier som de knytter til kvaliteten på tilbakemeldingene. Disse danner grunnlag for det kodeskjemaet som er utarbeidet for å kartlegge forekomsten av VfL-tilbakemeldinger også i denne studien.
I tillegg bygger skjemaet på studier av Bergman-Claeson (2003) og Magno og Amarles (2011), for å kunne gi et mer helhetlig og nyansert bilde av lærernes skriftlige tilbakemeldingspraksis. To av lærerne har dessuten et fargekodesystem for språkfeil (se appendiks A).
Kodeskjemaet kartlegger i tillegg hvor lærerens kommentar er plassert (Bergman-Claeson, 2003); en sluttkommentar vil kunne få et mer indirekte preg enn en kommentar skrevet rett inn i elevteksten. Muligheten for at eleven misforstår lærers tilbakemelding blir større hvis den er skrevet til slutt (Parr & Timperley, 2010, s. 76), og derfor kan denne dimensjonen si noe om i hvilken grad en tilbakemelding har potensiale for å kunne bidra til læring.
I det følgende presenteres en utdyping av hvilket rasjonale som ligger til grunn for hver kategori.
Kategori 1 – Mål
Parr og Timperley (2010) operasjonaliserer kategorien ved å undersøke om lærerens tilbakemelding kommenterer om eleven har nådd målet med skriveøkten og om tilbakemeldingen er direkte relatert til målet eller om den er generelt formulert. I hvilken grad tilbakemeldingen bruker evidens fra elevteksten til å si noe om prestasjonen med tanke på formålet med skrivesituasjonen i en retorisk kontekst, er Parr og Timperleys (2010) siste målrelaterte kategori.
Skillet mellom mål og hvordan eleven har prestert i forhold til målet, er her slått sammen fordi en påpeking av hva som er målet, som er skrevet inn i elevens tekst, vil synliggjøre avstanden mellom prestasjon og ønsket prestasjon.
Målet med opplæringen er komplekst. Sadler (1989) viser til 50 mulige kriterier for hva som kan regnes som en god tekst, og da er ikke tekstens innhold en del av bildet. For å operasjonalisere denne kategorien er det blant annet tatt utgangspunkt i vurderingskriterier som er knyttet til oppgavesettene elevene har skrevet ut fra, og som har klare likhetstrekk med sensurskjemaet for norskeksamen (se vedlegg 2 og 3).
I tillegg er henvisninger til fagbegreper og forhold som har overføringsverdi til senere skrivesituasjoner (Dysthe, 2011), kodet inn her. Kategorien korresponderer med de overordnede prinsippene for hvordan tilbakemeldinger kan bidra til læring (jf. Hopfenbeck et al., 2013) ved at det vektlegges at de må relatere til målet med opplæringen i den hensikt å redusere avstanden mellom prestasjon og ønsket prestasjon (Sadler, 1989).
En typisk kommentar kan vise til fagbegrepet hovedsyn, som står sentralt i analyse av saktekster, en svært vanlig oppgavetype på eksamen: “Tenker du at dette er hovedsynet? Det må du i tilfelle si litt klarere.” (sitert Eva). Et annet eksempel viser til fagbegrepet metafor: “Eksempel på metafor for døden som du bør kommentere!” (sitert Carina).
Å kjenne til og kunne bruke fagbegreper er et sentralt mål i faget, slik det er uttrykt i både læreplan og skjemaet med kjennetegn på måloppnåelse som elevene ble vurdert ut fra i den aktuelle skrivesituasjonen. Begge tilbakemeldingene har overføringsverdi til senere skrivesituasjoner fordi de peker på forhold som står sentralt neste gang eleven skal skrive en liknende oppgave.
Kategori 2 – Instruks
Den andre kategorien rommer konkrete henvisninger til hvordan eleven kan forbedre teksten, det vil si komme nærmere målet med opplæringen. Hos Parr og Timperley (2010) regnes tilbakemeldingen å ha høyere kvalitet jo mer spesifikk den er.
På bakgrunn av dette er modellering og forklaringer fra lærerens side kodet som instruks når de gir informasjon om hvordan eleven kan utvikle ferdigheter, bruke fagbegreper og håndtere tekstmessige forhold som det er sannsynlig at elevene møter igjen. En instruks kan se ut som dette: “I en innledning skal du ALLTID presentere tittel, forfatter og hvor og når teksten ble publisert.” (sitert Eva).
Det er også lagt til grunn at en instruks inneholder en implisitt oppfordring til bruk, slik at imperativer er oppfattet som instruks (“husk at du må …”), og det samme gjelder spørsmål som i mange tilfeller inviterer eleven til en dialog om tekstens innhold eller form. Samtidig kan spørsmål også ha korrigerende funksjoner, så kodeplasseringen er vurdert ut fra kontekst.
Kategori 3 – Relasjonsbyggende kommentar
Som en egen kategori er person- eller prestasjonsrettet ros tatt med. Den kaster lys over lærerens relasjonsbyggende arbeid (Skaalvik & Skaalvik, 2011). Det legges til grunn at denne formen for tilbakemelding er skrevet for å bidra til å motivere eleven i det videre læringsarbeidet (Dweck, 2002), siden relasjonen mellom lærer og elev regnes som viktig for elevens arbeidsinnsats og prestasjoner.
Denne kategorien faller utenfor rammene av VfL, fordi den inneholder for lite informasjon om hvordan eleven skal komme nærmere målet, men det kan godt tenkes at den bidrar positivt i læringsarbeidet fordi den kan påvirke elevens evne til selvregulering. Den kan imidlertid også bidra til å trekke oppmerksomhet bort fra oppgaven og mot person, noe som reduserer muligheten for læring (Hattie & Timperley, 2007).
Kategori 4 – Korrigering
Språklige korrigeringer er kodet i en egen kategori. Det er lagt til grunn at eleven må jobbe med språkkorrigeringene for at de skal bidra til læring, og at det er av begrenset verdi å vite at man gjorde feil i forrige skriveoppgave. Det bygger ikke på en oppfatning om at språkkorrigeringer ikke kan bidra til læring, men at de i liten grad er utformet etter anbefalingene om hva som kjennetegner en god tilbakemelding fordi de inneholder lite informasjon til eleven.
Det samme gjelder innholdskorrigeringer knyttet til den lokale skrivesituasjonen; det er mindre sjanse for at eleven lærer, fordi oppgaven er et tilbakelagt stadium når eleven får tilbakemelding av læreren. Med mindre eleven skal jobbe med den samme oppgaven igjen, blir slike tilbakemeldinger lite effektive. Hvis eleven derimot skal jobbe videre med den, vil en slik tilbakemelding kunne bidra til læring (Hattie & Timperley, 2007).
Et eksempel på en innholdskorrigering er at læreren skriver: “Du må forklare litt bedre hvordan en oljeplattform symboliserer at Nord-Norge er øverst og Sør-Norge nederst. Jeg ser ikke sammenhengen” (sitert Eva). Her legges det til grunn at eleven ikke vil få noen ny oppgave som går ut på å analysere den samme sammensatte teksten, altså med det samme innholdet, og responsen retter seg derfor mot stoff som eleven er ferdig med.
En forenklet versjon av analyseskjemaet er presentert i tabell 2. Eksemplene på tilbakemeldinger ble skrevet inn i elevens tekst som merknader, slik at det foreligger en direkte kobling mellom elevens ytring og lærers tilbakemelding. For en mer nyansert versjon av skjemaet og oversikt over funn, se appendiks A og B.
Kjennetegn på kategorier og eksempler på operasjonalisering (Tabell 2)
|
Vfl |
Vfl |
Ikke Vfl |
Ikke Vfl |
|
1 Mål |
2 Instruks |
3 Relasjonsbyggende |
4 Korrigering |
Kjennetegn på kategorier |
Viser til kriterier, fagbegreper eller analyseteknikker med overføringsverdi til senere skrivesituasjoner |
Forklaringer på hvordan elevene skal rette opp feil språklig eller i innhold med overføringsverdi. Modellering Oppfordringer til bruk av tilbakemeldingen. |
Uspesifikk ros rettet mot person eller prestasjon |
Retting uten forklaring, påpeking av faglige feil som er tilknyttet den spesifikke skrivesituasjonen |
Eksempel |
"Svært god formulering av hovedsynet." |
Her må du i stedet si at "Avsender har lånt autoritet fra" |
"Bra!" "Godt poeng!" |
"Gene Dalby er en mann." |
Begrunnelse |
Plasseringen er begrunnet med lærers bruk av det fagspesifikke uttrykket "hovedsyn" som står sentralt i analyse av saktekster |
Tilbakemeldingen peker på en uheldig formulering og modellerer en bedre formulering. Den kan brukes av eleven i en liknende situasjon fordi retorisk analyse er vanlig på eksamen |
Tilbakemeldingen inneholder ikke informasjon om hva som er bra eller hvorfor poenget er godt |
Kommentaren har begrenset overføringsverdi til en ny skrivesituasjon fordi det er lite sannsynlig at eleven får en tekst av forfatteren Gene Dalby også på eksamen |
Kvantifisering av kvalitative data
Tilbakemeldingene ble kvalitativt kodet i tråd med operasjonaliseringen av hver kategori og resultatene ble videre kvantifisert ved opptelling av forekomst. Dette er en tilnærming som annen forskning på lærerrespons har brukt (Bergman-Claeson, 2003; Bueie, 2015; Lee, 2008). Kvantifiseringen er gjort med tanke på å finne tendenser og sentrale trekk som samlet sett gir en oversikt over lærerens skriftlige tilbakemeldingspraksis, og som dermed kaster lys over forskningsspørsmålet. Uten en kvantifisering er det vanskelig å få overblikk over materialet. Samtidig gir den kvalitative kodingen innblikk i hver enkelt lærers særegne praksis. Metoden ligger tett opp til tematisk koding (Gibbs, 2008).
Analyse
En lærers tilbakemelding ble analysert i semantiske/meningsbærende enheter, heller enn som hele tekstblokker fordi lengre, flerleddete tilbakemeldinger, som vist i tabell 3, ikke vil kunne passe inn i bare en kategori. Eksempelet er sitert Frøy ved skole B:
Eksempel på operasjonalisering av kodesystemet (Tabell 3)
Lærerkommentar |
Kategori |
Dette er en god innledning til en retorisk analyse fordi du presenterer reklamens mål og hovedsyn. |
Mål |
Bra! |
Relasjon |
Til eksamen bør du få med tittelen i startsetningen: Reklamen "Alle er opptatt av oljeprisen, men ikke prisen for oljen, tar opp..." slik at jeg vet hvilken Amnesty-reklame det er snakk om. |
Instruks (Lærerforklaring med modellering) |
Her er første setning kodet i kategorien mål, fordi den bruker fagbegrepet hovedsyn og dessuten viser at eleven skal presentere analyseobjektet for leseren i begynnelsen av teksten. Dette poenget har en potensiell overføringsverdi til senere skriving.
“Bra” er kodet som en relasjonsbyggende kommentar, og utsagnet forsterker den faglige rosen. Setningen “Til eksamen …” uttrykker eksplisitt en forventning om bruk av informasjonen i tilbakemeldingen, og følges opp av en instruks i form av både modellering, som kan brukes i en senere skrivesituasjon, og en utdypende forklaring på hvorfor den måten å formulere seg på er bedre enn elevens egen.
Her peker også læreren indirekte på konseptet mottakerbevissthet, som er sentralt i skriveopplæringen (Evensen et al., 2016), og hun viser også på en indirekte måte til en avstand mellom ønsket prestasjon og faktisk prestasjon.
Tiltak for å sikre reliabilitet
En ekstern ekspertkoder har kodet 21 % av materialet. Et estimat av Cohens kappa-skåre viser et sammenfall på .77, som av Landis og Koch (1977, s. 165) betegnes som “substantial” (om verdier mellom .61 og .80) og ligger helt i øvre sjikt av denne skalaen. Fleiss (1981, s. 218) betegner verdier fra .75 som “excellent”, og det er den høyeste kategorien på denne skalaen. Sett under ett indikerer skåren derfor at reliabiliteten til kodeskjemaet er akseptabel.
Studiens begrensninger
I hvilken grad tilbakemeldingspraksisen til en lærer faktisk bidrar til læring, sier skjemaet ikke noe om. Det er mulig å tenke seg at én tilbakemelding kan bidra til mer læring enn 10 som ikke treffer eleven av ulike grunner. Derfor er det ikke noen direkte forbindelse mellom antallet VfL-kommentarer og elevens læring.
Skjemaet sier i forlengelsen av dette heller ikke noe om i hvilken grad en språklig ytring som er kodet som relasjonsbyggende, faktisk er det for mottaker. Utsagn kan tolkes svært ulikt, ut fra kontekst (Rommetveit, 1972). Denne mangetydigheten er en del av norskfagets egenart (Garmannslund, Elstad & Christophersen, 2015) og kan også ses som uttrykk for den mangetydigheten som preger synet på teksttolkning i et hermeneutisk perspektiv (Gadamer, 2008).
Kategoriene er ikke gjensidig utelukkende og kan ikke være det helt ut (Bergman-Claeson, 2003). Det er likevel mulig å gi et forholdsvis presist bilde av tilbakemeldingspraksis, slik det er gjort i tidligere forskning (Bergman-Claeson, 2003; Lee, 2008; Magno & Amarles, 2011; Parr & Timperley 2010), gitt at interrater-reliabiliteten er akseptabel.
Kommentarene speiler ikke helheten i lærerens tilbakemeldingspraksis. Denne består også av muntlige tilbakemeldinger, svar på e-poster, uformelle samtaler og annet. Skriftlig tilbakemelding har likevel en sentral plass i norsklærerens virke, både fordi den kan leses og brukes i senere læringsarbeid, og fordi den er tilgjengelig for eleven i etterkant.
Tonen i tilbakemeldingen er ikke undersøkt. Ifølge Smidt (2002) er det en faktor som kan bety mye for om en elev engasjerer seg i videre skrivearbeid eller ikke.
Siden lærerne i studien frivillig har meldt seg til å delta, er seleksjonsskjevhet en potensiell validitetstrussel. En kan tenke seg at dette er lærere som for eksempel er spesielt trygge på sin egen praksis.
Resultater
Resultatene blir presentert etter skole og for hver lærer. En tolkning og sammenfatning av funnene danner utgangspunkt for diskusjonsdelen. Når det i det følgende står tilbakemelding, menes semantiske tilbakemeldingsenheter, slik det er gjort rede for over. Med per elev/ elevtekst/elevsvar menes hele elevens besvarelse på heldagsprøven.
Ved skole A ble det samlet data fra lærerne Anne, Berit og Carina. Anne skrev fyldige tilbakemeldinger til 32 elever, både underveis i teksten og med en sluttkommentar på litt under en side per besvarelse. Store deler av sluttkommentaren er felles for alle elevene, og den forklarer hva som er hovedtrekkene ved den gjeldende oppgaven og hvordan elevene har prestert i forhold til den.
Anne har totalt skrevet inn 1120 tilbakemeldinger og har i tillegg 964 fargekodemarkeringer med en variasjonsbredde fra 7 til 50. 724 av tekstkommentarene er skrevet inn i teksten og av disse er 342 kodet som instruks eller mål (heretter VfL), et gjennomsnitt på 11 per elevsvar. En typisk kommentar fra Anne var en klar oppfordring eller instruks: «Bruk etternavn eller hele navnet. Fornavn bruker vi om personer vi kjenner godt.» I sum er 570 av 1120 tilbakemeldinger utformet i tråd med VfL-anbefalingene, 51 %. Anne er den læreren som har gitt flest tilbakemeldinger, og inkluderer en fargekodene blir summen 2084, i snitt 65 per elevtekst.
Berit skrev inn 21 VfL-kommentarer til 32 elever i løpende tekst, resten er lokale, språklige korrigeringer (668). I sluttkommentarene (119) er 77 i tråd med anbefalingene. I snitt har elevene fått 2,9 VfL-tilbakemeldinger og 26,5 språklige korrigeringer, med en variasjonsbredde fra 2 til 63. 12 % av de totale tilbakemeldingene kan knyttes til VfL. En typisk kommentar fra Berit har et generelt preg, i en sluttkommentar skriver hun for eksempel: “(…) skriv mer i siste avsnitt og vis at du kan reflektere mer.” Det er ikke relasjonsbyggende kommentarer, men 43 tilfeller av plusstegn eller spørsmålstegn i tekstene. I sum er Berit den læreren som har gitt færrest skriftlige tilbakemeldinger, hennes praksis i denne vurderingssituasjonen består i hovedsak av språklig korrigering av elevenes tekster.
Carina ga tilbakemelding til 24 elever i en vg2-klasse. Elevene hadde skrivedag på skolen (heldagsprøve) basert på et eksamensliknende oppgavesett, men fikk mulighet til å levere en ferdig versjon av teksten noen dager senere etter å ha fått tilbakemelding fra læreren. Muligheten ble med ett unntak neglisjert av elevene. Carina har gitt 236 kommentarer i løpende tekst, av disse kan 133 knyttes til VfL. Av 115 sluttkommentarer er 96 av samme type. Hun har 39 relasjonsbyggende kommentarer, og det er 673 fargekodemarkeringer av språkfeil, i snitt 26 per svar, med en variasjonsbredde fra 4 til 60.
En tilbakemelding fra Carina kan se ut som dette: “Langteksten din er litt kort (bør være på to sider), men har en grei struktur. Her kunne du også skilt ut innledningen, der du presenterte tekstene, forfatterne og si noe om hvordan du skal løse oppgaven. Da blir teksten enda ryddigere for leseren.” Tilbakemeldingene inneholder altså ofte forklaringer eller instrukser. Av Carinas tilbakemeldinger er det en klar overvekt som kan knyttes til VfL, 229 av totalt 351, det vil si 65 %. Hun har også skrevet langt færre tilbakemeldinger enn kollegaene ved samme skole og er den på skolen som i størst grad har lagt opp til at elevene skal jobbe videre med teksten.
På skole B deltok lærerne Dina, Eva og Frøy. Alle lærerne brukte skjema med kjennetegn på måloppnåelse da de ga tilbakemelding. Dina (30 elever) skrev 603 tilbakemeldinger i løpende tekst, og av disse kan 198 knyttes til VfL. Sluttkommentarene er nummerert og knyttet til skjemaet med kjennetegn på måloppnåelse. Av totalt 248 sluttkommentarer er 159 kodet som VfL. Hun har 136 relasjonsbyggende kommentarer i teksten, flest av alle. Dina kombinerer ofte ros med korrigering. Til en elev skriver hun først: “Fra landsmålet kom på 1850-tallet; det er ikke mange hundre år” (innholdskorrigering) og rett under: “God innledning!” I sum kan 42 % av tilbakemeldingene knyttes til VfL.
Eva skrev 721 tilbakemeldingsenheter til 25 elever, av disse er 577 i løpende tekst og 114 som sluttkommentar. I løpende tekst kan 318 knyttes til VfL, 59 %, og for sluttkommentarene er forholdet 106 av 144, 73 %. Det er altså en klar overvekt av VfL-tilbakemeldinger. Et særtrekk ved hennes praksis er at hun stiller mange spørsmål til elevene, og de kan blant annet fungere som instruksjoner og korrigeringer. Til en elev skriver hun: “I stedet for å si "budskapet", bør du her skrive tolkningen din av budskapet. Hva er ordspillet? Forklar.” Hun har få språklige korrigeringer, i snitt 5,3 per elevsvar.
Frøy ga 28 elever 541 tilbakemeldinger i løpende tekst og av disse kan 357, 65 %, knyttes til VfL, og i sluttkommentarene, som bare er gitt til noen elever, er 61 av totalt 92 kommentarer av denne typen (66 %). Det er 87 relasjonsbyggende kommentarer. I sum har Frøy mange VfL-kommentarer (418) og relativt få korrigeringer (103). Hun gir mye relasjonell støtte og modellerer og utdyper ofte poengene sine: Til en elev skriver hun: “God innledning fordi du presenterer teksten og deretter gjør rede for formålet med kampanjen.” Frøy har nesten ikke språklige korrigeringer i tekstene, bare cirka en per elev.
Oversikt over funn
Funnene er her presentert i en enkel oversikt i tabell 4, se appendiks A og B for detaljert oversikt over hvordan tilbakemeldingene fordeler seg på kategoriene.
Sammenfatning av funn (Tabell 4)
Skole A |
Lærer |
Totalt |
VFL |
% |
Spredning |
Ikke VfL |
% |
Spredning |
|
Anne |
1120 |
570 |
51 % |
0-13 |
550 |
49 % |
0-21 |
|
Berit |
847 |
98 |
12 % |
0-4 |
749 |
88 % |
0-63 |
|
Carina |
351 |
229 |
65 % |
0-8 |
122 |
35 % |
0-8 |
Sum |
|
|
|
36 % |
|
|
64 % |
|
Skole B |
Dina |
851 |
357 |
42 % |
0-8 |
494 |
58 % |
0-19 |
|
Eva |
721 |
424 |
59 % |
1-14 |
297 |
41 % |
0-18 |
|
Frøy |
633 |
418 |
66 % |
0-12 |
215 |
34 % |
0-7 |
Sum |
|
|
|
54 % |
|
|
47 % |
Alle elever har fått tilbakemeldinger, i snitt er det 26 per elevsvar. Spredningstallene viser samtidig at det særlig innen språklige korrigeringer er store variasjoner mellom lærerne, fra 0 til 3 per elevsvar (Frøy ved skole B) og fra 0 til 63 hos Berit ved skole A. De øvrige kategoriene kjennetegnes av at lærerne har gitt et sted mellom 0 og 10 tilbakemeldinger per elevsvar.
Oppsummering av funn
Svaret på forskningsspørsmålet – i hvilken grad lærerne utformer skriftlige tilbakemeldinger på skriftlige prøver i norskfaget som er i tråd med premissene for formative tilbakemeldinger slik de er uttrykt i internasjonal forskning, er i første rekke at lærerne gir elevene mange formative tilbakemeldinger, de fleste rundt halvparten eller mer, én lærer er unntaket (12 %).
Oversikten viser også at lærerne vanligvis gir elevene mange tilbakemeldinger på en skriftlig tekst, både i form av skriftlige kommentarer og språklige korrigeringer i teksten og til slutt. Her er unntaket Frøy, som nesten ikke har språklige korrigeringer. Samtlige lærere har gitt flest tilbakemeldinger i løpende tekst, i tråd med anbefalingene til Parr og Timperley (2010).
Selv om dette er en vurderingssituasjon der det å sette karakter står sentralt, er det likevel mange tilfeller av tilbakemeldinger som kan knyttes til VfL, og nesten ingen eksplisitt karakterbegrunnende kommentarer. Denne hensikten kan derimot summen av korrigeringer til dels fylle.
Et sentralt funn er også at det er en tydelig variasjonsbredde i hvordan lærerne gir tilbakemeldinger.
Diskusjon
Et sentralt formål med studien var å undersøke i hvilken grad gir lærerne skriftlige tilbakemeldinger som retter seg mot målet med opplæringen og i hvilken grad de inneholder konkrete råd og instrukser som kan hjelpe elevene til å komme nærmere målet. Helhetsbildet av lærernes tilbakemeldingspraksis er at alle elever fikk skriftlige tilbakemeldinger på heldagsprøven, og at de fleste lærerne ga forholdsvis mange VfL-kommentarer. Det er likevel grunn til å nyansere bildet.
Heldagsprøven er en skrivesituasjon som likner eksamen på mange måter (Bueie, 2015), og som aktiviserer ferdigheter og kunnskaper hos elevene som speiler deres helhetlige kompetanse på slutten av opplæringen. Dysthe (2011) argumenterer for at tilbakemeldinger i skriveopplæring kan rettes mot dybdeforhold i teksten og på den måten ha overføringsverdi til neste skrivesituasjon selv om den aktuelle teksten ikke skal revideres.
Det er forventet på eksamen at elevene kan skrive en godt strukturert tekst med et faglig relevant innhold, at de behersker analyseteknikker som er spesifikke for norskfaget (f.eks. diktanalyse og retorisk analyse), at de bruker fagbegreper og at de bruker tekstene som ligger til grunn for oppgavesettet på en relevant måte. Dette er forhold som ikke endrer seg fra oppgave til oppgave, men er noe lærere og elever jobber med kontinuerlig gjennom året.
Det betyr at det også er en klar forbindelse mellom heldagsprøven og eksamen (Bueie, 2015) og at tilbakemeldinger som retter seg mot de nevnte forholdene, vil kunne være til nytte i elevenes læringsprosess nettopp fordi de skal aktiviseres igjen i en nært forestående skrivesituasjon som er grunnleggende lik heldagsprøven.
En faktor som også tilsier at lærerne bør vektlegge læring i denne skrivesituasjonen, er at norskeksamen er den eneste nesten alle elever på studiespesialiserende studieretning må ha, og at den er en viktig målestokk for både skolens og den enkelte lærerens grad av suksess med opplæringen. At lærerne derfor har en sterk interesse i å gjøre det de kan, også gjennom tilbakemeldingene sine, for at elevene skal lykkes på eksamen, vil i hvert fall være rasjonell atferd. Elevene er i tillegg nær slutten av skoleåret og har mulighet til å bruke informasjon fra læreren til å bedre skrivekompetansen sin, og kanskje også standpunktkarakteren.
Undersøkelsen viser at de fleste lærerne utformer mange av tilbakemeldingene på en slik måte at de kan bidra til læring, og forskning viser klart at utformingen av tilbakemeldingen har betydning for dens potensial til å bidra til læring. Tilbakemeldinger som peker mot sentrale trekk ved målet for oppgaven og gir elevene konkrete råd om hvordan de skal komme nærmere målet (Parr & Timperley, 2010), har et større potensial for å bidra til læring og utvikling enn tilbakemeldinger som er vage (Sommers, 1982; Kronholm-Cederberg, 2009), for kritiske (Askew & Lodge, 2000) eller retter seg mot selvet heller enn mot oppgaven (Hattie & Timperley, 2007).
Et viktig spørsmål er videre om en kan snakke om vurdering for læring når det er uvisst om elevene skal jobbe videre med heldagsprøveteksten eller de ikke har gjort det. Hvis en legger definisjoner av vurdering for læring til grunn som baserer seg på en klasseromspraksis (Black & Wiliam, 2009) eller som legger avgjørende vekt på bruk av læringsresultater (Ramaprasad, 1983), så kan en ikke det. Da er det mest nærliggende å si at heldagsprøven i norsk, gitt i april, er vurdering av læring.
Dette er også understreket av blant annet Bueie (2015), som finner at lærere kanskje gir elever tilbakemeldinger som er utformet med tanke på videre læring, men at denne muligheten langt på vei kan gå tapt når en ikke gir elevene muligheter til å benytte seg av informasjonen fra tilbakemeldingen til å jobbe videre med teksten (jf. også Fjørtoft, 2013).
Tidligere forskning har vist at kommentarer ofte har kommet etter at elever er ferdige med en oppgave (Fjørtoft, 2013; Hattie & Timperley, 2007; Hillocks, 1987). Da er det vanskelig å bruke tilbakemeldingsinformasjonen formativt, og læringspotensial kan gå tapt. Det kan også løftes fram som et problem at tilbakemeldingen gis med karakter, noe blant annet Leahy et al. (2005) legger vekt på. Samtidig må det altså foreligge en tilbakemelding til elevene som de kan forstå og potensielt sett bruke.
Et sentralt aspekt ved tidspunktet for å undersøke om lærerne gir VfL-tilbakemeldinger (på heldagsprøven), er at en må kunne forvente at det å begrunne karakteren står sterkt. Det er imidlertid bare en av lærerne (Dina) som skriver eksplisitt karakterbegrunnende kommentarer. Når en ser lærernes tilbakemeldinger under ett, viser altså undersøkelsen at mange av dem formulerer seg på måter som kan bidra til læring, og at hensikten, i tråd med Newton (2007), heller synes å være læring enn karaktersetting, ettersom karakterbegrunnelser ser ut til å komme fram på en indirekte måte.
Funnene viser samtidig at Carina faktisk legger opp til videre arbeid med teksten, og at Frøy holder tilbake karakter, noe som peker mot en VfL-orientert praksis også i denne situasjonen. For Carinas del var det slik at elevene hadde anledning til å jobbe videre med heldagsprøven på bakgrunn av tilbakemeldinger, men at de ikke benyttet muligheten. Legger en definisjonen for VfL fra Parr og Timperley (2010) til grunn, kan en her si at det er elevene som ikke følger opp sin del av arbeidet. Hva som er årsakene til denne manglende innsatsen sier imidlertid ikke datamaterialet noe om.
Av VfL-kategoriene er det flest instrukser og færre målkommentarer (se appendiks A og B). En forklaring kan ligge i målets kompleksitet, der hva som er en god tekst er svært mangesidig. Sadler (1989) viser til rundt 50 mulige kriterier for hva som kan være en god tekst.
Lærerne peker på faktorer som mottakerbevissthet, de bruker analysebegreper med overføringsverdi til neste skrivesituasjon og kan peke på strukturelle trekk som avsnittsinndeling. En del tilbakemeldinger tar også opp i seg uttrykk fra vurderingsskjemaet med kjennetegn på måloppnåelse som følger med skriveoppgaven, særlig gjelder dette ved skole B.
At målkategorien er underrepresentert, kan også henge sammen med at elevene gjøres kjent med målet for opplæringen gjennom undervisningen, noe lærerne er pålagt etter opplæringsloven (Udir, 2010), slik at det i mindre grad uttrykkes skriftlig av lærer når vurderingssituasjonen er et tilbakelagt stadium.
Noe som taler imot denne antakelsen er at flere av lærerne skriver utdypende forklaringer, modellerer språklige formuleringer og oppfordrer til bruk av tilbakemeldingsinformasjonen. Det framgår slik sett at de på mange måter forutsetter at elevene leser tilbakemeldinger, legger vekt på innholdet og i neste skrivesituasjon vil nyttiggjøre seg informasjonen.
At elevene også kan tenkes å dele denne oppfatningen, framheves blant annet av Bueie (2015), som har intervjuet elever om hvordan de oppfatter og nyttiggjør seg lærers skriftlige tilbakemeldinger på en tekst de er ferdige med. Hvis en ser summen av VfL-kommentarer som uttrykk for en intensjonalitet, framgår det at lærerne langt på vei skriver med elevenes læring som mål.
Et annet sentralt trekk er at lærerne korrigerer elevenes tekster. Det er omstridt om korrigering av språkfeil bidrar til læring (Ferris, 2004; Truscott, 1996), men korrigeringen kan tenkes å bidra til å begrunne karakter og dermed ha summative funksjoner.
Det er likevel verdt å merke seg at en lærer (Frøy) som i høy grad gir VfL-tilbakemeldinger, i liten grad korrigerer elevenes tekster språklig. Den læreren som har gitt flest tilbakemeldinger (Anne ved skole B), har også flest språklige korrigeringer, og det kan tenkes at elevene vil finne det krevende å forstå hva de skal fokusere på i videre læringsarbeid, særlig siden mange av dem presterer på middels nivå eller lavere. En slik praksis vil dessuten kreve et omfattende etterarbeid av elevene. Derfor kan en si at denne praksisen, trass i at det er mange VfL-kommentarer, er vanskelig for elevene å omsette i læring.
Hvis en ser de seks lærerne under ett, kan det altså se ut som om satsingen på å utvikle en vurderingspraksis i skolen manifesterer seg i at norsklærerne utformer mange tilbakemeldinger på en slik måte at de legger til rette for læring, også i en situasjon der det å begrunne karakter må stå sentralt, ut fra et rasjonelt perspektiv.
Konklusjoner
Rundt halvparten av tilbakemeldingene som er gitt, er utformet i tråd med anbefalingene, om en ser de seks lærerne under ett. Dette viser seg klarest på skole B, men lærerne på begge skoler har mange tilbakemeldinger som kan knyttes til VfL. Eksplisitt karakterbegrunnende kommentarer er det svært få av. Slik sett kan det hevdes at lærerne, selv i denne skrivesituasjonen som er viktig for standpunktkarakteren, gir tilbakemeldinger utformet med tanke på elevenes læring. Dette tegner et bilde av lærere som har egne elevers læring i sentrum. At VfL-kommentarer i mange tilfeller kombineres med ros, forsterker bildet.
Implikasjoner for videre forskning
Det trengs mer forskning for å få kunnskap om hvor representative disse lærerne er for en større populasjon. Det vil også være av interesse å undersøke i hvilken grad lærerne gir elevene muligheter til å bruke tilbakemeldinger. Fjørtoft et al. rapporterte om dette i 2013 og fant at mulighetene var få, men siden da har satsingen på VfL fortsatt. Derfor er det viktig å få mer kunnskap om hvordan lærere jobber med vurdering og vurdering for læring i dag.
Implikasjoner for praksis
Når en legger til grunn at mange av lærerne i studien skriver en forholdsvis høy andel VfL-tilbakemeldinger, så kan det se ut som om en sentral utfordring er å fremme måter å bruke tilbakemeldingene på i den videre læringsprosessen. Det kan også se ut som elevene i større grad bør kunne involveres i prosessen og kanskje at de pålegges å bruke lærers tilbakemeldinger, særlig når en ser på Carinas tilfelle, der kun en elev, i en hel klasse, har benyttet denne muligheten. Å gjøre en slik praksis til et krav kan være en løsning, gitt at den ikke øker lærernes arbeidsbyrde, ettersom tids- og arbeidspress allerede er et betydelig problem i skolen (Skaalvik & Skaalvik, 2013).
Det er diskrepans mellom lærerne i studien og minst en av lærerne gir få VfL-kommentarer. Dette impliserer at det kan være mye å vinne på å gi lærere opplæring i hvilke former for tilbakemeldinger som har størst sjanse for å bidra til framgang for elevene i skriveopplæringen.
Appendiks A og B
Forklaringer til appendiks A og B
Begrep |
Forklaring |
Tekst |
Tilbakemelding står i teksten |
Slutt |
Tilbakemelding er gitt i sluttkommentar |
N |
Antall elevtekster med lærers tilbakemelding |
VfL |
Vurdering for læring - slik det er definert i denne artikkelen |
Tall |
Indikerer frekvens |
Spredning |
Spredning i antall tilbakemeldingsenheter |
Øvrige kategorier |
Er gjort rede for i artikkelen |
Appendiks A
Skole A
Lærer |
I tekst |
Slutt |
Sum |
Sum VfL i tekst |
Sum VfL til slutt |
VfL totalt |
Mål + spredning |
Instruks + spredning |
Relasjon + spredning |
Korrigering innhold |
Korrigering språk |
Fargekode |
Anne N=32 |
724 |
396 |
1120 |
342 |
228 |
570 |
211 0-9 |
359 1-13 |
11 0-3 |
174 0-6 |
365 1-21 |
964 7-50 |
Berit N=32 |
728 |
119 |
847 |
21 |
77 |
98 |
32 0-3 |
66 0-4 |
1 0 |
69 0-6 |
679 7-63 |
0 |
Carina N=24 |
236 |
115 |
351 |
96 |
133 |
229 |
67 0-8 |
162 0-6 |
40 0-8 |
60 0-6 |
22 0-2 |
673 5-58 |
Appendiks B
Skole B
Lærer |
I tekst |
Slutt |
Sum |
Sum VfL i tekst |
Sum VfL til slutt |
VfL totalt |
Mål + spredning |
Instruks + spredning |
Relasjon + spredning |
Korrigering innhold |
Korrigering språk |
Fargekode |
Dina N=30 |
603 |
248 |
851 |
198 |
159 |
357 |
167 0-8 |
190 0-7 |
138 0-9 |
112 0-8 |
242 0-19 |
0 |
Eva N=25 |
577 |
144 |
721 |
318 |
106 |
424 |
204 1-14 |
220 0-9 |
40 0-5 |
113 0-9 |
144 0-18 |
0 |
Frøy N=28 |
541 |
92 |
633 |
357 |
61 |
418 |
188 0-12 |
230 0-7 |
87 0-7 |
103 0-7 |
25 0-3 |
0 |
Skjema med kjennetegn på måloppnåelse, benyttet ved skole B
Vedlegg 2
- Skole - |
Gruppe |
Eksaminandnr |
||
1 |
Karakter 2 Eksamenssvaret |
Karakter 3-4 Eksamenssvaret |
Karakter 5-6 Eksamenssvaret |
|
Hovedinntrykk |
|
er i noen grad et relevant svar på kortsvarsoppgaven er i noen grad et relevant svar på langsvarsoppgaven viser noe forståelse og bruk av de vedlagte tekstene er enkelt eller uklart formulert |
er et stort sett relevant svar på kortsvarsoppgaven er et stort sett relevant svar på langsvarsoppgaven viser at eleven forstår og bruker de vedlagte tekstene er stort sett godt formulert, med hensiktsmessig ordforråd |
er et presist og relevant svar på kortsvarsoppgaven er et utfyllende og relevant svar på langsvarsoppgaven viser god forståelse og bruk av de vedlagte tekstene er gjennomgående godt formulert, med nyansert ordforråd |
Språk og formelle ferdigheter |
|
har sammenbinding mellom setninger og avsnitt viser at elevene mestrer hovedformene i formverket til en viss grad viser at eleven mestrer ortografi og tegnsetting til en viss grad skiller mellom sitat og egenprodusert tekst og oppgir kilder |
har nokså god/god sammenbinding mellom setninger og avsnitt viser at eleven stort sett mestrer formverket har stort sett korrekt ortografi og tegnsetting markerer sitat og viser til kilder på en ryddig måte |
har god sammenbinding mellom setninger og avsnitt viser at eleven mestrer formverket har gjennomgående korrekt ortografi og tegnsetting markerer sitat og viser til kilder ryddig og nøyaktig |
Kortsvaret |
|
har en viss struktur og sammenheng viser noe faglig kunnskap kommenterer eller argumenterer på en enkel måte peker på noen karakteristiske trekk ved tekster har noe fagspråk |
har stort sett hensiktsmessig struktur og god sammenheng viser nokså god/god faglig kunnskap kommenterer eller argumenterer på en klar måte gjør greie for karakteristiske trekk ved tekster har formålstjenlig fagspråk |
har hensiktsmessig struktur og god sammenheng viser meget god faglig kunnskap kommenterer eller argumenterer på en presis måte gjør godt greie for karakteristiske trekk ved tekster har presist og formålstjenlig fagspråk |
1 |
Karakter 2 Den aktuelle elevteksten |
Karakter 3-4 Den aktuelle elevteksten |
Karakter 5-6 Den aktuelle elevteksten |
|
Kreative tekster |
|
har en viss struktur og sammenheng har med noen relevante momenter og/eller eksempler viser at eleven har valgt noen innfallsvinkler og språklige virkemidler reflekterer i noen grad bruker noen enkle litterære virkemidler i utformingen av teksten viser i noen grad til språklig/kulturhistorisk kunnskap dersom det er relevant bruker vedlagte tekster på en enkel måte |
har stort sett hensiktsmessig struktur og god sammenheng har relevante momenter og/eller eksempler viser noe kreativitet i valg av innfallsvinkler og språklige virkemidler reflekterer, prøver ut tanker bruker litterære virkemidler i utformingen av teksten viser til og bruker språklig/kulturhistorisk kunnskap dersom det er relevant bruker vedlagte tekster på en selvstendig måte |
har hensiktsmessig struktur og god sammenheng har relevante momenter og/eller eksempler, med god bredde viser kreativitet i valg av innfallsvinkler og språklige virkemidler reflekterer, prøver ut tanker på en selvstendig måte bruker litterære virkemidler på en gjennomført måte viser til og reflekterer over språklig/kulturhistorisk kunnskap dersom det er relevant bruker vedlagte tekster på en kreativ og selvstendig måte |
Samlet vurdering av kortsvar og langsvar |
|
Samlet sett viser elevsvaret |
Samlet sett viser elevsvaret |
Samlet sett viser elevsvaret meget god kompetanse i faget |
Skjema med kjennetegn på måloppnåelse, benyttet ved skole B
Vedlegg 3
- Skole - |
Gruppe |
Eksaminandnr |
||
1 |
Karakter 2 |
Karakter 3-4 |
Karakter 5-6 |
|
Hovedinntrykk |
|
er i noen grad et relevant svar på kortsvarsoppgaven er i noen grad et relevant svar på langsvarsoppgaven viser noe forståelse og bruk av de vedlagte tekstene er enkelt eller uklart formulert |
er et stort sett relevant svar på kortsvarsoppgaven er et stort sett relevant svar på langsvarsoppgaven viser at eleven forstår og bruker de vedlagte tekstene er stort sett godt formulert, med hensiktsmessig ordforråd |
er et presist og relevant svar på kortsvarsoppgaven er et utfyllende og relevant svar på langsvarsoppgaven viser god forståelse og bruk av de vedlagte tekstene er gjennomgående godt formulert, med nyansert ordforråd |
Språk og formelle ferdigheter |
|
har sammenbinding mellom setninger og avsnitt viser at eleven mestrer hovedformene i formverket til en viss grad viser at eleven mestrer ortografi og tegnsetting til en viss grad skiller mellom sitat og egenprodusert tekst og oppgir kilder |
har nokså god/god sammenbinding mellom setninger og avsnitt viser at eleven stort sett mestrer formverket har stort sett korrekt ortografi og tegnsetting markerer sitat og viser til kilder på en ryddig måte |
har god sammenbinding mellom setninger og avsnitt viser at eleven mestrer formverket har gjennomgående korrekt ortografi og tegnsetting markerer sitat og viser til kilder ryddig og nøyaktig |
Kortsvaret |
|
har en viss struktur og sammenheng viser noe faglig kunnskap kommenterer eller argumenterer på en enkel måte peker på noen karakteristiske trekk ved tekster har noe fagspråk |
har stort sett hensiktsmessig struktur og god sammenheng viser nokså god/god faglig kunnskap kommenterer eller argumenterer på en klar måte gjør greie for karakteristiske trekk ved tekster har formålstjenlig fagspråk |
har hensiktsmessig struktur og god sammenheng viser meget god faglig kunnskap kommenterer eller argumenterer på en presis måte gjør godt greie for karakteristiske trekk ved tekster har presist og formålstjenlig fagspråk |
|
1 |
Karakter 2 Den aktuelle elevteksten |
Karakter 3-4 Den aktuelle elevteksten |
Karakter 5-6 Den aktuelle elevteksten |
Informative, argumenterende og resonnerende tekster |
|
har en viss struktur og sammenheng har med noen relevante momenter og/eller eksempler gjør greie for faglige emner på en enkel måte gjengir hovedsyn i noen grad argumenterer på en delvis overbevisende måte har enkle resonnementer. har noen oppsummeringer eller enkle konklusjoner viser noe refleksjon bruker eventuelle kilder på en delvis relevant måte |
har stort sett hensiktsmessig struktur og god sammenheng har relevante momenter og/eller eksempler gjør greie for faglige emner på en stort sett klar måte. formulerer hovedsyn. argumenterer saklig, på en stort sett overbevisende måte har klare resonnementer, viser evne til å drøfte et emne oversiktlig har oppsummeringer eller konklusjoner viser nokså god/god evne til refleksjon bruker eventuelle kilder på en relevant og etterprøvbar måte |
har hensiktsmessig struktur og god sammenheng har relevante momenter og/eller eksempler, med god bredde gjør greie for faglige emner på en presis måte formulerer hovedsyn presist argumenterer saklig, på en overbevisende måte har klare resonnementer, viser evne til å drøfte et emne saklig og nyansert har poengterte oppsummeringer eller konklusjoner viser meget god evne til refleksjon bruker eventuelle kilder relevant, etterprøvbart og selvstendig |
Samlet vurdering av kortsvar og langsvar |
|
samlet sett viser elevsvaret lav kompetanse i faget |
Samlet sett viser elevsvaret nokså god kompetanse i faget eller god kompetanse i faget |
Samlet sett viser elevsvaret meget god kompetanse i faget eller framifrå kompetanse i faget |
Litteraturhenvisninger
Askew, S., & Lodge, C. (2000). Gifts, ping-pong and loops – linking feedback and learning. I Askew, S. (red.) Feedback for learning, 1-17. London. Routledge.
Bergman-Claeson, G. (2003). Tre lärare-tre världar: lärarkommentarer till elevtexter i tre gymnasieklasser. Uppsala universitet.
Berge, K. L., Evensen, L. S., & Thygesen, R. (2016). The Wheel of Writing: a model of the writing domain for the teaching and assessing of writing as a key competency. The Curriculum Journal, 27.2 1-18.
Berge, K. L. & Skar, G. (2015). Ble elevene bedre skrivere? Intervensjonseffekter på elevers skriveferdigheter og skriveutvikling. Rapport 2 fra Normprosjektet. Trondheim: Høgskolen i Sør-Trøndelag,
Avdeling for lærer- og tolkutdanning
Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, Vol. 18, Nr. 1, s. 5-25
Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), 21(1), 5-31.
Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7-74.
Bueie, A.A. (2015). Summativ vurdering i formativ drakt – elevperspektiv på tilbakemelding fra heldagsprøver i norsk. Acta Didactica Norge, 9(1), Art-4.
Bueie, A. A. (2016). Nyttige og mindre nyttige lærerkommentarer–slik elevene ser det. Nordic Journal of Literacy Research, 2(1).1–28.
Dweck, C. S. (2002). Messages that motivate: How praise molds students' beliefs, motivation, and performance (in surprising ways), i Aronson J. (ed.): Improving academic achievement: Impact of psychological factors on education, 37-69. San Diego, Academic Press.
Dysthe, O. (2011). “What is the Purpose of Feedback when Revision is Not Expected?” A Case Study of Feedback Quality and Study Design in a First Year Master’s Programme. Journal of Academic Writing, 1(2), 135–142.
Evensen, L. S., Berge, K. L., Thygesen, R., Matre, S., & Solheim, R. (2016). Standards as a tool for teaching and assessing cross-curricular writing. The Curriculum Journal, 27.2 1-17.
Ferris, D. R. (2004). The “grammar correction” debate in L2 writing: Where are we, and where do we go from here? (and what do we do in the meantime…?). Journal of second language writing, 13(1), 49-62.
Fjørtoft, H. (2013). Vurderingspraksiser i norskfaget. I Sandvik, L.V., og Buland, T. (Red.), Vurdering i skolen. Operasjonaliseringer og praksiser (s. 99-118). Delrapport 2 fra prosjektet Forskning på individuell vurdering i skolen (FIVIS). Trondheim: NTNU Skole og læringsforskning og SINTEF.
Fleiss, J. L. (1981). Balanced incomplete block designs for inter-rater reliability studies. Applied Psychological Measurement, 5(1), 105-112.
Gadamer, H. G. (2008). Philosophical hermeneutics. University of California Press.
Garmannslund, P. E., Elstad, E. & Christophersen, K. (2015). Norsklærers innflytelse på egne elevers motivasjon, selvdisiplin, innsats og norskprestasjon: Empiriske sammenhenger hos førsteårselever i videregående skole. FOU i praksis 9(1), 9–32.
Gibbs, G. R. (2008). Analysing qualitative data. Los Angeles. Sage.
Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112.
Hayward, L., Priestley, M., & Young, M. (2004). Ruffling the calm of the ocean floor: Merging practice, policy and research in assessment in Scotland. Oxford Review of Education, 30(3), 397–415.
Hertzberg, F. & Roe, A. (2016). Writing in the content areas: a Norwegian case study. Reading and writing, 29(9). 555–576.
Hillocks Jr, G. (1987). Synthesis of Research on Teaching Writing. Educational Leadership, 44(8). 71–76, 78, 80–82.
Hopfenbeck, T., Tolo, A., Florez, T., & El Masri, Y. (2013). Balancing Trust and Accountability? The Assessment for Learning Programme in Norway. Oslo. OECD.
Igland, M.-A. (2008). Mens teksten blir til. Ein kasusstudie av lærarkommentarar til utkast. Det utdanningsvitenskapelige fakultet, Universitetet i Oslo.
Jølle. L. (2014). Pair assessment of pupil writing: A dialogic approach for studying the development of rater competence. Assessing Writing: An International Journal, 20, 37–52.
Kronholm-Cederberg, A. (2009). Skolans responskultur som skriftpraktik: gymnaasisters berättelser om lärarens skriftliga respons på uppsatsen. Doktoravhandling, Åbo: Åbo akademis förlag .
Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159–174.
Leahy, S., Lyon, C., Thompson, M., & Wiliam, D. (2005). Classroom assessment: Minute-byminute and day-by-day. Educational Leadership, 63 (3)(3), s. 18-24.
Lee, I. (2008). Understanding teachers’ written feedback practices in Hong Kong secondary classrooms. Journal of Second Language Writing, 17(2), 69-85.
Lee, I. (2007). Feedback in Hong Kong secondary writing classrooms: Assessment for learning or assessment of learning? Assessing Writing, 12(3), 180-198.
Lee, I. (2004). Error correction in L2 secondary writing classrooms: The case of Hong Kong. Journal of Second Language Writing, 13(4), 285-312.
Magno, C., & Amarles, A. (2011). Teachers’ feedback practices in second language academic writing classrooms. The International Journal of Educational and Psychological Assessment, 6(2). 21-30
Matre, S., & Solheim, R. (2015). Writing education and assessment in Norway: Towards shared understanding, shared language and shared responsibility. L1-Educational Studies in Language and Literature, 15. 1-33.
Newton, P. E. (2007). Clarifying the purposes of educational assessment. Assessment in Education, 14(2), 149-170.
Parr, J. M., & Timperley, H. S. (2010). Feedback to writing, assessment for teaching and learning and student progress. Assessing writing, 15(2), 68-85.
Patton, M., Q. (2014). Qualitative Research & Evaluation Methods: Integrative Theory and Practice. Sage Publications.
Ramaprasad, A. (1983). On the definition of feedback. Behavioral Science, 28(1), s. 4-13.
Rommetveit, R. (1972). Språk, tanke og kommunikasjon. Ei innføring i språkpsykologi og psykolingvistikk. Oslo: Universitetsforlaget.
Sadler, D.R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18, 119–144.
Sandvik, L.V. & Buland, T. (2014). Vurdering i skolen: utvikling av kompetanse og fellesskap: sluttrapport fra prosjektet Forskning på individuell vurdering i skolen (FIVIS). Trondheim: NTNU program for lærerutdanning.
Skaalvik, E.M., & Skaalvik, S. (2013). Lærerrollen sett fra lærernes ståsted. Trondheim, NTNU Samfunnsforskning. <http://samforsk.no/Sider/Publi- kasjoner/Lærerrollen-sett-fra-lærernes-ståsted.aspx>
Skaalvik, E.M., & Skaalvik, S. (2011). Motivasjon for skolearbeid. Trondheim, Tapir akademiskforlag.
Smidt, J. (2002). Double Histories in Multivocal Classrooms Notes Toward an Ecological Account of Writing. Written Communication, 19(3), 414-443.
Sommers, N. (1982). Responding to student writing. College composition and communication, 33(2), s. 148-156.
Stortingsmelding nr. 28 (2015–2016). Fag – fordypning – forståelse – en fornyelse av kunnskapsløftet. https://www.regjeringen.no/no/dokumenter/meld.-st.-28-20152016/id2483955/
Truscott, J. (1996). The case against grammar correction in L2 writing classes. Language learning, 46(2), 327-369.
Utdanningsdirektoratet (2014). Nasjonal satsing på vurdering for læring (2010–2014). http://www.udir.no/Vurdering-for-laring/Nasjonal-satsing1/Nasjonal-satsing-pa-Vurdering-for-laring
Utdanningsdirektoratet (2010). Rundskriv Udir-1-2010. Individuell vurdering. http://www.udir.no/Regelverk/Finn-regelverk-for-opplaring/Finn-regelverk-etter-tema/Vurdering/Udir-1-2010-Individuell-vurdering
Utdanningsdirektoratet (2009). Bedre vurderingspraksis, sluttrapport fra Utdanningsdirektoratet 2009. http://www.udir.no/Tilstand/Forskning/Rapporter/Utdanningsdirektoratet/Bedre-vurderingspraksis-sluttrapport-fra-Utdanningsdirektoratet-2009/
Weaver, M. R. (2006). Do students value feedback? Student perceptions of tutors’ written responses. Assessment & Evaluation in Higher Education, 31(3), 379–394. Publisher Full Text