Automatisk formativ feedback kan gi god motivasjon og læring

Implementering av god tilbakemeldingspraksis i interaktive regnearkoppgaver 

Intensjonen med formative tilbakemeldinger er å endre studentenes tenkning eller adferd og bidra til å øke deres læringsutbytte (Shute, 2008). Formative tilbakemeldinger bør gis mer eller mindre kontinuerlig, og vi beskriver dem ofte som tilbakemeldinger for læring (Price, Handley, Millar & O'Donovan, 2010). Pedagogisk forskning er tydelig på at slike tilbakemeldinger kan bety mye for læring (Black & Wiliam, 2009; Evans, 2013; Hattie & Timperley, 2007; Nicol og Macfarlane-Dick, 2006; Shute, 2008). I tillegg til å øke læringsutbyttet, kan formative tilbakemeldinger øke motivasjonen for læring (Narciss & Huth, 2004). Motivasjonen øker når en student opplever mestring. I en akademisk kontekst er det ofte oppgaveløsing som skal mestres. Raske og konstruktive tilbakemeldinger på eget arbeid kan stimulere interessen for oppgaveløsing (Wigfield & Eccles, 2000).

I høyere utdanning er tradisjonelle papirbaserte tilbakemeldinger i ferd med å bli supplert med, og i noen tilfeller erstattet av, innovativ bruk av informasjons- og kommunikasjonsteknologi, IKT (Marriott & Lau, 2008; Evans, 2013). Programvare kan levere detaljerte individuelle formative tilbakemeldinger på en effektiv måte (Denton, Madden, Roberts & Rowe, 2008; Gipps, 2005; Pachler, Daly, Mor & Mellar, 2010). Studenter setter pris på å få umiddelbar respons på arbeidene sine (Denton et al., 2008; Galloway, 2007).

IKT-teknologien kan imidlertid ha bidratt til større vektlegging av flervalgspørsmål («multiple choice») ved vurderinger siden disse er enkle å rette automatisk (Drier, 2001; Lehman & Herring, 2003). Siden svaret på et flervalgspørsmål enten er riktig eller feil, er det ikke mulig å gi formative tilbakemeldinger på prosessen som har ført frem til svaret på slike spørsmål. Studentene fratas dermed muligheten til å få oppklart misforståelser eller andre svakheter slik at de kan forbedre løsningene sine (Scouller, 1998).

Målet med denne artikkelen er å drøfte implementering av og evaluere en innovativ algoritme som kan gi formative tilbakemeldinger automatisk ikke bare på det endelige løsningsresultat, men også på deloppgavene som fører frem til dette. Oppgavene som skal løses utfordrer studentene utover det som er mulig med flervalgspørsmål (Bertheussen, 2012). De krever mer enn pugging og drilling. En student må først utvikle en løsning i et regneark for å kunne svare på spørsmålene som stilles.

I neste hovedavsnitt vil vi drøfte teori som har informert designet til den automatiske tilbakemeldingsalgoritmen. Deretter beskriver vi hvordan teorien er implementert i praksis. Vi fortsetter med å rapportere resultater fra en evaluering av studentenes motivasjon og læringsutbytte av å arbeide med interaktive oppgaver. Til slutt kommer en konklusjon. 

Prinsipper for god tilbakemeldingspraksis

Tilbakemeldinger er et nøkkelelement i formative vurderinger (Nicol & Macfarlane-Dick, 2006). Likevel vet vi fortsatt lite om hvordan tilbakemeldinger oppfattes av en student og hvordan hun skaper mening av dem (Shute, 2008). Litteraturen gir oss ikke entydige svar på hva som kjennetegner gode tilbakemeldinger og hvordan vi kan forsikre oss om at studentene forstår dem og bruker dem aktivt i læringsarbeidet sitt (Shute, 2008). Flere har oppsummert forskningen om formativ feedback. Den automatiske formative tilbakemeldingsalgoritmen som diskuteres i denne artikkelen, henter teoretisk næring først og fremst fra arbeidene til Nicol og Macfarlane-Dick (2006) og Shute (2008).

Nicol og Macfarlane-Dick (2006) fokuserer på hvordan formativ vurdering kan bidra til å utvikle selvregulert læring (SRL). En selvregulert student er i stand til å kontrollere viktige sider ved sin egen læring. Hun kan sette seg mål, overvåke fremdrift og evaluere fremgang i forhold til målene som er satt (Zimmerman & Schunk, 2013; Pintrich, 1995). Det er en sentralt målsetting i høyere utdanning å utvikle selvregulerte studenter (Nicol & Macfarlane-Dick, 2006).

I 2006 gikk Nicol og Macfarlane-Dick gjennom forskningen om formative vurderinger og tilbakemeldinger i et forsøk på å identifisere hvordan slike prosesser kan bidra til å utvikle selvkontroll og refleksjon hos en student. Med bakgrunn i litteraturen, identifiserte de syv prinsipper for god tilbakemeldingspraksis som kan støtte studentene i selvreguleringsprosesser.

Prinsipp 1: God tilbakemeldingspraksis er tydelig på hva som er en god prestasjon.

Hva som er en god prestasjon, kan vurderes i forhold til et mål, et kriterium eller en forventet standard. Studenter kan bare regulere fremgangen sin når de har en tydelig forståelse for hva som er målet (Sadler, 1989; Black and Wiliam, 2009). Wiggins (1998) beskriver effektive tilbakemeldinger som informasjon om hvordan en student presterer i forhold til hva hun forsøker å oppnå. Det handler om faktisk prestasjon i forhold til ideell prestasjon. I tilknytning til oppgaveløsing er en fasit et eksempel på en objektiv standard fordi studentene kan sammenligne eget arbeid med denne (Orsmond, Merry & Reiling, 2002).

Prinsipp 2: God tilbakemeldingspraksis legger til rette for refleksjon og vurdering av egen læring.

En av de mest effektive måtene å utvikle selvregulering på, er å legge til rette for at studentene regulerer sider ved sin egen læring (Pintrich, 1995). I et interaktivt læremiddel kan dette blant annet oppnås gjennom simuleringer. Når en student simulerer, får hun direkte og umiddelbare tilbakemeldinger om virkningene av sine handlinger, noe som kan gi grobunn for faglige refleksjoner (Thomas & Milligan, 2004).

Prinsipp 3: God tilbakemeldingspraksis gir kvalitetsinformasjon til studentene om deres læring.

Mange studenter vil overse tilbakemeldinger som er for lange eller for kompliserte fordi slike meldinger kan gjøre budskapet mindre tydelig (Shute, 2008). I Tabell 1 er tilbakemeldinger kategorisert ut fra kompleksitet. Enkle meldinger listes først og kompliserte til slutt.

Tabell 1. Tilbakemeldinger og kompleksitet*

Ingen tilbakemelding	Får ikke tilbakemelding på om svaret på et spørsmål er riktig eller feil.
Bekreftelse	Får bekreftet om svaret er riktig eller feil.
Riktig svar	Viser fasiten, men uten forklaring.
Prøv igjen	Får vite at svaret er feil og anledning til å gjøre et nytt forsøk.
Feilflagging	Feilen blir lokalisert i oppgaveløsningen, men uten forklaring.
Utdypende tilbakemelding	Forklarer hvorfor svaret er feil og kan vise riktig svar (se Tabell 2 Mer om utdypende tilbakemeldinger).

Fra Shute (2008). Effektive tilbakemeldinger kan levere bekreftende og/eller utdypende informasjon. Bekrefting gir svar på om løsningen er riktig eller feil. En tilbakemelding som utdyper gir tips og kommentarer som kan veilede studenten mot et riktig svar. Blant forskerne er det økende enighet om at responsspesifikke tilbakemeldinger fremmer studentenes prestasjoner i større grad enn enkel bekrefting eller «prøv til du finner riktig svar» (Shute, 2008).

I Tabell 2 er tilbakemeldinger kategorisert ut fra hvor utdypende de er. Minst utdypende meldinger listes først og mer utdypende til slutt i tabellen.

Tabell 2. Utdypende tilbakemeldinger*

Attributt isolering	Har fokus på sentrale attributter ved konseptet som studeres, for eksempel behovet for å etablere en kontantstrøm i en nåverdiberegning.
Emnebetinget	Gir mer generell (lærebok) informasjon om emnet som studeres.
Svarbetinget	Gir tilbakemelding om det spesifikke svaret uten å legge til grunn en formell feilanalyse, en fasit for eksempel.
Hint/stikkord/melding	Rettleder studenten i riktig retning, for eksempel gjennom tips om hvordan studentene kan videreutvikle løsningen sin.
Feil/misforståelse	Krever feilanalyse og diagnostikk. Gir informasjon om hva som er feil og hvorfor.
Informativ veiledning	Den mest utdypende formen for tilbakemeldinger. Den bekrefter, flagger feil og gir strategiske tips om det videre arbeidet med løsningen, vanligvis uten å vise fasit.

Fra Shute (2008). Prinsipp 4: God tilbakemeldingspraksis oppmuntrer til dialog mellom studenter og mellom studenter og lærer.

Dialoger mellom studenter og mellom studenter og lærer er viktig for stillasbygging («scaffolding») (Vygotsky, 1978). Regneark som brukes til simuleringer på en stor skjerm i et klasserom, kan danne grunnlaget for fruktbare dialoger.

Prinsipp 5: God tilbakemeldingspraksis motiverer studentene og styrker selvfølelsen.

Tilbakemeldinger som leveres automatisk, kan bidra til å øke studentenes motivasjon (Grebenik & Rust, 2002; Bostock, 2004). Ved databaserte objektive tester blir studentene i stand til å vurdere sin egen forståelse helt privat. Egne prestasjoner kan sammenlignes med egne læringsmål i stedet for medstudentenes prestasjoner. Dette er i tråd med forskning som viser at motivasjonen øker når studentene retter innsatsen sin inn mot å forbedre egen læring i stedet for å konkurrere og sammenligne seg med medstudenter (Elliott & Dweck, 1988).

En annen fordel med objektive tester er at studentene kan prøve å løse en oppgave mange ganger for å forbedre prestasjonen sin (Grebenik & Rust, 2002; Bostock, 2004). Dette passer godt med argumentet om at læreren bør tilby flere oppgaver der studenten får tilbakemelding på prestasjonen sin enn oppgaver der det blir satt karakterer (Gibbs & Simpson, 2004).

Prinsipp 6: God tilbakemeldingspraksis gjør det mulig for studentene å lukke gapet mellom nåværende prestasjon og ønsket prestasjon.

For at vi skal finne ut om økt læringsutbytte er et resultat av gode tilbakemeldinger, må en student ta tilbakemeldingene i bruk (Sadler, 1998). Studenten må få anledning til å bruke feedbacken til å forbedre arbeidet sitt gjennom for eksempel å gjøre oppgaven på nytt. Hvis ikke, er det umulig å vite både for den som gir tilbakemeldingen og den som mottar den om meldingen har vært effektiv.

Prinsipp 7: God tilbakemeldingspraksis gir informasjon til lærerne som de kan bruke til å forbedre egen undervisning.

God tilbakemeldingspraksis handler ikke bare om å levere nyttig informasjon til studenter, men også til lærere. Lærerne kan få informasjon om «hvor skoen trykker» og tilpasse undervisningen deretter (Yorke, 2003).

Implementering av god tilbakemeldingspraksis

Nå skal vi drøfte hvordan god tilbakemeldingspraksis er bygd inn i regnearkbaserte finansoppgaver i et bacheloremne. Konseptet er realisert ved Handelshøgskolen ved Universitetet i Tromsø, og det har vært i bruk i flere år av nærmere 800 studenter.

Oppgavene er interaktive (Bertheussen, 2014a). De blir rettet automatisk, og de gir individuelle formative tilbakemeldinger til en student når hun selv ønsker det. Slike interaktive finansoppgaver er digitale læringsressurser i mikroformat og en pedagogisk innovasjon (Bertheussen, 2014a).

Vi har skrevet en tilbakemeldingsalgoritme i programmeringsspråket Visual Basic for Applications (VBA) som evaluerer i hvilken grad en økonomistudent får til å utvikle en finansoppgave i et regneark (Bertheussen, 2014a). Er oppgaven løst riktig eller helt feil, blir dette bekreftet. Er løsningen delvis riktig, får studenten utdypende formative tilbakemeldinger i form av tips og kommentarer om hvordan hun kan videreutvikle den.

Implementering av god tilbakemeldingspraksis i interaktive regnearkoppgaver

En god oppgave skal utfordre studentenes innsikt i et faglig tema som er drøftet i læreboka eller på en forelesning. Svaret skal ikke være mer eller mindre åpenbart. I stedet krever en god oppgave at studentene finner frem til svaret på egen hånd ved å bruke kunnskaper og prosedyrer som de har tilegnet seg i faget (Siepermann, 2005).

I teorien bør en finansiell beslutning fattes på et økonomisk rasjonelt grunnlag (Simon, 1957). Grunnlaget består ofte i en økonomisk modell som leder frem til en beslutningskritisk beregning. I en interaktiv finansoppgave er det ikke den endelige beslutningen som først og fremst blir vurdert, men arbeidet som er lagt ned i den egenutviklede modellen slik det også er ved manuell oppgavevurdering.

I Figur 1 viser vi et eksempel på en interaktiv oppgave der en student skal analysere lønnsomheten til en investering. For å kunne ta en investeringsbeslutning, må studenten gjøre en beslutningskritisk beregning, det vil si beregne nåverdien til investeringen. Denne beregningen krever imidlertid at studenten først utvikler en kontantstrømmodell som kan forsyne nåverdiberegningen med inndata. For å utvikle modellen, kreves det at studenten er i stand til å definere og analysere et faglig problem, hun må huske og forstå faglige prosedyrer og hun må kunne anvende prosedyrene på det aktuelle problemet (Bertheussen, 2012; Wood, Bruner & Ross, 1976).

Til hver oppgave (se Figur 1) er det en fasit. Fasiten klargjør for studenten hva som er en god prestasjon. Dette er i tråd med Prinsipp 1 for god tilbakemeldingspraksis. Å studere fasiten kan bidra til refleksjon og vurdering av egen læring (Prinsipp 2 for god tilbakemeldingspraksis). Fasiten er i et eget ark i arbeidsboka, og den er i utgangspunktet skjult. En student kan imidlertid velge å ta den frem ved behov.

Når studenten har løst en oppgave, kan hun bruke regnearkmodellen til simuleringer. Også dette kan bidra til refleksjon og vurdering av egen læring (Prinsipp 2 for god tilbakemeldingspraksis).

En student kan gjøre en oppgave på nytt ved å klikke på Repeter-knappen (se Figur 1). Knappen signaliserer at det er lov å prøve og feile fordi egen prestasjon blir sammenlignet med egne læringsmål i stedet for medstudentenes. Dette kan bidra til å motivere studenten og styrke selvfølelsen (Prinsipp 5 for god tilbakemeldingspraksis).

Studenten kan selv velge når hun vil ha tilbakemelding – umiddelbart eller forsinket. Så snart en deloppgave er løst, kan studenten klikke på Feedback-knappen i Figur 1. Umiddelbar feedback kan motivere nybegynnere til å øve siden de får rask tilbakemelding på innsatsen. Ulempen er at dette kan fremme mindre reflektert oppgaveløsing (Shute, 2008). I vår kontekst betyr forsinket feedback at studenten venter med å klikke på Feedback-knappen til hun har forsøkt å løse hele oppgaven.

Implementering av god tilbakemeldingspraksis i rapporter

En dataalgoritme kan rette oppgaver svært raskt og den behandler alle studentene likt. Når en oppgave blir rettet manuelt, blir ikke bare sluttresultatet vurdert, men også fremgangsmåten. Slik bør det også være når en oppgave rettes automatisk. En student får kreditt for hver enkelt deloppgave hun klarer å løse, og hun får også skåre hvis hun bare får til deler av en deloppgave. I tillegg til å rette, gir algoritmen individuelle formative tilbakemeldinger til studenten.

De to knappene i regnearket i Figur 1, Feedback og Repeter, viser at dette ikke bare er en statisk oppgave, men også en interaktiv oppgaveapplikasjon. Når studenten klikker på Feedback-knappen, blir løsningsforslaget hennes rettet og kommentert. Resultatet vises i en rapport som settes inn i et eget ark i arbeidsboka. I Figur 2 viser vi et eksempel på en del av et løsningsforslag som vil resultere i tilbakemeldingsrapporten i Figur 3.

I løsningsforslaget i Figur 2 (bare modellforslaget vises her) har studenten gjort en feil i beregningen av Spart skatt pga. avskrivninger (B22). Dessuten har hun tatt med en irrelevant post (Avskrivninger i rad 24). Klikker hun på Feedback-knappen med et slikt løsningsforslag, vil hun få tilbakemeldingen i Figur 3.

Rapporten i Figur 3 kan gi studenten et godt grunnlag til å reflektere rundt egen løsning og læring i forhold til prestasjonsmålet (Prinsipp 2 for god tilbakemeldingspraksis).

Studenten får en personlig tilpasset tilbakemelding på løsningen sin. Tilbakemeldingen er dessuten dynamisk. Hvis studenten endrer noe i løsningsforslaget, kan hun klikke på Feedback-knappen (se Figur 1) og få ny tilbakemelding umiddelbart.

Under overskriften i rapporten vises grad av måloppnåelse (Totalskår: 79%). Studenten må i dette eksemplet lukke et gap på 11% før oppgaven er løst riktig.

En hake bekrefter at en deloppgave er løst riktig, mens et kryss betyr at den er feil (se alternativet Bekreftelse i Tabell 1).

Et minustegn foran en deloppgave viser at den er løst delvis riktig. Hva som er feil, beskrives i en informativ veiledning. Dette er i samsvar med Prinsipp 3 for god tilbakemeldingspraksis som dreier seg om å levere kvalitetsinformasjon til studentene om deres læring.

Først gis en melding om at det er en feil i beregningen Spart skatt pga. avskrivninger (se Figur 3). Meldingen på linjen under kommenterer hva feilen består i (Avkastningskravet mangler – se Informativ veiledning i Tabell 2). Meldingen som er understreket (Feil i beregningen, se celle B22) er også en hyperkobling. Hvis studenten klikker på denne, føres hun direkte til cellen med beregningsfeilen slik at hun raskt kan korrigere feilen.

En oppgave er altså brutt ned i deloppgaver der hver del er assosiert med egen tilbakemelding (se Figur 3). Dette forenkler arbeidet for studenten med å lukke gapet mellom egen og ideell prestasjon (Prinsipp 6 for god tilbakemeldingspraksis). Det kan dessuten gi motivasjon til oppgaveløsing og styrke studentens selvfølelse (Prinsipp 5 for god tilbakemeldingspraksis).

Implementering av god tilbakemeldingspraksis i emnedesignet

Bruken av interaktive regnearkoppgaver er innvevd i et konstruktivt innrettet finansemne (Biggs, 1996). Et finansemne kan kort beskrives som et grunnleggende kurs i matematikk, statistikk og økonomisk teori anvendt på finansielle problemer. Emnedesignet, som er illustrert i Figur 4, har vært under utvikling siden 2005. Studentene har bidratt med innspill hele tiden.

Vi startet designarbeidet med å utvikle intenderte læringsutbytter. Ett av målene var å utfordre studentene også på høyere ordens kognitiv tenkning (Bertheussen, 2012). Et annet mål var å integrere teoretisk kunnskap med praktiske regnearkferdigheter.

I neste trinn laget vi summative vurderinger for å kunne evaluere studentenes grad av måloppnåelse på en valid og reliabel måte. Til slutt utviklet vi læringsaktiviteter slik at studentene kunne forberede seg på å nå vurderingsstandardene.

Til hvert av de 14 temaene i emnet er det utviklet interaktive oppgaver. Regnearkoppgaver brukes også i to obligatoriske innleveringer og til eksamen i emnet (se 5 i Figur 4).

På seminar (se 4 i Figur 4) blir studentene oppfordret til å arbeide i par. Da løser to studenter en oppgave på samme PC i fellesskap. Mens én student kontrollerer musa og tastaturet, er den andre observatør. Jobben til observatøren er å stille spørsmål, foreslå alternative løsninger, søke etter informasjon og finne feil. På neste oppgave bytter de to roller slik at operatøren blir observatør og vice versa. Parvis samarbeid kan fremme faglige dialoger, og gjennom det utvikle forståelse og analytiske ferdigheter (Williams & Upchurch, 2001). Dette er også i samsvar med Prinsipp 4 for god tilbakemeldingspraksis om å oppmuntre til faglige dialoger.

Studentenes motivasjon kan bli ytterligere forsterket når formative vurderinger er koblet til summative tester på det samme formatet (Zakrewski & Bull, 1998). Dette er implementert i emedesignet i Figur 4 (se 5). Det er også i tråd med Prinsipp 5 for god tilbakemeldingspraksis om å skape motivasjon og en god selvfølelse.

Når oppgavene brukes summativt (se 5 i Figur 4), blir det utarbeidet statistikk som viser hvilke deloppgaver som har vært vanskelige å løse for studentene (Bertheussen, 2014b). Dette er problemer som læreren kan legge ekstra vekt på i sin undervisning. Dette er i tråd med Prinsipp 7 for god tilbakemeldingspraksis som handler om å gi informasjon til læreren som hun kan bruke til å forbedre egen undervisning.

Evaluering av tilbakemeldingspraksisen

I dette hovedavsnittet vil vi forsøke å svare empirisk på spørsmålene om automatiske formative tilbakemeldinger motiverer og styrker selvfølelsen til studentene (Prinsipp 5) og om de bidrar til et godt læringsutbytte (Prinsipp 6). Et spørreskjema ble sendt til 131 studenter som gikk opp til eksamen i emnet Investering og finansiering høsten 2011 ved vår handelshøgskole. Alle mottok skriftlig forespørsel om å delta i prosjektet (e-post), og de ble informert om formålet med studien og hvordan den ville bli gjennomført. Spørreskjemaet ble tilsendt midtveis i kurset (QuestBack). Vi mottok 83 svar (63 %). I skjemaet var det formulert påstander om motivasjon og læringsutbytte som studentene skulle ta stilling til. Responsen ble rapportert på en fempunkts Likert-skala rangert fra 1 (helt uenig) til 5 (helt enig), men det var også åpne svaralternativer.

Forskningsetisk refleksjon

Som artikkelforfatter har jeg hatt flere roller i prosjektet. Jeg har utviklet emnedesignet, og sammen med en kollega har jeg skrevet læreboka til emnet. Med samme kollega har jeg utviklet de interaktive oppgavene til emnet. Til slutt var jeg sammen med nevnte kollega lærer på emnet og emneansvarlig da undersøkelsen fant sted. Mine sentrale roller kan ha satt føringer på studentenes svar. Det ble imidlertid understreket at deltakelse var frivillig og at det ikke ville få noen innvirkning på studentens forhold til høgskolen, forfatteren eller andre hvis hun ikke ville delta. Dessuten kunne deltakerne trekke seg når som helst uten begrunnelse. Jeg har forsøkt å være bevisst på at resultatene ikke skal være påvirket av rolleblandinger.

Automatiske tilbakemeldinger og motivasjon

Når en student lykkes med å løse en interaktiv oppgave, vises et blidt fjes i en dialogboks. Mislykkes studenten, vises et surt fjes. Lykkes studenten delvis, får hun frem en tilbakemeldingsrapport med tips om hva hun kan gjøre for å forbedre løsningen sin (se Figur 3). Påstandene i Tabell 3 forsøker å måle om positive tilbakemeldinger fra interaktive oppgaver bidrar til mestringsfølelse («blidt fjes») og om tilbakemeldinger om mislykket løsning fører til at studenten mistet motet og gir opp («surt fjes»). Spørsmålene fokuserer på Prinsipp 5 Motivasjon og selvfølelse.

Tabell 3. Automatiske formative tilbakemeldinger og motivasjon (n =83)

	Gjennomsnitt (SD)	t-verdi (p)*
Blidt fjes:-) som vises når jeg får til å løse en interaktiv oppgave, gir meg en god mestringsfølelse.	4,2 (1,1)	8,7 (,00)
Når tilbakemeldingen med surt fjes:-(dukker opp etter at jeg har prøvd å løse en interaktiv oppgave, mister jeg motet og gir opp.	1,5 (0,9)	−13,0 (,00)
Jeg synes det er mer motiverende å løse interaktive oppgaver enn manuelle.	4,0 (1,3)	6,2 (,00)

Signifikant forskjellig fra midtverdien 3. Påstanden om at «blidt fjes» skaper mestringsfølelse, gir en signifikant skåre på 4,2. Studentene er signifikant uenige i påstanden om at «surt fjes» demotiverer så mye at de mister motet og gir opp (1,5). Påstanden om at det er mer motiverende å løse interaktive oppgaver enn manuelle, gir en signifikant skåre på 4,0.

Mestringsfølelsen som følger av en vellykket løsning (se påstanden om «blidt fjes» i Tabell 3), kan motivere studentene til å ta fatt på nye oppgaver. Vi forventet at tilbakemeldingen om mislykket løsning («surt fjes») kunne demotivere studentene til å gi opp (Hattie & Timperley, 2007; Shute, 2008), men en slik påstand finner ikke støtte i resultatene våre. Studentene hevder tvert i mot at «surt fjes» ikke gjør dem motløse.

En samlet vurdering av resultatene i Tabell 3 indikerer at formative tilbakemeldinger fra interaktive oppgaver gir studentene mestringsfølelse og økt motivasjon til oppgaveløsing. Tilbakemelding om mislykket løsning demotiverer ikke så mye at studentene gir opp.

Automatiske tilbakemeldinger og læringsutbytte

I Tabell 4 fremmer vi fire påstander om studentenes subjektive læringsutbytte (Gynnild, 2011) av å arbeide med interaktive finansoppgaver.

Tabell 4. Automatiske tilbakemeldinger og læringsutbytte (n=83).

	Gjennomsnitt (SD)	t-verdi (p)*
Når alvorlig fjes;-∣ vises etter at jeg har bedt om feedback, bruker jeg tipsene i Feedback-arket til å forbedre løsningen min.	4,0 (0,9)	8,6 (,00)
Jeg lærer mer av å løse interaktive oppgaver enn tradisjonelle oppgaver.	4,0 (1,2)	7,2 (,00)
For meg er det bortkastet å arbeide med interaktive oppgaver.	1,5 (0,9)	−14,3 (,00)
Jeg synes det er en god idé å utvikle interaktive oppgaver også i andre økonomifag.	4,1 (1,0)	8,8 (,00)

Signifikant forskjellig fra midtverdien 3. Med en signifikant skåre på 4,0 er studentene enige i påstanden om at de bruker tipsene i tilbakemeldingsarket til å forbedre løsningene sine (se påstanden om «alvorlig fjes» i Tabell 4). De bruker altså tilbakemeldingene til å lukke gapet mellom mellom nåværende prestasjon og ønsket prestasjon (Prinsipp 6: lukke gapet).

Studentene er signifikant enige i påstanden om at de lærer mer av interaktive oppgaver enn tradisjonelle (4,0), mens de er uenige i påstanden om at det er bortkastet å arbeide med interaktive oppgaver (1,5). Påstanden om at det er en god idé å utvikle interaktive oppgaver også i andre økonomifag får en skåre på 4,1 (signifikant).

Fritekstsvaret nedenfor beskriver én students erfaringer med interaktive oppgaver:

«Jeg synes dette er en kjempefin læringsplattform. Det å kunne få tilbakemelding på en oppgave umiddelbart er motiverende, samtidig som det bidrar til effektiv læring. Til tider har jeg litt tekniske problemer som gjør at jeg får feil på oppgaver til tross for at alt er riktig.»

Det å kunne få tilbakemelding på en oppgave umiddelbart er motiverende, samtidig som det bidrar til effektiv læring. 

Andre fritekstsvar nyanserer det positive inntrykket:

«Jeg har litt for lett for å se på fasiten og egentlig ikke skjønne hva de ulike løsningene betyr.»

«[…] er et bra program, men personlig føler jeg at jeg lærer og husker ting bedre når jeg regner manuelt istedenfor.»

En samlet vurdering av resultatene i Tabell 4 indikerer imidlertid at studentene opplever et godt læringsutbytte av å arbeide med interaktive oppgaver som gir individuelle formative tilbakemeldinger når de selv ønsker det.

Konklusjon

Pedagogisk forskning er tydelig på at formative tilbakemeldinger kan bety mye for studentenes engasjement og motivasjon for læring (Evans, 2013; Hattie & Timperley, 2007; Shute, 2008). Gode tilbakemeldinger kan hjelpe studentene med å lykkes og gi næring til faglige refleksjoner og tenkning rundt eget studiearbeid (Lewis & Sewell, 2008; Nicol & Macfarlane-Dick, 2006).

I artikkelen diskuterer vi hvordan god tilbakemeldingspraksis basert på det teoretiske rammeverket til Nicol og Macfarlane-Dick (2006) er implementert i interaktive regnearkoppgaver ved Handelshøgskolen ved Universitetet i Tromsø. I motsetning til flervalgsspørsmål og oppgaver som kan løses gjennom prosedyredrilling, utfordrer oppgavene studentene også på høyere ordens kognitive nivå (Bertheussen, 2012) ved at de må utvikle finansmodeller fra grunnen av i regneark.

Den innovative algoritmen som evaluerer studentenes arbeid, gir tilbakemeldinger ikke bare på det endelige løsningsresultatet, men også på deloppgavene som fører frem til dette. Studentene får individuelle tips og kommentarer som de kan bruke i arbeidet med å forbedre løsningene sine.

En evaluering viser at formative tilbakemeldinger som gis automatisk kan bidra til mestringsfølelse og motivasjon hos studentene (se Tabell 3). Studentene rapporterer også at de bruker tilbakemeldingene konstruktivt til å videreutvikle egne løsninger, og de opplever et godt læringsutbytte av å løse interaktive finansoppgaver i regneark (se Tabell 4).

Implikasjoner

I Norge har vi store klasser på innføringskursene i bedriftsøkonomi (Bertheussen, 2013). På slike emner erfarer lærere at deres kapasitet til å gi gode individuelle formative tilbakemeldinger ikke strekker til, verken muntlig eller skriftlig. Her kan formative digitale tilbakemeldinger fungere som et supplement. Også på online-kurs (distanseundervisning), der det er vanskelig å tilfredsstille studentenes behov for formative tilbakemeldinger (Simonson, Smaldino, Albright & Zvacek, 2000), kan konseptet som er diskutert i denne artikkelen være nyttig.

Begrensninger og videre forskning

Vårt konsept for interaktive oppgaver krever at en oppgave har en enkel struktur og er av et begrenset omfang. Men dette er typiske trekk ved oppgaver i klassiske bedriftsøkonomiske fag på lavere grad. Vi tror derfor at konseptet kan ha et bredere nedslagsfelt.

Evalueringen som er gjort av tilbakemeldingspraksisen vi diskuterer i denne artikkelen, knytter seg til motivasjon (Tabell 3) og subjektivt læringsutbytte (Tabell 4). En slik evaluering tar bare for seg studentenes affektive respons på automatiske tilbakemeldinger og er begrenset. Kobler vi den til Kirkpatricks (1994) populære modell for evaluering av opplæringsprogram, tilsvarer dette nivå 1 («Reaction»).

At deltakerne reagerer med tilfredshet, gir imidlertid ingen garanti for at de har lært noe («Learning» er nivå 2 i Kirkpatrick-modellen). Det er heller ikke en god indikasjon på at deltakernes adferd («Behavior») vil endre seg i etterkant av opplæringen (nivå 3 i modellen). En slik begrenset evaluering sier heller ikke noe om organisasjonen vil høste målbare resultater («Results»), som er det fjerde og siste nivået i Kirkpatrick-modellen.

En grundigere evaluering av automatisk tilbakemeldingspraksis bør evaluere studentenes objektive læringsutbytte, altså nivå 2 i Kirkpatrick-modellen («Learning»). I et slikt evalueringsdesign bør vi forsøke å skille effekten av å bruke automatiske tilbakemeldinger fra andre pedagogiske grep (Mayes, 2009). Vi bør også benytte en kontrollgruppe – selv om dette er mer utfordrende både praktisk, metodisk og etisk siden vi da vil eksponere studenter som tar samme kurs på samme studiested for ulike emnedesign.