På sporet av et essay

Størst utbytte med automatiske tilbakemeldinger

I et tidligere prosjekt ved Sandvika videregående skole har Mørch undersøkt hvordan bruken av programvaren kunne gi elever i helse og sosialfag motivasjon og hjelp til å vurdere innholdet på bakgrunn av slike data-genererte tilbakemeldinger. Resultatene fra studien i 2009 viste at de elevene som strevde mest med å skrive lange nok essay, hadde det største utbyttet av den automatisk genererte tilbakemeldingen. - Dette skyldtes at programmet hjalp dem å komme på ideer de selv ikke klarte å komme på, sier Mørch som gjorde studien sammen med masterstudent Eduard Møllenkamp og forskningsassistent Shazia Mushtaq.

Utvidet forskningsdesign med Ark&App

Som del av Ark&App-prosjektet ved Institutt for pedagogikk, Universitetet i Oslo, ble EssayCritic på ny testet ut, men denne gangen med 48 elever i studiespesialiserende linje, fordelt på to klasser. I den ene klassen ble det gitt tilbakemeldinger til hverandre av elevene selv, mens den andre klassen brukte EssayCritic. Stipendiat Irina Engeness har arbeidet med Mørch i denne studien: - Det interessante her, sammenlignet med tidligere studier, er at vi fikk en ekstern lærer til å score første og siste utgave av essayene som elevene skrev. Og i dette forsøket viste begge gruppene stor framgang fra første (pretest) til siste (posttest) versjon av essayet, og de gikk i snitt opp to karakterer

I denne casen i Ark&App var det ingen signifikant forskjell i karakterer mellom elevene som brukte dataprogrammet og de som fikk tilbakemelding fra medelever. Forskjellene er imidlertid tydeligere dersom man ser nærmere på hvordan elevene arbeidet med tilbakemeldingene i skriveprosessen og når vi analysere innholdet av essayene. De automatisk genererte tilbakemeldingene fra EssayCritic var detaljerte og målorienterte, mens medelevers tilbakemeldinger var mer preget elevenes personlige inntrykk av hva som skulle være med i essayene.

- Videre kunne vi se at essayene til den første gruppen hadde en større variasjon av ideer, mens variasjonen av ideer i essayene til elever i den andre gruppen ikke var så stor. Disse var til gjengjeld bedre på organisering av innholdet, og dermed vurdert som like gode karaktermessig, sier Mørch.

Tilbakemeldinger fra et dataprogram – hvordan er det mulig?

Programvaren EssayCritic har blitt utviklet i et samarbeid mellom Anders Mørch og forskere ved Hong Kong Baptist University. Systemet bruker en matematisk algoritme, som heter Latent Semantic Analysis (LSA). I følge Mørch har automatiske tilbakemeldinger har en lang tradisjon innenfor en kognitiv tilnærming til datastøttet læring, som benevnes som "Intelligent Tutoring Systems (ITS)" og ble introdusert på 1980-tallet. - På dette tidspunktet begynte programmene å tilpasse seg til brukernes kompetansenivå ved å sammenligne med en "idealmodell" av brukerens kompetanse på basis av antall riktige svar på tidligere oppgaver gitt av dataprogrammet. Slike løsninger er gode når det finnes et riktig og et galt svar, som i algebra. Såkalte Critiquing systems, som EssayCritic bygger på, er en forlengelse av ITS og fungerer bedre innenfor områder der det ikke finnes et riktig eller galt svar (dvs. optimale løsninger), som i Engelsk. Her sammenligner man i stedet elevers besvarelser med en "kontekstuell modell", som er dynamisk utviklet fra den gruppe av elever som skal bruke systemet. EssayCritic analyserer tekst som blir lastet opp av eleven og sammenligner denne med andre essayer som er skrevet om det samme temaet og som betraktes som gode av lærere (i vårt tilfelle essay vurdert til karakter 4, 5, eller 6). I casen i Ark&App ble det brukt 50 gode essay for å lære dataprogrammet å gi tilbakemeldinger. Basert på denne sammenligningen, gir EssayCritic en tilbakemelding til eleven i form av en liste med punkter om tema som allerede er inkludert i teksten og forslag til temaer som mangler.

Case-rapporten "Læremidler og arbeidsformer i prosessorientert skriving" viser hvordan Vg1-elever arbeider med essayskriving i engelsk. Dette er den tredje og siste rapporten i faget engelsk i forskningsprosjektet Ark&App.