Veiledningssamtaler i høyere utdanning: Utprøving av en modell til bruk i forskning på tilbakemeldinger

Tett oppfølging med gode tilbakemeldinger (feedback) til den enkelte student er et viktig mål i den norske kvalitetsreformen for høyere utdanning (St.meld.nr. 27, 2000-2001). Generelt betraktes tilbakemeldinger som den viktigste komponenten i vurderingsprosessen for å styrke studentenes fremtidige læring (se f.eks. Black & Wiliam, 2009). Selv om nasjonale og internasjonale undersøkelser viser at studenter generelt setter pris på tilbakemeldingene de får, kommer det også frem at de ikke er helt tilfredse med kvaliteten på tilbakemeldingene (se, f.eks. Damen, Keller, Hamberg, & Bakken, 2016; Hamberg, Damen, & Bakken, 2015; HEFCE, 2010; James, Krause, & Jennings, 2010; Michelsen & Aamodt, 2007). Dette kan forstås som et uttrykk for at studentene ikke fullt ut greier å forstå og dra nytte av tilbakemeldingene (Jonsson, 2013; Winstone, Nash, Rowntree, & Parker, 2016), og/eller som et uttrykk for at lærerne ikke gir gode nok tilbakemeldinger. Mulige årsaker til det siste kan være økt arbeidsbyrde og tidspress som resultat av økte klassestørrelser (Hounsell, Slowey & Watson, 2003), at det er krevende å gjennomføre lengre feedbackløp på grunn av modularisering (Gibbs, 2006; Robson, Leat, Wall, & Lofthouse, 2013), eller usikkerhet knyttet til hvordan gode tilbakemeldinger skal gis (Carless, 2015).

For å forbedre kvaliteten på tilbakemeldingspraksisen er det viktig å utvikle gode pedagogiske begreper og teorier gjennom forskning. Pedagogisk teori kan ikke endre eller styre praksis, men forskningsbasert kunnskap kan gjøre en veileder i stand til å forstå praksis på nye måter (Kvernbekk, 2001, s.19). Forskning på tilbakemeldinger kan derfor bidra til å øke en veileders innsikt i og forståelse for egen vurderings- og tilbakemeldingspraksis og dermed bidra til forbedring og videreutvikling av tilbakemeldingskulturen i utdanningen (jf. Gamlem, 2015, s.17). Det finnes ulike typer teorier, deriblant klassifiseringer. En klassifisering ordner et fenomen gjennom en systematisk vurdering av egenskaper og sammenhenger ut fra likhet og forskjeller, og utgjør en sentral rolle i vitenskapen for å oppnå innsikt og forståelse (Rosch, 1978). På feltet innen høyere utdanning finnes det en rekke studier som klassifiserer tilbakemeldinger med utgangspunkt i et mangfold av disipliner, utdanningsnivåer og oppgavetyper. Basert på vurderinger av noen få egenskaper presenteres det ulike typer, åtte i snitt, ved hjelp av relativt rigide og endimensjonale systemer (se f.eks. Basturkmen, East & Bitchener; 2014; Brown & Glover, 2006; Hyatt, 2005; Ivanič, Clark, & Rimmershaw, 2000; Kumar & Stracke, 2007). Med utgangspunkt i en systematisk gjennomgang av egenskaper og kategorier beskrevet i denne litteraturen, har jeg i en tidligere artikkel (Karlsen, 2015) utviklet en modell som ordner 17 egenskaper i fire hovedkategorier i et multidimensjonalt system (s.50). Systemet angir noen metoder for å kombinere egenskapene på analytisk interessante måter som gir mulighet for 192 typer tilbakemeldinger, altså langt flere typer enn foreslått i tidligere klassifiseringer. Modellen, heretter omtalt som PLUS-modellen¹, og resonnementsrekkene er grundig omtalt i nevnte publikasjon (Karlsen, 2015). 

Målet med denne artikkelen er å prøve ut PLUS-modellen på et empirisk materiale bestående av sju oppgavefaglige veiledningssamtaler på ulike utdanningsnivåer i to ulike studier (design og informasjonsteknologi), og deretter drøfte hvor godt den beskriver muntlige tilbakemeldinger fra veilederen. I utprøvingen brukes modellen på ulike måter i koding av tilbakemeldingene. Utprøvingen omfatter for det første bruk av modellen til å kode de enkelte tilbakemeldingene fra veileder i de sju samtalene. Denne kodingen brukes så videre for to ulike formål; å utarbeide veiledningsprofiler, som viser hva som er typiske tilbakemeldinger i en hel veiledningssamtale, og til å studere sekvenser, det vil si hvordan tilbakemeldinger følger på hverandre i tid. Hvis modellen viser seg å være et nyttig kodeverktøy, kan den danne utgangspunkt for kodearbeid i fremtidige studier, og på den måten bidra til forskningsbasert kunnskap om muntlige tilbakemeldinger i denne typen oppgavefaglig veiledning, noe som vil kunne styrke tilbakemeldingskulturen. Om modellen er anvendelig i forskning på alle slags muntlige tilbakemeldinger for alle mulige formål, må undersøkes videre i fremtidige studier. På bakgrunn av dette er følgende forskningsspørsmål formulert:

i) Hvor egnet er PLUS-modellen som verktøy for å identifisere enkelttyper av tilbakemeldinger, utarbeide veiledningsprofiler og kartlegge sekvenser av tilbakemeldinger, i oppgavefaglig veiledning innen design- og informasjonsteknologifag?

ii) Hvor reliabel er PLUS-modellen brukt som kodeverktøy for å identifisere enkelttyper av tilbakemeldinger i oppgavefaglig veiledning innen design- og informasjonsteknologifag?

Artikkelen er organisert i fem deler. Etter presentasjonen av PLUS-modellen i del 1 beskrives datagrunnlaget for utprøvingen og prinsippene for koding a data ved hjelp av denne modellen i del 2. I denne delen defineres tilbakemeldingene fra veileder på utsagnsnivå. Det betyr at hvert utsagn utgjør en type tilbakemelding som kodes med modellen. Del 3 beskriver måtene modellen prøves ut på i koding; klassifisering av enkeltutsagn (typer), utarbeiding av profiler og kartlegging av sekvenser av tilbakemeldinger. Her omtales også en foreløpig sjekk av kodereliabilitet. Det vil si i hvilken grad faglig kompetente kodere som ikke har hatt noe med utviklingen av modellen å gjøre, koder i samsvar med forskeren som har utviklet modellen. Etter drøfting av modellens sterke og svake sider i del 4, konkluderer del 5 med hvorvidt modellen kan være et potent egnet, reliabelt og rimelig presist kodeverktøy i forskning på muntlige tilbakemeldinger i oppgavefaglig veiledning innen design- og informasjonsteknologifag i høyere utdanning.

Presentasjon av PLUS-modellen for koding av tilbakemeldinger

PLUS-modellen ble utviklet for å imøtekomme et behov for bedre pedagogiske begreper, på grunnlag av tidligere klassifiseringer av tilbakemeldinger. Som grunnlag for en systematisk fremgangsmåte i utviklingen av modellen, ble Rosch (1978) prototypeteori og Gough, Oliver og Thomas (2012) beskrivelse av systematisk review brukt. Modellen uttrykker et flerdimensjonalt og fleksibelt system, noe som gjør den til et alternativt rammeverk for koding av tilbakemeldinger. I avsnittene som følger, vil modellens ulike aspekter og relasjonen mellom dem presenteres. Dette danner utgangspunktet for utprøvingen som er fokusert i studien. For en grundigere argumentasjon for utviklingen av modellen, se Karlsen (2015).

PLUS-modellen uttrykker fire aspekter ved en type tilbakemeldinger: form, fokus, formål og tidsretning. Hvert aspekt er definert med 2–8 kategorier eller koder. Det gir 192 (8 x 4 x 3 x 2) mulige kombinasjoner av de fire aspektene, og disse kalles et “tilbakemeldingsmønster”. Modellen og dens fire aspekter fremgår av figur 1. Den første kolonnen i figur 1 beskriver modellens første aspekt, tilbakemeldingens form, definert med åtte koder (korreksjon t.o.m. tolkning). De neste kolonnene uttrykker modellens tre siste aspekter, hvor tilbakemeldingens fokus er definert med fire koder (produkt t.o.m. person), tilbakemeldingens formål med tre koder (kognisjon, affeksjon og psykomotorisk) og tidsretning med to koder (bakovermelding og fremovermelding).

Tilbakemeldingens form

PLUS-modellens første aspekt (kolonne 1) betegner åtte måter veiledere formulerer, uttrykker og leverer tilbakemeldingene sine på. Dette skjer i form av korreksjoner, forklaringer, vurderinger, forslag, emosjonelt ladede kommentarer, idémyldring, spørsmål og tolkninger (jf. Karlsen, 2015). Kort forklart definerer korreksjoner gjennom sin instruerende form tilbakemeldinger som sikter mot å identifisere og/eller rette opp feil og mangler. Gjennom eksempler, definisjoner, analogier og konklusjoner forsøker forklaringer å gjøre noe tydelig og forståelig. Vurderinger definerer tilbakemeldinger hvis hensikt er å sette verdi på noe eller vurdere kvalitet. Mens hint og råd brukes når en idé eller et tiltak til endringer foreslås, definerer idémyldring flere påfølgende og spontane forslag. Følelsesladede kommentarer definerer utbrudd i form av ros, komplimenter og/eller misnøye og skuffelser. Spørsmål innebærer i hovedsak å spørre i form av åpne og ikke-retoriske tilbakemeldinger, mens personlige meninger og perspektiver formidles gjennom tolkninger.

Tilbakemeldingens fokus

Det andre aspektet i PLUS-modellen, tilbakemeldingens fokus, handler om hva som står i sentrum av veilederens oppmerksomhet (kolonne 2). Det kan være metodene eller teknikkene som brukes i et studentarbeid, konseptene som defineres innledningsvis i et essay, eller en students evne til å regulere arbeidet sitt. PLUS-modellen klassifiserer fire ulike fokus: produkt, prosess, selvregulering og person (figur 1, kolonne 2), hver definert med utgangspunkt i Hattie og Timperleys (2007) fire kategorier av tilbakemeldinger (s. 90–97). Mens kommentarer på produkt fokuserer på oppgaven eller arbeidet som studenten holder på med eller skal ta fatt på, omhandler prosessorienterte tilbakemeldinger selve prosessen som brukes for å fullføre arbeidet eller lage produktet (s. 90). Tilbakemeldinger i form av selvregulering fokuserer på studentens evne til egenvurdering, og involverer ifølge Hattie og Timperley (2007) “an interplay between commitment, control, and confidence. It addresses the way students monitor, direct, and regulate actions toward the learning goal” (s. 93). Tilbakemeldinger kan til sist være personlige, i den forstand at de er rettet mot studenten `selv` (s. 90).

Tilbakemeldingens formål

Det tredje aspektet i PLUS-modellen, tilbakemeldingens formål, handler om de tiltenkte målene studentene skal nå etter endt læringsprosess (kolonne 3). Det kan for eksempel være å oppfatte det vakre i en skulptur, handle etter gjeldende profesjonsetiske retningslinjer, kjenne mestring og mestringsfølelse, og økt motivasjon. Med utgangspunkt i etablerte læringsdomener definerer modellen tre formål: Det kognitive, det affektive og det psykomotoriske (kolonne 3). Det kognitive domenet retter seg mot å utvikle studentene intellektuelt og kunnskapsmessig (Bloom, 1956; Krathwohl, 2002). Det affektive domenet retter seg mot å stimulere og utfordre studentenes følelser, holdninger og verdier (Krathwohl, Bloom, & Masia, 1964). Det psykomotoriske domenet retter seg mot utvikling av studentenes motoriske ferdigheter (Simpson, 1966).

Tilbakemeldingens tidsretning

Det siste aspektet i PLUS-modellen, tilbakemeldingens tidsretning, betegner tidsaspektet i forholdet mellom tilbakemeldingen og det den omhandler. I den engelskspråklige litteraturen brukes varianter av begrepene `feed-back` og `feed-forward` (se f.eks. Higgins, Hartley, & Skelton, 2001; Nicol, 2010; Sadler, 2010; Walker, 2013) – en inndeling som PLUS-modellen også benytter seg av ved hjelp av de norske begrepene bakovermelding og fremovermelding (kolonne 4). Bakovermeldinger, definert med referanse til Walker (2013), er kommentarer til noe studenten allerede har gjennomført. Formålet med denne tidsretningen er å lukke retrospektive gap. Fremovermeldinger er generelle kommentarer gitt til noe studentene skal gjøre, med en målsetning om å lukke prospektive gap (s.107).

Utprøving av PLUS-modellen i koding av tilbakemeldinger 

Eksempeldataene som modellen prøves ut på, består av transkriberte lydopptak av sju veiledningssamtaler på oppgaver på bachelor- og masternivå innen design- og informasjonsteknologifag. De sju samtalene ble gjennomført av tre veiledere og deres studentgrupper ved en middels stor høgskole i Norge. Samtalene berørte en rekke faglige og personlige temaer relatert til studentenes oppgaver, og de hadde en varighet fra 27 minutter til én time og 40 minutter. For å få frem variasjoner i koder og mønstre ble samtalene valgt ut fra likheter og forskjeller innenfor fagtilhørighet, utdanningsnivå og variasjon over tid. Tabell 1 gir en oversikt over de sju samtalene, hvor rad 1 og 2 identifiserer studentgrupper (seks totalt) og veiledere (tre totalt) som gjennomfører samtalene. “Tidspunktet” for samtalen gjengis i rad 3, relevant for utprøving av PLUS-modellen i utarbeidingen av veiledningsprofiler (utdypes). Til sist beskrives “utdanningsnivået” og informantenes “fagtilhørighet” i rad 4 og 5.

Tabell 1 - oversikt over eksempeldata brukt i utprøvingen

Rad	Veiledningssamtale	1	2	3	4	5	6	7
1	Studentgruppe	1	1	2	3	4	5	6
2	Veileder	1	1	1	2	2	3	3
3	Tidspunkt	29.2	11.4	18.4	2.2	12.2	3.4	3.2
4	Utdanningsnivå	3. kl./BA	3. kl./BA	3. kl./BA	3. kl./BA	2. kl.	3. kl./BA	MA
5	Fagtilhørighet	D	D	D	IT	IT	IT	IT

Veiledningssamtale 1–3 ble gjennomført av veileder 1 i samtaler med to ulike studentgrupper som arbeidet med bacheloroppgaver (BA) i designfag (D). Veiledningssamtale 1 og 2 inkluderte derfor samme veileder og studentgruppe, men i dialoger gjennomført på to ulike tidspunkter i prosessen (rad 3). Dette muliggjorde koding av tilbakemeldinger gitt av samme veileder til samme studentgruppe i ulike faser av en oppgave (samtale 1 og 2), samt koding av tilbakemeldinger gitt av samme veileder, men til ulike studentgrupper innenfor samme fag og studienivå (samtale 1 og 3). De fire siste samtalene involverte to ulike veiledere (rad 1), også i dialog med hver sine studentgrupper som arbeidet med BA-oppgaven (samtale 4 og 6), men innrettet mot et bachelorprogram innen informasjonsteknologifag (IT). Jeg kunne derfor også kode tilbakemeldinger gitt av ulike veiledere til studenter på samme utdanningsnivå som skulle løse samme type oppgaver (BA-oppg.) innenfor ulike fagfelt (f.eks. samtale 1 og 4) og innenfor samme fagfelt (samtale 4 og 6). Veileder 2 ble også observert i oppgavefaglige samtaler med andreårsstudenter på BA-nivå (samtale 5). For å prøve ut modellen som kodeverktøy på ulike utdanningsnivåer, ble det i tillegg inkludert én veiledningssamtale om en masteroppgave (samtale 7). Neste avsnitt redegjør for metodene brukt i utprøvingsarbeidet.

Koding og analyse av eksempeldata

Arbeidet med å kode og analysere eksempeldata tok utgangspunkt i Creswells (2014) overordnede rammeverk for kvalitativ analyse. Arbeidet startet med at lydopptakene av de muntlige veiledningssamtalene ble transkribert til skriftlig tekst, noe som innebærer en abstraksjon av muntlig språk for å formidle dens mening (Kvale & Brinkmann, 2015). Tegn, pauser, latter, tonefall og alt annet som er viktig for dialogen, ble notert i teksten for at dataene skulle bli kodet så nøyaktig som mulig. Dernest ble den transkriberte teksten ordnet i et hensiktsmessig kodehefte, som dannet utgangspunktet for analysen. Kodeheftet besto av den transkriberte teksten på venstre side og kodeskjemaet på høyre side. Skjemaet inkluderte fire hovedkolonner, én for hvert av de fire aspektene i modellen (form, fokus, formål og tidsretning), med en underkolonne for hver kode. Forbeholdet samtalens varighet besto kodeheftene av 20 til 60 sider.

Dataene ble kodet på utsagnsnivå (i kodeheftet), hvor formen på tilbakemeldingen, aspekt 1, bestemte og avgrenset utsagnet. Det vil si at når veilederen i en uttalelse gikk fra å gi en korreksjon til å stille et spørsmål, ble dette kodet og talt som to ulike enheter eller utsagn, uttrykt av to mønstre; én med “korreksjon” og én med “spørsmål”. Denne måten å kode og telle utsagn på, gjaldt også for påfølgende gjentatte mønstre. Et unntak var formen “idémyldring”, som består av tre eller flere påfølgende forslag (jf. Karlsen, 2015). De fleste utsagnene i denne studien viste seg å være én enkelt setning, som i gjennomsnitt gav en analyseenhet på mellom ti og førti ord. Håndkoding (manuell koding) ble brukt for å få best mulig oversikt over utvikling og rekkefølge av mønstre over tid i samtalene. Sammenliknet med håndkoding gir databasert koding bedre kontroll over eller “føling med” avgjørelsene som tas i hvert enkelt ledd i kodeprosessen, og derfor vurderte jeg dette som viktig i en utprøvingsfase av modellen. For å sikre konsistens ble all koding gjennomført i løpet av to uker.

I de sju samtalene ble det registrert totalt 926 kodeenheter. I åtte tilfeller fikk utsagn doble koder. Usikkerhet og begrunnelser for kodevalg ble markert i kodeheftet. Det var viktig å ha tilgang til lydopptakene for å kunne høre gjennom samtalene ved tvilstilfeller. Tonefall og pauser har mye å si i muntlig tale, spesielt for tolkningen av tilbakemeldingens form. Tabell 2 gir eksempler på to uttalelser kodet med PLUS-modellen. Første kolonne viser konteksten for uttalelsene, det vil si sammenhengen tilbakemeldingen fremkom i. Andre og tredje kolonne viser hvordan uttalelsene videre inndeles i tre utsagn hver (utdypes under), mens resterende kolonner gjengir de kodede mønstrene.

Tabell 2: Eksempel på koding

			MØNSTER
KONTEKST FOR TILBAKEMELD.	UTTALELSE	UTSAGN	FORM	FOKUS	FORMÅL	TIDSRETNING
Kontekst for uttalelse 1: Veilede har kalt inn gruppen til et ekstraordinært møte, fordi gruppen ikke har begynt på oppgaven, de møter ikke til fastlagte tider og de ligger langt etter andre grupper. Veileder forteller studentene at de har et alvorlig problem (s.2), og tar for seg en etter en av gruppens representanter. Veileder henvender seg her til en student som tydeligvis har vært på ferie uten å ha levert sin del og uten å ha informert gruppen om fraværet:	1	1. Hva tror du [en tenkt] arbeidsgiver ville sagt hvis du reiste bort uten at du hadde gjort noe? [studenten: nei, det er ikke bra]	Spørsmål	Person	Affeksjon	Bakover
		2. Det er dårlig oppførsel overfor de andre i gruppen din	Vurdering	Person	Affeksjon	Bakover
		3. Du skulle ha tatt det opp i gruppen	Korreksjon	Person	Affeksjon	Bakover
Kontekst for uttalelse 2: Veileder oppsummerer det som har blitt snakket om til nå; et møte studentene var på med arbeidsgiver og hvordan det gikk, og utkast til design som de har jobbet med og så sier veileder	2	4. Skal vi prøve å si noe om den prosessen som da skjer fra nå og litt fremover?	Spørsmål	Prosess	Kognisjon	Fremover
		5. fordi nå finnes det et utgangspunkt definert ut fra det møte også har dere laget en del utkast,	Forklaring	Prosess	Kognisjon	Bakover
		6. så det jeg liskom lurer på er, hvordan har dere tenkt fremdriften fra nå av og fremover i tid?	Spørsmål	Prosess	Kognisjon	Fremover

 

Den første uttalelsen kom i starten på en samtale. Veilederen hadde innkalt studentgruppen til et “oppvaskmøte” der de fikk kritikk på sin egen oppførsel. Veileder sa følgende til en av studentene, 

Hva tror du [en tenkt] arbeidsgiver ville sagt hvis du reiste bort uten at du hadde gjort noe? [1]. Det er dårlig oppførsel ovenfor de andre i gruppen din [2]. Du skulle ha tatt det opp i gruppen [3].

I denne uttalelsen gikk veileder fra et spørrende utsagn til et vurderende utsagn til å gi en korreksjon (tabell 2, utsagn 1-3). Avgrenset av endringen i tilbakemeldingens form, ble uttalelsen derfor delt i tre enheter for koding: én for “spørsmålet”, én for “vurderingen” og én for “korreksjonen”`. I utsagnet innrettes spørsmålet mot studenten selv og mot vedkommende holdninger til en uannonsert reise gjennomført. Dette gir kodene person på fokus-aspektet, affeksjon på formål-aspektet og bakover på tidsretning, derav mønsteret ‘spørsmål/person/ affeksjon/bakover’ (tabell 2, utsagn 1). Ettersom dette også er i sentrum for de to siste utsagnene, opptrer mønstrene med like koder på de tre siste aspektene. Den andre uttalelsen (tabell 2) inngikk i en dialog om et møte studentene hadde vært på med en ekstern oppdragsgiver, hvor veilederen ønsket å fokusere på prosessen frem mot leveringen av bachelorprosjektet. Veileder sa:

Skal vi prøve å si noe om den prosessen som da skjer fra nå og litt fremover? [4] For nå finnes det et utgangspunkt definert ut fra det møte, og så har dere laget en del utkast [5], så det jeg liksom lurer på er, hvordan har dere tenkt fremdriften fra nå av og fremover i tid? [6].

Også denne uttalelsen ble kodet som tre utsagn uttrykt med tre ulike mønstre som inkluderte to “spørsmål” [4, 6] og en “forklaring” [5]. Utsagn 4 og 6 peker fremover i tid, og ble derfor kodet “fremover” (på fjerde aspekt i modellen), mens utsagn 5 omhandler prosessen som studentene hadde vært igjennom, og ble kodet “bakover”. De tre utsagnene består derfor av mønstre som varierer i henhold til koder på flere aspekter i PLUS-modellen sammenliknet med første eksempel i tabell 2. Oppsummert består de to uttalelsene av seks utsagn totalt, kodet med fem ulike mønstre. Fire av mønstrene kodes én gang, det vil si at hvert mønster får ett treff hver. Ettersom utsagn 4 og 6 kodes med samme mønster (spørsmål/prosess/kognisjon/fremover), kodes dette mønsteret to ganger, og får to treff totalt. Denne muligheten til å kode og telle mønstre på, danner utgangspunktet for utprøving av PLUS-modellen i denne studien.

En viktig betingelse for at PLUS-modellen til sist skal være et pålitelig kodeverktøy, er at faglig kompetente personer er enige om kodingen av tilbakemeldingene. Ettersom studien prøver ut og drøfter en modell som forskeren selv har utarbeidet, er det viktig å undersøke om andre kodere vil kode på samme måte. Forskere som utvikler kodeskjemaer, arbeider så grundig med kodene at det ifølge Stemler (2001) kan utvikle seg delte og skjulte betydninger av dem. Hvis modellen skal fungere som klassifiseringsverktøy for andre enn forskeren selv, må modellens koder være reliable i betydningen “konsistent” (Stemler, 2001). Et mål på reliabilitet er generelt at flere kodere ser de samme temaene i samme informasjon, og at samme tekst kodes med like koder (Boyatzis, 1998). I studien testes kodenes reliabilitet ved at fem testkodere med førstekompetanse i pedagogikk koder elleve utsagn fra datamaterialet. Ettersom samtlige utsagn kodes etter de fire aspektene i modellen, utgjorde dette koding av 44 enkeltkoder totalt. Reliabilitetstesten ble foretatt individuelt, og besto av en opplæringsfase og en kodefase hvor utsagnene ble kodet i et kodehefte. I opplæringsfasen fikk koderne 35-40 minutters individuell opplæring i modellens koder. Etter det brukte testerne i snitt 30 minutter på kodefasen. De ble oppfordret til å forklare underveis hvordan de resonnerte. I et eget kommentarfelt i heftet kunne de notere tanker og grader av usikkerhet. Resultatet fra reliabilitetstesten, som viser samsvar i kodingen mellom koderne, blir presentert sist i påfølgende avsnitt.

Resultater fra utprøving av PLUS-modellen

I det følgende redegjøres det for resultater fra utprøvingen av PLUS-modellen. Først presenteres funn fra utprøvingen av PLUS-modellens egnethet i koding av enkeltutsagnene i de sju samtalene (926 totalt). Dernest beskrives resultatene fra utformingen av “veiledningsprofiler”, som viser typiske trekk som det er mer eller mindre av i samtalene. Deretter redegjøres det for resultater fra utprøvingen av modellen brukt i kartlegging av sekvenser, før det siste avsnittet presenterer funnene fra reliabilitetstesten.

Identifikasjon av enkeltmønstre

Det første formålet med utprøvingen var å utforske hvor godt PLUS-modellen egnet seg i koding av enkeltutsagn. Ved bruk av modellen for slik koding ble det til sammen i de sju samtalene identifisert 69 av de 192 mønstrene som modellen muliggjør. Tabell 3 oppsummerer de 30 vanligste mønstrene i materialet. For oversiktens skyld presenteres mønstrene i grupper basert på likhet i kombinasjon i de tre siste aspektene i modellen, “fokus/formål/tidsretning”, ni grupper totalt (kolonne 2). Kolonnen merket “utsagn” beskriver antall ganger totalt (av 926) et mønster er kodet. De to siste kolonnene, merket “samtaler” og “veiledere”, oppsummerer antallet samtaler (av totalt sju) og antallet veiledere (av totalt tre) hvor mønsteret forekommer. Det hyppigst forekommende mønsteret er “forklaring/produkt/ kognisjon/fremover”, med 164 treff totalt (første rad). Alle veilederne gir tilbakemeldinger kodet med dette mønsteret, som er registrert i 6 av de 7 samtalene.

Tabell 3: Opptelling av enkeltmønstre

RAD	GR.	FORM	FOKUS	FORMÅL	TIDSRETNING	UTSAGN	SAMTALER	VEILEDER
1	1	Forklaring	Produkt	Kognisjon	Fremover	164	6	3
2		Forslag	Produkt	Kognisjon	Fremover	76	6	3
3		Korreksjon	Produkt	Kognisjon	Fremover	29	4	3
4		Spørsmål	Produkt	Kognisjon	Fremover	20	4	3
5		Emosjon	Produkt	Kognisjon	Fremover	13	4	2
6		Tolkning	Produkt	Kognisjon	Fremover	11	4	3
7		Vurdering	Produkt	Kognisjon	Fremover	12	4	3
8		Idémyldring	Produkt	Kognisjon	Fremover	8	2	1
9	2	Forklaring	Prosess	Kognisjon	Fremover	82	7	3
10		Forslag	Prosess	Kognisjon	Fremover	43	7	3
11		Korreksjon	Prosess	Kognisjon	Fremover	41	6	3
12		Emosjon	Prosess	Kognisjon	Fremover	8	4	2
13		Spørsmål	Prosess	Kognisjon	Fremover	8	5	3
14	3	Forklaring	Produkt	Kognisjon	Bakover	66	7	3
15		Spørsmål	Produkt	Kognisjon	Bakover	48	6	3
16		Emosjon	Produkt	Kognisjon	Bakover	28	4	2
17		Tolkning	Produkt	Kognisjon	Bakover	28	4	3
18		Vurdering	Produkt	Kognisjon	Bakover	17	5	2
19		Forslag	Produkt	Kognisjon	Bakover	16	3	2
20	4	Forklaring	Person	Affeksjon	Fremover	24	2	2
21	5	Spørsmål	Prosess	Kognisjon	Bakover	16	5	3
22		Forklaring	Prosess	Kognisjon	Bakover	10	4	3
23	6	Forklaring	Produkt	Affeksjon	Fremover	16	5	3
24	7	Forklaring	Prosess	Affeksjon	Fremover	12	5	3
25		Korreksjon	Prosess	Affeksjon	Fremover	10	5	3
26		Spørsmål	Prosess	Affeksjon	Fremover	9	4	2
27	8	Forklaring	Prosess	Affeksjon	Bakover	12	4	3
28		Spørsmål	Prosess	Affeksjon	Bakover	9	3	2
29	9	Forklaring	Prosess	Affeksjon	Bakover	6	1	1
30		Spørsmål	Prosess	Affeksjon	Bakover	6	1	1

Mønstre som inkluderer “forklaringer”, kodes over dobbelt så mange ganger som “forslag” og “spørsmål”, med 401 (av 926) treff totalt (se tabell 3). Dernest kodes mønstre innrettet mot produkt, med sine 568 (av 926) treff totalt, oftere enn mønstre som fokuserer på prosess, person og selvregulering (med henholdsvis 282, 57, 19 treff totalt). Videre orienterer de 19 hyppigst forekomne mønstrene seg mot kognitive formål (gruppe 1-3). Kognisjon har med 762 treff over fire ganger så mange treff som affeksjon (162 totalt). Ingen utsagn ble kodet med psykomotoriske ferdigheter. Det kodes altså hyppigere på tilbakemeldinger som har til formål å stimulere refleksive evner enn på tilbakemeldinger som styrker studentenes holdninger eller fysiske ferdigheter. Fremovermeldinger kodes over dobbelt så mange ganger som bakovermeldinger, med 629 treff (av 926) totalt. Det vil si at seks av de åtte vanligste mønstrene inkluderer “fremovermeldinger” (tabell 3).

Oppsummeringen av funnene viser at PLUS-modellen kan brukes i koding for å identifisere enkeltmønstre i muntlige tilbakemeldinger. På tvers av samtalene ble 69 av de 192 mønstrene som modellen muliggjør, identifisert. Det ble registrert flest tilbakemeldinger i form av forklaringer i kombinasjon med produkt, kognisjon og fremovermeldinger. Identifisering av enkeltmønstre er viktig for å kunne utarbeide veiledningsprofiler og kartlegge sekvenser.

Utarbeiding av veiledningsprofiler

Når forekomsten av de forskjellige enkeltmønstrene i en veiledningssamtale er registrert, er det mulig å bruke PLUS-modellen til å lage en veiledningsprofil, som er det andre målet med utprøvingen. Dette gjøres ved å summere opp de ulike tilbakemeldingsmønstrene som er kodet i samtalen. Veiledningsprofiler beskriver typiske trekk for en veiledningssamtale. Studier av slike veiledningsprofiler gjør det mulig å undersøke om det finnes typiske trekk i tilbakemeldingspraksisen innenfor enkelte fag og utdanningsnivåer. Videre åpner profilene opp for å studere i hvilken grad den enkelte veileder har en typisk profil som går igjen i ulike samtaler, og videre om det er forskjeller mellom fasene i et veiledningsforløp.

I utprøvingen ble det blant annet utledet to profiler for to samtaler gjennomført med samme veileder og studentgruppe på to ulike tidspunkter i arbeidet med en bacheloroppgave. Den viktigste likheten mellom profilene var at det i begge tilfeller ble dokumentert flest tilbakemeldinger som pekte fremover i tid. Faktisk utgjorde fremtidsorienterte tilbakemeldinger i begge tilfellene 92 % av alle kodede mønstre totalt sett. Dette kan være et typisk trekk ved denne veilederen, for også i en samtale med en annen studentgruppe kodes over 80 % av utsagnene fra denne veilederen med “fremovermeldinger”. Det kan imidlertid også være et trekk ved denne typen veiledning, at muntlige tilbakemeldinger generelt i oppgavefaglig veiledning tenderer mot å være mer fremoverrettet enn tilbakeskuende, for i de øvrige fem samtalene identifiseres det også mest fremovermeldinger. Videre ble det dokumentert noen forskjeller mellom profilene, blant annet kodede utsagn på mønstre som inkluderte “person/affeksjon”. Mens slike mønstre forekom hele 21 ganger i den første profilen, inneholdt den andre profilen ikke en eneste tilbakemelding kodet med et slikt mønster – et relevant eksempel på at veilederen gir litt ulike typer tilbakemeldinger på tvers av veiledningene.

Gjennom utarbeiding av veiledningsprofiler vises hvordan PLUS-modellen får fram variasjoner mellom samtaler gjennomført av samme veileder og studentgruppe på ulike tidspunkt i prosessen, som “person/affeksjon” -tilfellet. Samtidig viser begge profilene høy forekomst av fremovermeldinger. Dette kan både bety at det er noen trekk som følger veilederen eller veiledningstypen, og at tilbakemeldingene tilpasses situasjonen eller konteksten de gis i.

Kartlegging av sekvenser

Muntlige tilbakemeldinger danner kjeder av utsagn. Et tredje og siste formål med utprøvingen var å undersøke i hvilken grad PLUS-modellen egner seg for å analysere måter enkeltmønstre følger etter hverandre over tid i en samtale. I den forbindelse viste det seg hensiktsmessig å organisere samtalene i ulike sekvenser avgrenset av temaene som ble tatt opp, noe som gjorde det mulig å studere hvordan en dialog om et bestemt tema utviklet seg innenfor en samtale. Et tema kunne for eksempel være en skisse til en design eller en pågående konflikt i en studentgruppe.

Analysene viste at de ulike samtalene varierte i henhold til antallet sekvenser og mønstre kodet innenfor en sekvens. I eksempeldataene ble det videre oppdaget noen gjentagelser i måten en veileder bygget opp ulike temaer på. Veileder 1 markerte for eksempel ofte starten og slutten på et tema med en “forklaring”, mens de to andre veilederne ofte startet med et “spørsmål” eller “forslag`, avrundet med et “spørsmål” (veileder 2) eller en ”forklaring” (veileder 3). Analyser av påfølgende mønstre innenfor sekvenser på tvers av de sju samtalene viser videre at “forslag” som etterfølges av “forklaring” i kombinasjon med “produkt/kognisjon/fremover” er de mønstrenene som oftest kjedes sammen i materialet sett under ett, det vil si

“forslag/produkt/kognisjon/fremover” > “forklaring/produkt/kognisjon/fremover”

Dette er tilbakemeldinger hvor veilederen kommer med forslag til noe som skal gjøres i fremtiden for å stimulere studentens kognitive ferdigheter, og som etterfølges av en forklaring med samme fokus, formål og tidsretning. Dette kan illustreres med følgende uttalelse: “Jeg bare synes at du bør sette det i et avsnitt, for da ser det mye fyldigere ut” (samtale 6). I denne kommentaren kommer veilederen med forslaget “sett det i et avsnitt”, som etterfølges av en kort forklaring om at det vil se “mye fyldigere ut”. Oppsummert gir bruk av PLUS-modellen i koding av sekvenser informasjon om måter mønstre følger etter hverandre i tid i en samtale. Å studere påfølgende utsagn innenfor et avgrenset område, inndelt av et tema, var et viktig analytisk grep for å forstå variasjonene av måter enkeltutsagn ble kjedet sammen på i en sekvens, også når studentens bidrag til dialogen er gjenstand for analyse. De to hyppigst kodede påfølgende mønstrene på tvers av de sju samtalene, var “forslag/produkt/kognisjon/ fremover”  “forklaring/produkt/ kognisjon/fremover”. At modellen muliggjør slik analyse, er essensielt for å kunne undersøke og forstå student–veileder-dialogen: hvem som sier hva, når og hvordan det følges opp, i et reaksjon–motreaksjon-mønster.

Reliabilitet ved koding av enkeltutsagn

I studien ble det i tillegg til egne utprøvinger utført en reliabilitetskontroll av kodene. Resultatet av dette kodearbeidet er oppsummert i tabell 4. Tabellenviser antallet koder (av totalt 44) hvor det kodes likt som min egen koding (rad 1), koding med avvik (rad 2), samt koder hvor testkoderne har uttrykt tvil (rad 3). Resultatet av reliabilitetskontrollen viser at testkoder 1 og 2 kodet materialet likt med egen koding. Testkoder 3 har avvik på én kode, mens testkoder 4 og 5 har avvik på henholdsvis to og tre koder. Ettersom det er ulike koder som avviker hos testkoderne, er det totalt seks koder, hvor en av dem satte en kode forskjellig fra de andre. Oppsummert vil det si at testkoderne til sammen kodet 38 av 44 koder likt som min koding. Fire av fem testkodere kodet også de siste 6 kodene likt med egen koding. På bakgrunn av dette er konklusjonen at graden av reliabilitet er relativt høy.

Drøfting av PLUS-modellen som verktøy for koding av muntlige tilbakemeldinger

Hvor egnet er PLUS-modellen som verktøy i koding av muntlige tilbakemeldinger

Allment vurderes modeller ut i fra hvor representative elementene i modellen er for fenomenet som de skal representere, altså i hvilken grad de faktisk representerer de egenskaper ved et fenomen som de har hensikt å beskrive, forklare eller teoretisere. Ved bruk av PLUS-modellen kodes utsagn som kombinasjoner av fire egenskaper ved tilbakemeldingen: form, fokus, formål og tidsretning. Utprøvingene viser at tilbakemeldingene fra veileder relativt enkelt lar seg kode med PLUS-modellens koder. Generelt var korte uttalelser i de fleste tilfellene lettere å kode enn lengre, fordi de som regel ble kodet med kun ett mønster. Noen korte utsagn var likevel vanskelige å kode, fordi de passet inn under flere koder.

Gjennom kodearbeidet ble det oppdaget to utsagn hvor PLUS-modellen egnet seg mindre godt som kodeverktøy. Det ene var småprat, det vil si dialog om noe som ikke har direkte betydning for oppgaven studentene skal løse. Det kan for eksempel være snakk om behovet for ferie og kaffe, eller frustrasjon over tidsklemma. Denne typen utsagn kan være interessant å studere videre, men det vil kreve en utvidelse av modellen. Slike utsagn kan gis merkelappen “faktisk tilbakemelding” (Jakobson, 1960, s.357), altså utsagn som smører og holder samtalen i gang. Småprat binder veiledere og studenter tettere sammen, og har ifølge Carless (2013) stor betydning for læringsprosessen. Den andre typen utsagn som modellen ikke fanget opp, var kommentarer som innrettes mot selve tilbakemeldingen, det vil si føringer for hvordan tilbakemeldingen skal forstås/tolkes, altså en type “metameldinger”. Slike utsagn kan merkes “metakommunikasjon” (Handal, Lauvås og Lycke, 2013), illustrert i eksemplet hvor en veilederne sier “Jeg er så pirkete jeg vet du”, eller uttalelsen,

Det jeg gjør, er jo at jeg trekker ut det dere snakker om – og så prøver jeg å eksemplifisere det litte granne sånn at dere kan si “ok, nå velger vi noe annet enn det vi snakket om” eller – hvis dere synes det jeg sier høres riktig ut – så for guds skyld, jobb med det!

Småprat og meta-meldinger lar seg kode på modellens første aspekt, men hvordan slike utsagn skal kodes på de øvrige aspektene, er mer uklart. Denne studien har ikke utforsket hvilke aspekter og koder som eventuelt vil kunne fange inn småprat og meta-meldinger, og/eller om de skal inkluderes i en modell for tilbakemeldinger. Funnene er det behov for å følge opp nærmere i fremtidige studier.

Utprøvingen viste dernest at PLUS-modellen er relativt enkel å bruke for å utarbeide veiledningsprofiler, ettersom profiler i hovedsak lister opp forekomsten av enkeltmønstre som gir en beskrivelse av veiledningen. Med utgangspunkt i forekomsten av enkeltmønstre i de to samtalene som lå til grunn for denne utprøvingen, tyder det på at veilederen tilpasset tilbakemeldingene situasjonen eller konteksten. Å tilpasse tilbakemeldingene til studentenes behov kan ha betydning for hvor nyttige de blir i studentenes læreprosesser (Black & Wiliam, 2009; Brookhart, 2008; Nicol, 2010; Wiliam, 2011). Veiledningsprofiler kan ha relevans for det som i litteraturen omtales som veiledningsroller (Handal & Lauvås, 2006; Krogsmark & Åberg, 2007; Pettersen & Løkke, 2004). I litteraturen beskrives roller veilederen kan ta, som f.eks. guru/mester, kontrollør og inspirator/pådriver. En svakhet med denne litteraturen er at veiledningsrollene i liten grad knyttes til beskrivelser av konkrete tilbakemeldinger. Hvis veiledningsprofiler og rollebeskrivelser relateres i kartlegging av praksis, dannes det et mer solid utgangspunkt for refleksjon med tanke på tilbakemeldingene som gis.

Kartlegging av sekvenser ga en dypere forståelse av hvordan veiledere “bygger opp” dialogen gjennom valget av tilbakemeldinger. Bruk av PLUS-modellen i slik koding utgjorde den mest avanserte anvendelsen av modellen, ettersom koding av enkeltutsagn kombineres med analyser av måter disse utsagnene kjedes sammen på over tid i en samtale. Utfordringen var å forholde seg til alle mønstrene og rekkefølgene av enkeltutsagn samtidig. Når hver samtale ble delt inn i og analysert innenfor et tema, viste det seg imidlertid at konkrete mønstre gjentok seg på tvers av sekvensene. At PLUS-modellen muliggjør sekvensanalyse, er viktig for å kunne studere student-veileder-dialogen. De fleste situasjoner hvor tilbakemeldinger gis, er interaksjonelle i vid forstand. Med dette menes at veilederens tilbakemelding formes av studentens innspill. Et spørsmål fra veilederens side vil kunne utvikle seg til en forklaring, en korreksjon eller et nytt spørsmål, avhengig av studentens respons. Slik er studentene med på å påvirke tilbakemeldingen fra veilederen. Dette er en form for interaktivitet som lett kan forsvinne, avhengig av hva som er gjenstand for analysen. Analyser av dialogen mellom veileder og student kan gi god informasjon om studenters nyttiggjøring og bruk av tilbakemeldingene de får. Undersøkelser av sekvenser er beslektet med og kan tilpasses flere typer analyser, som interaksjonsanalyse (jf. Svinhufvud & Vehviläinen, 2013; Vehviläinen, 2009). Undersøkelse av sekvenser er også interessant for forskning på praksis, fordi bestemte typer tilbakemelding kan være nyttige og mindre nyttige, avhengig av hva som kommer først og hva som kommer etter i dialogen. Kun et knippe studier utfører slike analyser. Et unntak er den nevnte effekten av at negativ kritikk “pakkes inn” i rosende kommentarer (Dunworth & Sanchez, 2016; Gardner, 2004; Hyland & Hyland, 2001; Kjeldsen, 2006), også omtalt som “feedback sandwich” (Docheff, 1990; Molloy, Borrell-Carrió, & Epstein, 2013).

I og med at modellen koder utsagn på en kombinasjon av fire aspekter, oppnås en presisjon som man ellers måtte ha brukt underkategorier for å oppnå. Harris, Brown, & Harnett (2015) har antydet at kodene “produkt” og “person” i Hattie & Timperleys (2007) modell trenger underkategorier. Som eksempel nevnes utsagn som handler om å “[…] soften the blow of negative evaluations” (s. 276), hvor de mener det ville være nyttig å dele opp tilbakemeldinger som fokuserer på studenten selv, i mer spesifiserte sub-kategorier. Begrunnelsen er at en ved å inkludere “sub-categories within self-feedback would help enable researchers to potentially correlate these types of statements with particular outcomes of interest (e.g. student motivation, engagement and academic achievement scores)” (s. 276, forfatters kursivering). PLUS-modellen ivaretar dette behovet langt på vei ved at de fire aspektene i modellen kan kombineres, slik at for eksempel koden `person` kan opptre i forskjellige mønstre. Kombinasjonsmulighetene gjør at behovet for flere nivåer med koder og underkoder blir mindre. I utprøvingen fant jeg for øvrig ingen tilfeller hvor det var behov for flere nivåer og underkategorier. Når det er sagt, er en av fordelene med PLUS-modellen at den tilrettelegger for å inkludere og redusere antall aspekter, kategorier og underkategorier avhengig av konteksten (Karlsen, 2015, s. 151).

Når det gjelder hvor egnet modellen er til å identifisere mønstre gjennom koding, må det nevnes at koden “selvregulering” ble lite anvendt i utprøvningene. Mulige forklaringer er at koden ikke er definert godt nok, eller at den ikke er knyttet til riktig aspekt. Også i andre studier som undersøker forekomsten av tilbakemeldinger med utgangspunkt i Hattie og Timperleys (2007) modell, kodes det lite på selvregulering (se f.eks. de Kleijn, Mainhard, Meijer, Brekelmans, & Pilot, 2013; Harris mfl., 2015). Det kan være behov for å e nærmere på definisjonen og plasseringen av selvregulering i videre utvikling av rammeverket.

Til sist, selv om PLUS-modellen er prøvd ut i koding og analyse av muntlige tilbakemeldinger fra veileder på noen utvalgte utdanninger innen design- og teknologifag, er det videre mulig å se for seg at modellen kan anvendes for å studere andre former for tilbakemelding (skriftlig, kameratvurdering, egenvurdering), andre fagtradisjoner (humanistiske fag, samfunnsfag) og andre utdanningsnivåer (ph.d, grunnskole, vgs.). Alle situasjoner hvor det gis tilbakemeldinger er forskjellige. Til en viss grad er vanskelig å vite på forhånd hvilke mønstre som vil være dominerende, og da er det behov for en modell som åpner opp for et rikt spekter av mønstre. Kontekstuelle forhold som utdanningsnivå, fagdisiplin, oppgavetype o.l. har betydning for hvilke typer tilbakemeldinger som gis. Modellen tar høyde for dette gjennom måten den er utviklet på (systematisk review) og måten den er konstruert på (dens fleksibilitet og flerdimensjonalitet). Men, om PLUS-modellen med dens aspekter og koder vil vise seg å være like anvendelig eller gyldig innenfor alle kunnskapsområder og formål, besvares ikke i denne studien, men modellen er tilgjengelig for videre utprøvinger og bruk.

Hvor reliabel er PLUS-modellen for koding av mønstre?

Modeller må også vurderes ut fra hvor reliable de er (Boyatzis, 1998). Reliabilitetskontrollen utført i denne studien indikerer at andre kodere, etter moderat opplæring, kan bruke modellen i koding av enkeltstående tilbakemeldinger med tilfredsstillende reliabilitet. Dette indikerer at modellens definisjoner er forståelige og relativt entydige for testkoderne. I denne sammenhengen er det også relevant å peke på at noen av koderne, også de som ikke avvek fra min koding, uttrykte usikkerhet til et par av modellens koder. I hovedsak dreier det seg om to typer usikkerhet. Den ene typen usikkerhet var knyttet til utsagnet som skulle kodes. For eksempel tolket fire (av fem) kodere utsagnet “Hva tror du [en tenkt] arbeidsgiver ville sagt hvis du reiste bort uten at du hadde gjort noe?”, som et åpent/reelt “spørsmål” i likhet med egen koding. Én koder tolket derimot utsagnet som lukket og retorisk, og kodet utsagnet som `korreksjon`. Slik usikkerhet kan skyldes at koderne ikke hadde mulighet til å se utsagnet i kontekst. Det andre usikkerhetsmomentet retter seg mot hvordan kodene skal brukes i analysearbeidet. I hovedsak dreide dette seg om grensene mellom “forslag” og “idémyldring”. Begrensningen med denne måten å undersøke kodereliabilitet på, er at den ikke fanger inn koding av lengre påfølgende tilbakemeldinger eller dialog. Slik koding innebærer at koderen, i tillegg til kunnskap om modellen, må ha forståelse for analyseenheten (jf. Druckman, 2005; Miles & Huberman, 1994). Dette krever en lengre opplæringsperiode enn koderne i denne undersøkelsen fikk.

Generelt kan det innvendes at en modell som muliggjør hele 192 mønstre for tilbakemeldinger kan komplisere kodearbeidet og svekke kodingens reliabilitet fordi antall koder som koderen til enhver tid må forholde seg til er høyt, sammenliknet med et kodesystem med færre kategorier. Relevant i denne sammenhengen er måten kodearbeidet ble ordnet på, hvor den transkriberte teksten ble kodet vertikalt, langs én og én hovedkolonne (aspekt) om gangen. Dette gav færre aspekter (og koder) å forholde seg til, noe jeg mener styrket kodearbeidets konsistense. Jeg mener dette er en hensiktsmessig metode som befester rammeverkets reliabilitet.

Konklusjon 

I denne artikkelen er det gjennomført en foreløpig utprøving av PLUS-modellen på muntlige tilbakemeldinger på oppgaver på ulike utdanningsnivåer innenfor design- og informasjonsteknologifag. Utprøvingen har vist at modellen kan brukes i koding av dette materialet for å identifisere enkeltutsagn, til å utarbeide profiler som viser typiske trekk for en veiledningssamtale og til å kartlegge sekvenser av mønstre av tilbakemeldinger. Det er særlig tre momenter som gjør modellen til et egnet kodeverktøy. For det første at modellen uttrykker et flerdimensjonalt system hvor hver av kodene på de fire aspektene i modellen fritt kan kobles til kodene på de andre tre aspektene, som muliggjør (8 x 4 x 3 x 2) 192 ulike kombinasjoner. Dette gjør det mulig å studere og kode flere aspekter ved muntlige tilbakemeldinger samtidig, noe som er viktig for å fange opp tilbakemeldinger som et “complex multi-dimensional rather than a simple, straightforward phenomenon” (Poulos & Mahony, 2008, s. 145). I og med at modellen uttrykker flere aspekter ved et utsagn: form, fokus, formål og tidsretning, fanger den for det andre inn en rikdom og bredde ved fenomenet, som risikerer å gå tapt ved å anvende et overordnet og endimensjonalt klassifiseringssystem. Ved at modellen dekker flere aspekter og egenskaper ved tilbakemeldinger, er det mulig å kartlegge tilbakemeldingsmønstre med både høy og lav forekomst i en bestemt situasjon. Begge deler er nyttig for å tolke, forstå og vurdere den aktuelle tilbakemeldingspraksisen. Når det er sagt, fanger ikke modellen opp “faktiske tilbakemeldinger” og “meta-meldinger”, og den inneholder dessuten en lite anvendt kode, “selvregulering”. Gjennom en foreløpig reliabilitetstest, har studien for det tredje vist at modellens koder anvendes relativt likt av kodere som har bakgrunn innen pedagogikk.

Artikkelen konkluderer med at PLUS-modellen med modifiseringer, er et presist nok og representativt nok kodeverktøy til å fange opp kompleksiteten av fenomenet tilbakemelding i den konteksten den er prøvd ut, samtidig som modellen er reliabelt nok til at relevante egenskaper lar seg skille fra hverandre, også for andre kodere enn forskeren selv. Det vil si at resultatet, når den øvrige metodologien ellers er ivaretatt, gir en relativt god og pålitelig beskrivelse av tilbakemeldingspraksisen som er studert. Dermed kan bruken av modellen konsolidere et grunnlag for refleksjon om gjeldende tilbakemeldingskultur. I artikkelen er det i hovedsak veileders muntlige tilbakemeldinger som studeres, men modellen vil også kunne ha anvendelsesmuligheter og gyldighet for studentens bidrag til dialogen, og for andre kunnskapsområder og formål, grunnet dens fleksibilitet og flerdimensjonalitet. Det er også enkelt å forestille seg at PLUS-modellen kan tilpasses andre behov, som egenvurdering, kollegaveiledning og kameratvurdering, men det gjenstår å prøve ut modellen i slike situasjoner og sammenhenger. Modellen er tilgjengelig for videre utprøvinger og bruk.