Engelskeksamen i ungdomsskulen - Hjelpemiddel til lita hjelp

Den som tidleg på 1990-talet kom inn i eit lokale for avvikling av eksamen i engelsk i ungdomsskulen, fekk sjå eit rom der alle elevborda var reinska for alt som kunne tenkjast å gje opphav til fusk, der ingen hjelpemiddel var tillatne andre enn blyanten, viskelêret og pennen.

Tjue år seinare var det eit heilt anna syn som møtte den besøkjande. På eksamensborda låg det hjelpemiddel av mange slag, valde av den einskilde eleven og difor varierande frå bord til bord: ordbøker, tekstar samla i hefte leverte frå Utdanningsdirektoratet, grammatikkbøker, læreboka, eigne prøver, tidlegare innleveringar. Alt som i 1990 vart kalla «fusk», med tilhøyrande straff, var i 2010 viktige og sjølvsagde element i eksamen.

Det fyrste hjelpemiddelet som kom, var ordboka, førebels varsla i 1988, tillaten for bruk frå 1993. Våren 2000 vart tekstheftet innført, ei samling tekstar sett saman av Læringssenteret / Utdanningsdirektoratet for studium i førebuingstida og til bruk på eksamensdagen, saman med opning for eit tosiders sjølvkomponert notatark til bruk ved eksamen. Våren 2003 blei elevboka tillaten som hjelpemiddel, eit eigenprodusert hefte med fokus på grammatikk. Våren 2008 vart det opna for fri bruk av hjelpemiddel, med unnatak av Internett og omsetjingsprogram.

Med meldinga i 1988 om innføring av ordbok fylgde den spesifikke grunngjevinga «’[Elevane] bør lære å bruke ordbøker og andre oppslagsbøker for å kontrollere meining, ortografi og bøyingsformer’ (M-87, s. 206)».¹ Seinare grunngjevingar for (fri) hjelpemiddel-bruk har vore av meir generell karakter: «[Å] kunne finne og bruke hjelpemidler …. er en sentral ferdighet i kunnskapssamfunnet».² «Tidligere erfaringer viser at [hjelpemidler] kan gi elevene bedre mulighet til å vise bredde og dybde i sin kompetanse».³ «I møte med en kompleks utfordring kan det ofte være både relevant og nødvendig å bruke hjelpemidler».⁴ «Det er ingen kompetansemål i læreplanen i fremmedspråk som forutsetter at elever kan agere uten hjelpemidler ⁵». «[Det] var behov for å redusere antall ulike ordningar for sentralt gitt eksamen».⁶

Denne studien

I ein tidlegare artikkel i Bedre Skole ⁷ rapporterte me resultata for ein studie over effekt for elevar sin strategibruk i førebuingsarbeidet før sjølve eksamen, spesifikt for arbeidet med tekstheftet frå Utdanningsdirektoratet. I denne artikkelen er fokus på effekt for bruk av hjelpemiddel ved sjølve eksamen, i kva mon hjelpemidla som elevane tok med seg inn i eksamenslokalet, var til faktisk nytte, slik føresetnaden er: «… hjelpemidler som faktisk vil være en hjelp på selve eksamensdagen».⁸ Me undersøkjer:

• nytte av bruk av fem ulike typar hjelpemiddel: norsk > engelsk ordbok; tekstheftet; notatarket; sjølvlaga grammatikkhefte; andre individuelt tilpassa hjelpemiddel
• nytte av bruk av dei fem ovannemnde hjelpemidla for sterke kontra svake elevar

Dessutan talfester me førekomst av uintendert effekt av negativ art for bruk av hjelpemiddel, tidlegare berre nemnd en passant i artiklar: «Hadde det ikke vært tillatt med hjelpemidler så hadde jeg nok lest mer»;⁹ «[t]eachers had mixed feelings about the memo sheets as … some pupils seemed to believe that studying throughout the year was not so important as they could always take some notes with them into the exam».¹⁰

Tidlegare forsking

Så vidt me veit, låg det ikkje føre evidensbaserte forskingsresultat då det i 1988 vart vedteke å tillata bruk av ordbok ved eksamen i engelsk. Me har heller ikkje kjennskap til seinare norsk forsking kring temaet ordboksbruk.

I ein studie frå 1998 over effekt for bruk av ordbok på engelske elevar sine prestasjonar i skriftleg fransk fann John Hurman og Graham Tall at tilgang til tospråklege ordbøker gav ein auke i prestasjonane på 9 prosent.¹¹ Oppdragsgjevaren, The Qualifications and Curriculum Authority (QCA), tolka andre av Hurman og Tall sine funn slik at ordboksbruk auka avstanden («was widening the gap in achievement») mellom dei sterke og dei svake elevane.¹² Studien hadde som resultat at det sidan 2003 ikkje har vore tillate å nytta ordbok ved eksamen i moderne framandspråk i England.¹³

I ei undersøking gjennomførd i 2003 fann Martin East ingen skilnad i prestasjonar mellom elevar som brukte og elevar som ikkje brukte tospråklege ordbøker når dei skreiv på eit framandspråk.¹⁴

Då tekstheftet vart innført våren 2000, var det med tanke på å kunna integrera testing av skriving og testing av lesing: «Prøva legg vekt på at elevane skal få vise både kor godt dei kan lese engelsk og kor godt dei kan bruke språket produktivt».¹⁵

«Forståing» vart innført som eitt av fire kriterium for vurdering av elevane sine prestasjonar ved eksamen. Hjelmtvedt sette spørjeteikn ved om lesing vart testa på ein valid måte,¹⁶ og Lunde og Skeiseid fann at elevane sin dugleik i å lesa engelsk ikkje hadde innverknad på elevane sine eksamenskarakterar.¹⁷ I 2008 fjerna Utdanningsdirektoratet «Forståing» frå sensorane sitt vurderingsskjema.

Tidlegare forsking kring bruk av notatark som hjelpemiddel har reist tvil om nytta. Agnes Scott Langeland var reservert – «[W]hat might have been a blessing has clearly only been a partial success»¹⁸ – medan Anne-Karin Korsvold slo fast at «[e]rfaringene med notatarket har ikke vært vellykkede».¹⁹ Lunde og Skeiseid fann at eksamenskandidatar som ikkje brukte notatark, hadde framgang på eksamen i høve til standpunktkarakteren, medan brukarane opplevde tilbakegang.²⁰ Så vidt me veit, er det ikkje blitt forska på effekt for bruk av sjølvvalde, individuelt tilpassa hjelpemiddel, heller ikkje på førekomst av eventuell uintendert effekt av negativ art for bruk av hjelpemiddel.

Instrument

Forfattarane arbeidde ut eit spørjeskjema som deltakarane svara på så snart råd var i dagane etter avviklinga av skriftleg eksamen i mai 2010, i god tid før sensur. Skjemaet inneheldt ulike typar spørsmål. Relevant for denne artikkelen er ein serie spørsmål knytte til elevane sin bruk av hjelpemiddel på skrivedagen, og eit spørsmål vedrørande tankar som elevane kunne tenkjast å ha gjort seg kring fri bruk av hjelpemiddel.

For å kunna undersøkja korleis førebuingstid med teksthefte ville slå ut for høvesvis «sterke» og «svake» elevar, trong me ein reiskap som kunne todela utvalet. Med dette for auga fekk deltakarane ein fleirvals vokabulartest med femti ord, ein test opphavleg laga i samband med studien Språklæring i mediesamfunnet.²³ Deltakarane som fall i undergruppa «sterke» (n = 66) hadde i gjennomsnitt ein skåre på 4,3s ved eksamen, medan elevane i gruppa «svake» (n = 72) hadde ein gjennomsnittleg skåre på 3,21.

Data

Kjeldegrunnlaget bestod såleis av fylgjande komponentar: a) Data for elevane sin bruk av hjelpemiddel ved eksamensbordet, samla inn ved hjelp av spørjeskjema. b) Resultat henta frå skulane sine karakterlister: elevane sine standpunktog eksamenskarakterar i engelsk skriftleg våren 2010. c) Resultata for den ovannemnde femtiords vokabulartesten, til bruk ved ei deling av utvalet i sterke og svake kandidatar.

Koding av vokabulartest og spørjeskjema ved datainnsamlinga gjorde det mogleg å knyta saman resultata for a), b) og c).

Bruk av statistikk

Data vart analyserte ved hjelp av «paired-samples t-test». Denne teknikken måler statistisk signifikans for endring i prestasjonar for ei og same gruppa etter ein viss type «behandling», til dømes endring i karakterar frå standpunkt til eksamen etter bruk av ordbok. Den målte utviklinga kalla me effekt, for å unngå den tungrodde nemninga «framgang eller tilbakegang». Positive verdiar syner framgang frå standpunkt til eksamen, negative verdiar syner tilbakegang.

Gjennomsnittleg standpunktkarakter for utvalet var 3,72, gjennomsnittleg eksamenskarakter var 3,7s.

Resultat

Bruk av norsk > engelsk ordbok

Som nemnt ligg det føre motstridande funn frå tidlegare forsking når det gjeld effekt for bruk av tospråkleg ordbok: Hurman og Tall rapporterte ein positiv effekt på 9%, East fann ingen skilnad. Resultata for vår studie vert viste i Tabell 1.

Tabell 1: Effekt for bruk av norsk >engelsk ordbok ved eksamen

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign.*
Brukte norsk > engelsk ordbok	97	3,75	3,77	0,02	0,5	-

* Statistisk signifikante resultat vert rapporterte

Resultata i Tabell 1 syner ingen effekt for bruk av ordbok på deltakarane sine eksamensprestasjonar. Denne studien gjev såleis støtte til funna hjå East. Det vart nemnt at QCA tolka resultat i Hurman og Tall sin studie slik at bruk av ordbok gav auka avstand i prestasjonar mellom dei sterke og dei svake elevane. Auken i avstand frå standpunkt til eksamen mellom gruppa «sterke» og gruppa «svake» i vår undersøking vert vist i Figur 1.

Tabell 2: Efekt for bruk og ikkje-bruk av tekstheftet

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign
Brukte tekstheftet ved eksamen	129	3,74	3,79	0,05	1,3	-
Brukte ikkje tekstheftet ved eksamen	9	3,33	3,22	0,11	3,33	-

Tabell 3: Effekt for bruk og ikkje-bruk av notatark ved eksamen

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign.
Brukte notatark ved eksamen	50	3,94	3,72	0,22	5,6	,020
Brukte ikkje notatark ved eksamen	88	3,59	3,77	0,18	5,0	,035

Av Figur 1 går det fram at hjå ordboksbrukarane auka avstanden mellom dei sterke og dei svake elevane med eitt tredels karaktersteg, frå 0,8 til 1,13. Resultatet er statistisk signifikant (p < ,0s) og gjev støtte til QCA sin påstand at bruk av ordbok ved eksamen fører til auka skilnad mellom sterke og svake elevar. – Hjå ikkje-brukarane av ordbok fann me ein svak tendens til reduksjon i avstanden mellom sterke og svake kandidatar.

Bruk og ikkje-bruk av tekstheftet

Ved eksamen våren 2010 var så å seia alle spørsmåla på skrivedagen vovne saman med tekstane i tekstheftet Focus Magazine. Døme: Write about a meeting between the old man [in Skin by Roald Dahl (Focus Magazine Part B)] and any other character from Focus Magazine …. Use information from Focus Magazine.²⁴

Ni elevar valde likevel å arbeida utan tilgang til tekstheftet ved eksamensbordet. I Tabell 2 jamfører me resultata for brukarar og ikkje-brukarar.

Fråveret av ein tydeleg negativ effekt for ikkjebruk av tekstheftet, vist i Tabell 2, kan forklarast på to måtar: anten hadde ikkje-brukarane studert tekstheftet særs nøye i førebuingstida – åtte av dei hadde arbeidd med tekstheftet heime, ein hadde ikkje – eller så tok sensorane lite omsyn til grad av tilknyting til tekstane i Focus Magazine då dei vurderte eksamenssvara.

Me undersøkte vidare (ikkje rapportert) kva for ei elevgruppe som hadde mest utbyte av tekstheftebruk, dei sterke eller dei svake kandidatane. Me fann små skilnader og ingen signifikante effektar, og konkluderte at tekstheftebruk var noko nær nøytral med omsyn til nytte for sterke og svake elevar.

Bruk og ikkje-bruk av notatark

Sidan notatark vart innførte våren 2000, har bruk vore tilrådd av Læringssenteret / Utdanningsdirektoratet; så også ved eksamen våren 2010: «Å kunne ta gode notat under førebuingsdelen og nytte dei på ein god måte på eksamensdagen, er ein viktig føresetnad for eit godt svar». Tabell 3 syner effekt for bruk og ikkje-bruk av notatark på skrivedagen.

Tabell 3 syner signifikant effekt både for bruk og ikkje-bruk av notatark, men effekten er omvend av det Utdanningsdirektoratet førestilte seg: medan brukarane hadde tilbakegang i høve til standpunktkarakteren, opplevde ikkje-brukarane framgang.

Det er ikkje lett å avgjera om den negative effekten for bruk av notatark synt i Tabell 3 har (sterkast) samanheng med skrivinga av notatark i førebuingstida eller med bruken ved eksamensbordet. Resultata viste i Tabell 4, der det vert teke omsyn til innhaldet i notatarket, kan gje eit tentativt svar.

Tabell 4: Effekt for innhald i notatarket

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign.
Skreiv om innhald i tekstane i tekstheftet	20	4,05	3,70	-0,35	8,6	,031
Skreiv om språk	20	4,20	3,90	-0,30	7,1	,030
Skreiv om oppbygging av ein stil	6	2,83	3,17	0,34	12,0	-

Resultata presenterte i Tabell 4 syner at både deltakarane som skreiv om språk og dei som knytte notata sine til tekstane i tekstheftet, opplevde signifikant tilbakegang ved eksamen. Elevane som skreiv om oppbygging av ein stil derimot, vart ikkje råka av tilsvarande problem. Vanskane registrerte i samband med tekstheftebruk kan såleis i stor mon ha opphav i uheldige val i førebuingstida. Det er nyttelaust å spekulera i om ikkje-bruk av skrivne notatark ved eksamensbordet kunne ha eliminert den negative effekten.
Vidare analysar (ikkje rapporterte) viste tilbakegang både for sterke og svake elevar som gjorde bruk av notatark. Dei svake gjekk mest tilbake; for desse var tilbakegangen statistisk signifikant (p = ,032).

Bruk av sjølvlaga grammatikkhefte («elevbok»); bruk av andre sjølvvalde hjelpemiddel

Elevboka er i hovudsak eit sjølvlaga oversyn over engelsk grammatikk. Andre sjølvvalde hjelpemiddel kan til dømes vera trykte grammatikkbøker, læreboka, prøver, innleveringar. Tabell 5 viser effekt for bruk av elevbok og andre individuelt tilpassa hjelpemiddel.

Tabell 5: Effekt for bruk av elevbok og av andre sjølvvalde hjelpemiddel

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign.
Brukte elevbok ved eksamen	27	4,00	4,26	0,26	6,5	-
Brukte andre sjølvvalde hjelpemiddel	27	4,04	4,15	0,11	2,7	-

Tabell 5 viser at bruk av elevbok kan synast å ha hatt ein viss positiv innverknad på elevane sine prestasjonar; effekten nådde så vidt ikkje nivå for statistisk signifikans (p = ,07). Vidare analysar (ikkje rapporterte) synte at tilgang til elevbok ikkje favoriserte dei sterke elevane i særleg grad. Tabell 5 syner ingen nemnande effekt for bruk av andre sjølvvalde, individuelt tilpassa, hjelpemiddel.

Hjelpemiddel som sovepute?

For å undersøkja om bruk av hjelpemiddel kunne ha ein uintendert, negativ effekt på elevane sine eksamensprestasjonar stilte me deltakarane dette spørsmålet: «Har du nokon gong tenkt om lag slik: ’Eg treng ikkje å arbeida så hardt med engelskfaget gjennom året – eg får jo bruka alle hjelpemiddel på tentamenar og på eksamen’?» Effekt for tankar om hjelpemiddel som snarveg til gode prestasjonar vert vist i Tabell 5.

For gruppa på 30 kandidatar sett under eitt fann me, som vist i Tabell 6, ikkje signifikant effekt for tankar tenkte om at bruk av hjelpemiddel kunne erstatta hardt arbeid med engelskfaget gjennom året.

Tabell 6: Effekt for tankar kring bruk av hjelpemiddel som snarveg

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign.
Hadde hyst tankar om hjelpemiddel som snarveg	30	3,70	3,50	0,20	5,4	-

Gruppa på 30 kandidatar blei deretter delt i sterke og svake elevar, for kalkulasjon av effekt. Resultata vert presenterte i Tabell 7.

Tabell 7: Effekt for tankar kring bruk av hjelpemiddel som snarveg: sterke og svake elevar

	n	Standpunkt	Eksamen	Diff.	Effekt (%)	Sign.
Hadde hyst tankar om hjelpemiddel som snarveg: sterke	14	4,00	4,14	0,14	3,5	-
Hadde hyst tankar om hjelpemiddel som snarveg: svake	16	3,44	2,94	-0,50	14,5	,015

Resultata viste i Tabell 7 kan best forklarast slik: Både sterke og svake elevar hadde gjort seg tankar om at hjelpemiddel kunne vera ein snarveg til gode prestasjonar. Dei sterke hadde forkasta tanken og halde fram å arbeida seriøst med faget, medan dei svake hadde omsett tanken i handling og late fri tilgang til hjelpemiddel bli ei sovepute, med eit ras i eksamenskarakterane som uunngåeleg konsekvens.

Diskusjon

I denne studien har me undersøkt effekten for bruk av fem typar hjelpemiddel på elevar sine prestasjonar ved eksamen i engelsk i ungdomsskulen.

Norsk > engelsk ordbok

For utvalet sett under eitt fann me ingen effekt for bruk av ordbok, men ordboksbruk synest å ha ført til auke i skilnadene mellom sterke og svake elevar. Funna gjev grunnlag for å tilrå revurdering av verdien av tilgang til norsk > engelsk ordbok ved eksamen.

Tekstheftet

Sentralt ved innføringa av tekstheftet stod førestillinga om at den nye eksamensskipnaden ville gjera det mogleg å prøva elevane si evne både til å lesa og til å skriva engelsk. Som nemnt stilte forsking spørsmål ved om slik integrering gav valide resultat for lesing. Etter at Utdanningsdirektoratet i 2008 fjerna «tekstforståing» som kriterium for vurdering av avgangsprøva, har tekstheftet no som einaste funksjon å utgjera eit grunnlag som elevane kan byggja på for å koma i gang med eiga skriving. Me erkjenner verdien av hjelp til elevane med å koma i gang, men for dette eine føremålet kan tekstheftet kortast ned og forenklast, og gjerne bli levert ut på sjølve eksamensdagen, slik praksis var i 1998 og 1999.

Notatarket

Resultata for denne studien, til liks med tidlegare funn, tyder på at bruk av notatark har negativ innverknad på elevane sine prestasjonar. Utdanningsdirektoratet bør fjerna utsegna «…gode notat… er ein viktig føresetnad for eit godt svar» frå informasjonsskrivet til elevane. Det kan ikkje vera meining i å tilrå ein praksis som lett blir til ulempe, særleg for svake elevar.

Sjølvlaga grammatikkhefte. Andre individuelt tilpassa hjelpemiddel

Resultatet rapportert i Tabell 5 ovanfor viser ein tydeleg – men så vidt ikkje signifikant – framgang frå standpunkt til eksamen for elevar som brukte sjølvlaga grammatikkhefte som hjelpemiddel. Det er uvisst om det positive resultatet kan direkte tilskrivast bruken av heftet ved eksamensbordet, eller om det like gjerne kan ha samanheng med den innsikta i grammatikk som arbeidet med heftet gjennom året høgst sannsynleg hadde ført med seg,
Det ser ut til at kandidatane hadde lite nytte av tilgang til andre sjølvvalde hjelpemiddel.

Fri tilgang til hjelpemiddel – negativ tilbakeslagseffekt

Det er eit urovekkjande funn at fri tilgang til hjelpemiddel synest å undergrava viljen til innsats hjå svake elevar. Det er ikkje usannsynleg at vendingar som «bedre mulighet til å vise bredde og dybde i sin kompetanse» og «ein viktig føresetnad for eit godt svar» akselererer den negative prosessen.

Konklusjon

Sett under eitt gjev funna presenterte ovanfor få indikasjonar på at bruk av hjelpemiddel ved eksamen er til nemnande hjelp for elevane – kan henda med unnatak av tekstheftet og elevboka. Resultata tyder på at notatarket er til ulempe og ikkje til gagn, at bruk av norsk > engelsk ordbok aukar avstanden mellom sterke og svake elevar, og at fri tilgang til hjelpemiddel kan bli ei sovepute til skade for svake elevar.

Me hevdar ikkje at vår studie gjev dei endelege, sikre svara – utvalet kan vera i minste laget, det kan mangla fullgod representativitet, det kan finnast spørsmål som ikkje er blitt stilte. Meir forsking er nødvendig, i engelsk og i dei andre skriftlege eksamensfaga i ungdomsskulen, ikkje minst kring svake elevar si tru på hjelpemiddel som erstatning for eigen innsats gjennom året. Særs viktig er det at forskinga er evidensbasert, ikkje inntrykksbasert, slik at utviklinga av det norske eksamenssystemet framover vert styrd av funn tufta på valid empiri.