Eksamen opp til vurdering

I disse dager, i mai 2023, skal elever for første gang på tre år, avlegge eksamen. Erfaringer fra pandemien og nedstengningen av skolene, sammen med andre reformprosesser som ligger i tiden, har ført til et behov for å se grundig på skolens vurderingssystem. Min spådom er at når utdanningshistorien skal skrives de neste tiårene, så blir dette stående som et merkeår. 2023 er nemlig også året der

• Kvalitetsutviklingsutvalget evaluerer og leverer sine anbefalinger for reformering av kvalitetsvurderingssystemet, 20 år etter at det ble innført på anbefaling fra Kvalitetsutvalget
• Regjeringen har fremmet forslag til ny opplæringslov som skal behandles i Stortinget
• Utdanningsdirektoratet går i gang med utprøving av og følgeforskning på nye eksamensprøver i videregående skole
• Oslo kommune søker staten om å få prøve ut alternative eksamensformer og forsøk med endring i trekkordningen i grunnskolen

Unntakstilstanden under pandemien har gitt oss bedre innsikt i hva eksamen er og ikke er. Hva er det vi mister om eksamensordninga, slik vi kjenner den i dag, går ut? Dette er blant spørsmålene som leder for Kvalitetsutviklingsutvalget, Tine S. Prøitz, bør stille seg.

I denne artikkelen bruker jeg en tredeling av vurderingens ulike roller, formål og funksjoner (Tveit, 2019; Tveit & Olsen, 2018) til å analysere framveksten av eksamens-, prøve- og karaktersettingspolitikk i norsk grunnopplæring. Denne historiske analysen gir innsikt i hva slags roller eller funksjoner eksamensordningen hadde før og har i dag og kan ha i framtiden, hvis man i det hele tatt skal beholde eksamensordningen. 2023 er året der eksamen i seg selv bør tas opp til vurdering.

Vurderingers ulike roller, formål eller funksjoner

Distinksjoner, dikotomier eller todelte forståelser av roller, formål eller funksjoner ved vurdering i skolen har sitt utspring i kirkens vurderingstradisjoner og er mange hundre år gamle.

I kirken skilte man mellom det Anders Lysne (1999) kaller oppfølgende og utvelgende vurdering. Sistnevnte ble i katedralskolene praktisert strengt for å bestemme hvilke gutter som var skikket eller uskikket til tjeneste for kirken og teologiske studier.

Lærere som er utdannet eller underviste i etterkrigstiden og fram til revideringen av vurderingsforskriften ved innføringen av Kunnskapsløftet i 2006, ble lært opp i skillet mellom uformell og formell vurdering. Dette ble erstattet med den gjeldende vurderingsforskriftens skille mellom underveisvurdering og sluttvurdering, som har sin bakgrunn i forskningslitteratur som trekker opp et skille mellom formativ og summativ vurdering.

Som jeg skal komme tilbake til, er distinksjonen mellom formativ og summativ vurdering mer enn 50 år gammel, men den fikk sin renessanse omkring årtusenskiftet, inspirert av Assessment Reform Group i Storbritannia og især forskningsgjennomgangen til Paul Black og Dylan Wiliam av 1998.

Black og Wiliam (1998) rettet søkelyset mot hva som kjennetegner god formativ vurdering. Dette ble i flere publikasjoner presentert som en motsats til summativ vurdering. De ga ingen definisjon av hva summativ vurdering består i, men var særlig opptatt av de negative konsekvensene av eksterne eksamener og ansvarsstyringspolitikken i Storbritannia.

Når trendbegreper som formativ versus summativ vurdering overføres fra en policykontekst til en annen, må kontekstbeskrivelsen nødvendigvis oversettes og forenkles. Om man ikke gir en presis definisjon på hva eksempelvis «et skifte fra summativ til formativ vurdering» representerer i en gitt kontekst, så blir det uklart hva de summative vurderingene det vises til, er. Dette har ført til at mange har hatt vanskelig for å forstå hva skillet mellom formativ og summativ vurdering egentlig uttrykker.

Med den treffende tittelen Formative Good, Summative Bad peker Lau (2014) på hvordan skillet mellom formativ og summativ vurdering ofte blir brukt i reformprosesser og gjerne tar form av forenklede retoriske og ideologisk ladede fremstillinger. For å få bedre grep om vurderingers ulike roller, formål eller funksjoner har jeg derfor i stedet foreslått en tredelt fremstilling:

1. Det vi kjenner som formativ vurdering, kaller jeg for vurderingers rolle i å støtte læring og undervisning.

For vurderingene som gjerne omtales som summativ vurdering, skiller jeg mellom bruk av karakterer og prøveresultater på individ- og gruppenivå:

2. Å bruke vurderinger som uttrykk for enkeltelevers måloppnåelse, for eksempel læreres karaktersetting eller prøveresultater, er vurderingers rolle i å sertifisere læring og undervisning.

3. Bruken av disse vurderingene på gruppenivå, for eksempel til å evaluere resultatene til lærere, klasser, skoler eller kommuner, er vurderingers rolle i å styre læring og undervisning.

Fellesnevneren for de ulike formene for vurderinger er at de involverer en prosess der man bedømmer og på en eller annen måte graderer oppnåelsen av målene for læringen og/eller undervisningen, for eksempel gjennom bruk av karakterer.

Figur 1: Klassifisering av roller for vurdering – vurderingers tre S-er

Prosess	å fastsette (gradere) oppnåelse av mål eller standarder
Rolle (brukes til)	å støtte læring og undervisning	å sertifisere læring og undervisning	å styre læring og undervisning
Nivå	elev- og lærernivå	elev- og lærernivå	gruppenivå (klasse, skole, kommune osv.)
Eksempel	tilbakemelding på måloppnåelse og forbedringspunkter	standpunktvurdering, eksamen	eksamen- og standpunktkarakterer, nasjonale prøver
Assosiert med	formativ vurdering	summativ vurdering

De tre s-ene, støtte, sertifisere og styre, gir et analyseredskap som kan hjelpe oss å forstå bedre hvorfor eksamens-, prøve- og karakterpolitikken gjennom skolens historie har vært så konfliktfylt. Analysen nedenfor synliggjør også hvordan noen av eksamens mange roller, formål eller funksjoner ofte blir glemt i det politiske ordskiftet.

Eksamens framvekst i utdanningssystemet

Eksamens rolle som styringsredskap i norsk utdanning er like gammel som skolen selv. Konfirmasjonen, som ble innført i 1736, innebar minimumskrav til kristendomskunnskap, som kirken skulle ta hånd om at barna fikk undervisning i og kontrollere oppfyllelsen av. Dette forutsatte at det ble etablert lese- og kristendomsundervisning for alle barn utover landet, og ledet fram til den første lov om skoleopplæring i 1739.

Først i 1809 man fikk et formelt reglement for karaktersetting, men helt fram til i dag har staten vært tilbakeholden med å regulere rammene for lærernes standpunktvurderinger. Lærernes karaktersetting har blitt indirekte regulert gjennom eksamensoppgaver og tilhørende vurderingskriterier (Tveit og Lundahl, 2023).

Da Universitetet i Oslo ble etablert i 1811, besto examen artium av åtte skriftlige prøver fordelt på tre dager, og fungerte som en opptaksprøve til høyere utdanning. Undervisningen på gymnasene måtte innrettes mot at elevene skulle bestå examen artium (Lysne, 1999).

Mot slutten av 1800-tallet, etter hvert som gymnaslærerprofesjonen ble sterkere, fikk eksamen en viktig rolle i å utvikle og kvalitetssikre deres profesjonelle kompetanse. Da examen artium i 1884 ble overført fra universitetet til godkjente gymnasskoler var det uttrykk for en anerkjennelse av lærerprofesjonens kunnskaper og kompetanse til å identifisere hvilke elever som var egnet til å gå videre til universitetet og ikke Lundahl & Tveit, 2014). Siden har eksamen spilt en viktig rolle i å støtte opp under og bidra til erfaringsdeling mellom lærerne om deres undervisnings- og vurderingspraksis.

Motstanden mot eksamen og karakterer i 1960- og 1970-årene

I takt med utvidelsen av grunnopplæringen i tiårene etter andre verdenskrig ble karakterer i stor grad fjerna i barneskolen både i Norge, Danmark og Sverige. Etter hvert som vi fikk niårig og senere tiårig grunnskole, var det ikke lenger behov for karakterer og eksamen på de lavere utdanningstrinnene.

Reduksjonen i karakterbruk representerte et gjennomslag for den progressive pedagogikken. I løpet av 1960- og 1970-åra vokste det fram fagmiljø på universitetene både i og utenfor Norden som problematiserte uheldige konsekvenser av karakterer og testing, ikke minst i USA.

Det er her vi har begrepene formativ og summativ vurdering fra. Michael Scriven (1967) brukte distinksjonen første gang for å understreke at evaluering av undervisningen i et fag i én formativ rolle kan brukes til å forbedre undervisningen, mens den i en annen summativ rolle kan brukes til å vurdere resultatene av undervisningen. Han var provosert over at Lee Cronbach (1964), og andre ledende fagfolk innenfor vurderingsfeltet, kritiserte bruken av standardiserte prøver til å holde skolene og lærerne ansvarlige for elevenes resultater.

Distinksjonen ble raskt populær og særlig Bloom, Hasting og Madaus’ (1971) Handbook of Formative and Summative Evaluation of Student Learning bidro til at begrepsparet ble mye brukt i pedagogisk forskning og den utdanningspolitiske diskursen fra 1970-årene og utover, ikke minst av motstanderne av karakterer og eksamen. Disse var det mange av i den vestlige verden på denne tiden, men det var få land der motstanden fikk så stor gjennomslagskraft som i de nordiske.

Selv om det også i Finland og på Island var politiske strid om karaktersetting, var det særlig i de skandinaviske landene karakterdebatten i 1960- og 1970-årene tok form av sterke ideologiske slag mellom venstre- og høyresiden i politikken. I Sverige ble karakterspørsmålet, med sedvanlig svensk grundighet, utredet i mer enn fem år (SOU 1977: 9). I Norge ble forsøk på å fjerne eksamen og karakterer på ungdomstrinnet og i videregående skole målbåret gjennom to store offentlige utredninger i 1970-åra, kjent som EVA1 og EVA2. Ytterste konsekvens av et slikt karaktersystem, at den gjorde klassekamerater til konkurrenter, var et effektivt retorisk argument som ble brukt i forsøket på å avskaffe karakterer og eksamen helt (Lysne, 2004).

I Norge var Pedagogisk forskningsinstitutt (PFI) ved Universitetet i Oslo, under instituttbestyrer Johannes Sandvens ledelse, en viktig maktfaktor. Fra Sandven tiltrådte som bestyrer i 1948, utviklet han instituttet til å bli sentral i forskning på og bruk av modenhetsprøver og andre standardiserte prøver. Disse ble solgt til skolene etter amerikansk modell. PFI hadde nærmest en monopolstilling innenfor utdanningsforskning i Norge i det første tiåret etter krigen, men etter hvert som karakter- og prøvemotstanderne ble flere i 1960-årene økte motstanden mot instituttets vitenskapelige forankring i amerikanske testtradisjoner (Lysne, 1999).

På grunn av studentopprør og økende motstand i egne rekker måtte Sandven i 1972 tre til side. En mer demokratisk styring av instituttets faglige innretning ledet frem til opprettelsen av det sosialpedagogiske studiealternativet i 1974 (Helsvig, 2005). I tiårene som fulgte fikk karakter- og prøvemotstandere ved PFI prege utdannelsen av skoleledere, skolebyråkrater og skoleforskere. Motstanden mot karakterer og prøver var stor også i lærerutdanningene og på lærerrommene (Lysne, 2004).

I Evalueringsutvalgets utredning av 1974 (EVA1) gikk 6 av 10 utvalgsmedlemmer inn for å avvikle karakterer på ungdomstrinnet, mens 4 av 10 foreslo det samme i gymnaset (Lysne, 2004). Karakter- og prøvemotstanderne lyktes imidlertid ikke i å mobilisere like stor motstand blant elever og foreldre. Blant aktørene som kjempa for å fortsette med karakterer og eksamen både i ungdomsskolen og i gymnaset, var Norges Gymnasiastsamband (forløperen til Elevorganisasjonen).

Til deres kampanje Evalueringsaksjonen 78 kom det på kort tid inn hele seksti tusen underskrifter. I høringsrunden til EVA2 gikk 80 prosent av uttalelsene mot en ytterligere reduksjon i bruk av karakterer. Da Arbeiderpartiet mista regjeringsmakta etter stortingsvalget i 1981, mente mange at det var striden om karakterer i skolen som ble deres bane (Lysne, 2004).

Til tross for store utdanningsreformer som Reform 94 og L97 var det først ved årtusenskiftet og PISA-sjokket i 2001 at vurdering og evaluering på ny fikk en virkelig stor plass i det offentlige ordskiftet. Det er fristende å anta at det tydeligste resultatet av de steile frontene i karakterstriden i 1970-åra førte til en form for berøringsangst blant politikerne. Verken hos regjeringene ledet av Arbeiderpartiet, Høyre, KrF eller Senterpartiet i 1980- og 1990-åra var reformiveren på vurderingsfeltet særlig stor (Lysne, 2004).

Denne korte skildringa av karakterstriden i 1960- og 1970-årene synliggjør hva den iboende konflikten lærerens ansvar for både formativ og summativ vurdering innebærer. Lærerens doble mandat – den skal både støtte elevenes læring og sertifisere elevenes oppnåelse av målene – er en viktig grunn for at myndighetenes regler og retningslinjer for karaktersetting har vært uklare.

I det norske vurderingssystemet er læreren satt til å forvalte to svært motsetningsfylte mandater. Det er svært forståelig når lærere opplever at deres (summative) sertifiseringsrolle som karaktersetter kommer i veien for deres (formative) rolle i å støtte elevenes læring.

Enda mer sammenblandet blir rollene ved vurdering når vurderingsinstrumenter som primært har en rolle i å styre også gis en rolle i å støtte læring og undervisning, slik det ble med nasjonale prøver noen tiår senere.

Ny styring ved årtusenskiftet: kvalitetsvurderingssystemet og nasjonale prøver

Innføringen av et nytt kvalitetsvurderingssystem og nasjonale prøver var et direkte resultat av PISA-sjokket i 2001. Både ansvarlige politikere og mediene la stor vekt på PISA-prøvens rolle i å måle kvaliteten på utdanningstilbudet og den internasjonale konkurransen mellom utdanningssystemer. Den ferske statsråden Kristin Clemet kunne derfor knapt truffet bedre med sportsmetaforen hun brukte til å karakterisere resultatet: «Som å komme hjem fra vinter-OL uten en eneste norsk medalje, og denne gangen kan vi ikke skylde på at finnene er dopet», sa statsråden, med henvisning til at finnene vinteren før var blitt tatt for doping under ski-VM på hjemmebane (Dagbladet, 5.12.2001).

For Finland førte PISA-resultatene til en uventet heder og ære og en konstant strøm av utdanningsforskere og politikere på jakt etter suksessoppskriften i årene som fulgte. Her i Norge ble PISA-sjokket «en flying start» for Clemets reformplaner, slik hennes statssekretær Helge Ole Bergesen (2006) uttrykte det i boka Kampen om kunnskapsskolen.

Dette er et eksempel på bruken av prøver som måler elevers læringsutbytte som grunnlag for styring av utdanningspolitikken. PISA-sjokket førte til at Clemet utvidet utvalget ledet av Astrid Søgnen med flere medlemmer og et ga det et nytt mandat: Å utrede og foreslå et nasjonalt kvalitetsvurderingssystem og nasjonale prøver som grunnlag for styring av skolen.

Denne økte bruken av prøver til å styre skolen og holde skoleeier, skoler og lærerne mer ansvarlige for elevenes resultater, var svært kontroversiell og ble møtt med boikottaksjoner fra Elevorganisasjonen og sterk motstand fra Utdanningsforbundet. Da Sosialistisk Venstreparti overtok Kunnskapsdepartementet ble prøvene satt på pause i et år før de kom tilbake i skolen i en ny innpakning med økt vektlegging av prøvenes rolle i å støtte læring og undervisning.

Den norske Vurdering FOR læring-satsingen er særlig inspirert av den skotske Assessment is for Learning-satsingen, som hadde sitt utspring i Black og Wiliam (1998) sin forskning. Blant de nordiske landene er det nok ingen som har vært mer direkte inspirert av Black og Wiliam og den internasjonale VFL-litteraturen enn Norge. Den sterke satsingen på vurdering for læring kan forstås i lys av innføringen av kvalitetsvurderingssystemet og nasjonale prøver og et politisk ønske om å skifte fokus fra summativ til formativ vurdering (Tveit, 2019).

Det er delte meninger om i hvilken grad de nasjonale prøvene er til hjelp i arbeidet med å forbedre kvaliteten på opplæringa. De fleste vil nok være enig i at vi – heldigvis – har unngått de helt ekstreme utslagene av slik ansvarsstyring av den typen vi har sett i USA og Storbritannia.

Slik jeg ser det, har nasjonale prøver og det nasjonale kvalitetsvurderingssystemet tilført den norske skolen og den utdanningspolitiske diskursen et bedre kunnskapsgrunnlag og viktige nye dimensjoner i arbeidet med kvalitetsutvikling. Kommunene og fylkeskommunene sitt ansvar for skolen er tydeliggjort, og både lærere og rektorer blir møtt med større forventninger enn før. Samtidig finner vi flere eksempler på uheldig bruk av prøveresultat i styringa av skolen.

Jeg skal ikke her gå inn på forskning og de ulike aktørenes standpunkter til dette spørsmålet. Det jeg imidlertid ønsker å sette søkelyset på, er hvordan den sterke vektlegginga av ansvarsstyring gjennom PISA og nasjonale prøver de siste 20 åra har ført til vi nesten har glemt at den vurderingsordningen som tradisjonelt har hatt den viktigste rollen i styringen av elevenes læring og lærernes undervisning er eksamen.

Fraværet av eksamen de siste tre årene har bidratt til å synliggjøre viktige roller eksamen har, og også på hvilke måter eksamensordningen kan ha utspilt sin rolle.

Eksamens sertifiseringsrolle

De fleste forbinder nok eksamen med det jeg kaller sertifiseringsrollen. Eksamenskarakterene kommer sammen med standpunktkarakterene på elevenes vitnemål og danner grunnlag for opptak til videre utdanning og rekruttering i yrkeslivet.

Eksamens sertifiseringsrolle gjør det nødvendig å jevnlig oppdatere prøveformatet i tråd med forventningene til kunnskaper og ferdigheter elevene vil bli møtt med, i et samfunn i stadig raskere utvikling. Bruken av hjelpemidler og hvordan og i hvilken utstrekning eksamensprøvene gjennomføres digitalt, er en gjenganger i de politiske og faglige vurderingene. I 2023 er det særlig kunstig intelligens gjennom tjenester som ChatGPT som utfordrer eksamensformatet.

Utdanningsdirektoratet inviterer dette året skoleeiere og videregående skoler til å gå i gang med utprøving av langsvarsoppgaver i biologi, matematikk for yrkesfag og politikk og menneskerettigheter med sikte på å siden gjennomføre forsøk med dette som alternativ til dagens eksamensformer. Dette kan forstås som et forsøk på å gjøre eksamen mer relevant for framtidens arbeidsliv. Denne forsiktige reformeringen av oppgaveformatet som Utdanningsdirektoratet er gått i gang med, er uttrykk for en erkjennelse av at fem timers skriftlig prøve ikke er en like relevant sertifisering av elevers kompetanse i 2023 som det var på 18- og 1900-tallet.

Eksamen rolle i styringen av undervisningen innhold

Innføringen av nasjonale prøver og kvalitetsvurderingssystemet for 20 år siden bidro som sagt til at eksamens rolle i å gi lærere, skoleledere, forvaltning og politikere «styringsdata» er blitt underkommunisert i det politiske ordskiftet. Selv om det i liten grad har blitt uttrykt i stortingsmeldinger og andre policydokumenter, så utgjør eksamensresultater et viktig informasjonsgrunnlag for skolenes kvalitetsarbeid, spesielt i videregående skole (Tveit og Olsen, 2018).

Forskrift til opplæringsloven tillegger eksamen en slik rolle, gjennom å pålegge skoleeiere å «medverke til å etablere administrative system og å innhente statistiske og andre opplysninger som trengs for å vurdere tilstanden og utviklinga innenfor opplæringa» (§ 2.2). Videregående opplæring har få andre statistiske opplysninger som kan brukes for å vurdere tilstanden knyttet til læringsresultater, og det er derfor naturlig at eksamen blir en kunnskapskilde i dette arbeidet.

En annen dimensjon eksamen har gjennom sin styringsrolle, er at nasjonale myndigheter gjennom eksamensreguleringene utøver makt over fagenes innhold. Dette ser vi når eksamen diskuteres på Stortinget: Ulike fag-, språk- og profesjonsinteresser konkurrerer om hva som gjennom eksamenssystemet anerkjennes som viktig kunnskap. En slik tilbakevirkende tilsiktet effekt, kjent som «positive washback», er kjent fra flere land.

Eksamen rolle i å støtte lærernes undervisnings- og vurderingspraksis

At eksamensordningen har hatt stor legitimitet og gjennom årenes løp har gjennomgått små forandringer kan blant annet forklares med at det er profesjonen selv som kontrollerer prøvene (Lundahl og Tveit, 2014). Skoleledere og lærere oppfatter sensoroppgaven som svært viktig for den profesjonelle utviklingen til både skolen som organisasjon og den individuelle lærer (Hovdhaugen, Prøitz og Seland, 2018). Rollen eksamenssystemet har i å styrke profesjonens forståelse av hva som forventes i fagene, ble lenge underkommunisert i forskningen og i den utdanningspolitiske diskursen. Dette er blitt løftet mer fram i det første formelle rammeverket for eksamen som Utdanningsdirektoratet publiserte i 2017, og det ble vektlagt i Eksamensgruppas kunnskapsgrunnlag og anbefalinger (Blömeke mfl., 2020). Denne tause kunnskap om eksamens funksjoner kan dermed være i ferd med å bli anerkjent som et av formålene med eksamensordningen, selv om det ikke eksplisitt er uttrykt slik i lovverket.

Trekkordningen

Oslo kommune søker i vår om forsøk med endringer i trekkordningen ved eksamen på 10. trinn ved at elevene gis en rett til å velge selv hvilke av de tre fagene med sentralt gitt eksamen (norsk, engelsk og matematikk) som de skal komme opp i. Dette er i tråd med anbefalinger fra Eksamensgruppa om å prøve ut slike ordninger, og det er derfor grunn til å forvente at det fra Utdanningsdirektoratets side blir sett positivt på dette forsøket.

En viktig funksjon ved trekkordningen er at verken lærere eller elever skal vite hvilket fag som trekkes, og at risikoen for å bli trukket ut til eksamen i ett av fagene gir et insitament til å undervise og lære godt i alle fagene.

Om elevene selv får velge hvilken eksamen som de skal opp i, så representerer det et brudd med tradisjonen for at eksamen skal være en «stikkprøve» som brukes blant annet til å kontrollere om lærerne har undervist og elevene lært det de skal i fagene.

Betydningen av forsøket med trekkordningen som Oslo kommune søker om bør derfor følges med stor interesse både fra utdanningsforskere, politikere og lærerprofesjonen fremover.

Eksamen opp til vurdering

Når Kvalitetsutviklingsutvalget i høst skal konkludere med anbefalinger om kvalitetsvurderingssystemet, blir det spennende å se om de bare pirker i eller våger å rokke ved grunnmuren i det norske skolen – eksamen.

Pandemien vist oss at det er mulig å ha tillit til lærernes vurderinger, uten at det gjennomføres eksamen i fagene.

Det er nå grunnlag for å stille spørsmål om hvorfor man beholder eksamensordningen dersom man langt på vei går bort fra eksamens rolle i å kontrollere at lærerne og elevene gjennomfører den undervisningen og læringen de skal.

Som vist i denne historiske gjennomgangen har nasjonale myndigheter i svært liten grad regulert lærernes standpunktvurdering; denne har i stedet har blitt styrt indirekte gjennom eksamen. Tiden kan være moden for å vurdere en variant av den svenske modellen, der det i stedet for en uavhengig eksamen gjennomføres nasjonalt utarbeidede prøver som del av grunnlaget for standpunktkarakteren i fagene.

Siden examen artium i 1884 ble overført fra universitetet til grunnopplæringen og kontrollert av lærerprofesjonen selv, har eksamen i stadig større grad tatt form av en kompetanseheving og intern kvalitetssikring blant medlemmene av profesjonen. Når både lærerne og myndighetene nå i større grad legger vekt på kompetanseheving og erfaringsdeling som viktige grunner for å ha eksamen, bør man stille spørsmål ved om dagens eksamensordning ivaretar dette formålet på en god måte.

Tiden taler for at eksamen kommer opp til vurdering.