Læringsanalyse – tilbakeblikk og frampek

Bakteppe

Utviklingen av KI med ChatGPT i november 2022 og GPT-4 i mars 2023 reaktualiserer læringsanalyse og tar noe av pusten fra NOU 2023: 19 Læring, hvor ble det av deg I alt myldret? Allerede i 2013 var Norge i godt i gang å se på datamyldret fra elever og studenter. Da var også spørsmålet hvordan kan data brukes for å fremme læring. Den gangen var spørsmålene påfallende like de som stilles i NOU 2023:19.

Den norske Horizon-rapporten fra desember 2013, Teknologiske Framtidsutsikter for norsk skole 2013-2018, presenterte trolig for mange i norsk utdanningssektor begrepet «læringsanalyse» for første gang. Læringsanalyse ble her trukket fram som en teknologi som ville ha stor påvirkning på undervisning, læring og kreativitet i et fire-fem års perspektiv, og den ble beskrevet som bruk av «store data» og metoder fra forbrukerforskning, applisert på undervisning. Rapporten var et samarbeid mellom New Media Consortium og Senter for IKT i utdanningen og peker på at hvis læringsanalyse brukes effektivt, kan den bidra til å avdekke tidlige tegn på at en elev sliter, slik at lærere og skoler kan ta tak i problemet. Ved korrekt bruk og tolkning kan læringssanalyse sette lærere bedre i stand til å identifisere elevenes læringsbehov og skreddersy undervisningen deretter. Horizon rapporten hadde en svært optimistisk tidshorisont, men viser til at læringsanalyse kan utvikles på alle nivåer i utdanningssystemet fra elev til skoleeier og myndigheter.

I 2013 var læringsanalyse plassert på den politiske agendaen i Norge. I Europa ble Norge sett på som ledende innen utvikling av digital kompetanse i skolen. Daværende kunnskapsminister Torbjørn Røe Isaksen besøkte Brussel i 2013. I en tale til Council of the European Union sier han: «we also need to initiate and fund more research, both on the new provisions of learning opportunities and the large amounts of data produced by these systems. Next year we (my ministry) will discuss alternatives for an initiative on inter-disciplinary research in the fields learning science and learning analytics.»

I 2014 skriver undertegnede en leder om learning analytics i Nordic Journal of Digital Literacy, hvor forskningsnettverket «Society for Learning Analytics Research (SoLAR)» presenteres (Søby, 2014). Definisjonen av læringsanalyse omfatter «registrering, innsamling, analyse og rapportering av data om elever i en kontekst, der målsettingen er å forstå og forbedre læringsprosessen og det sosiale miljøet der læring foregår.» Læringsanalyse bygger ikke på en bestemt læringsteori eller modell. Den internasjonale diskusjonen om læringsanalyse er tverrfaglig og føres av forskere innen informatikk og utdanning, beslutningstakere og utviklere av digitale pedagogiske ressurser og verktøy. Det handler om hvordan vi analyserer data om læring og hvordan læringssystemer kan forbedres ved å bli evidensbasert.

I 2015 utgir Senter for IKT i utdanning en utredning om læringsanalyse som favner forskning, pedagogikk/didaktikk, teknologiutvikling i selskaper samt etiske og personvern utfordringer. Fra rapporten:

Styrker ved læringsanalyse

• Læringsanalyser kan følge læringsprosesser og registrere data løpende underveis. Dette kan lette planlegging, administrasjon og gjennomføring av undervisning. Læringsanalyse kan motvirke tidstyver.
  
  
• Læringsanalyse kan kategorisere store menger med dataspor og presentere funn i enkle visuelle modeller. Dette kan være nyttig informasjon for elever, studenter, lærere og skoler. Resultatene av analysene kan brukes til bedre læringskvalitet.
  
  
• Læringsanalyse kan bidra å forstå og kartlegge den enkelte elevs komplekse læringsprosess og tilby elever personlig og tilpasset opplæring.

Svakheter ved læringsanalyse

• Ikke alle deler av læring kan kvantifiseres eller kan transformeres til relevante data for læringsanalyse. Ikke alle læringsressurser kan genere relevante data fra en lærings- og undervisningssituasjon.
  
  
• I dag samles data hovedsakelig fra digitale læringsressurser, digitale tester eller kartlegginger. Det blir de enkle og tilgjengelige datasporene som analyseres. Det er fortsatt mange sammensatte og meningsfylte indikatorer for kvalitet og progresjon som ikke fanges opp.
  
  
• Dataene i læringsanalyse er av ikke av samme type. Resultatet er at analysene kan bli fragmenterte, og da kan de ikke brukes til å bygge et helhetlig bilde av læringsprosessen.

Muligheter ved læringsanalyse

• Elever og studenter kan bedre forstå sin egne læringsaktiviteter. De stimuleres til bedre læringsstrategier og selvrefleksjon.
  
  
• Lærere kan få et overblikk over læringsprosessen for en hel klasse og bruke mindre tid på vurderinger og statusrapporter. Læreren frigjør tid til å veilede den enkelte og har et bedre kunnskapsgrunnlag for å identifisere problemer i tidlig fase.
  
  
• Skoleledere og skoleeiere gis et bedre kunnskapsgrunnlag for kompetanse- og
  
  
• organisasjonsutvikling. Dette kan gi bedre læringsresultater.
  
  
• Innholdsleverandørene vil få en bedre forståelse av hvordan læringsressursene brukes og virker. Denne kunnskapen kan bidra til å bedre produktene.

Utfordringer ved læringsanalyse

• Innsamling, deling og bruk av omfattende data om en elev øker faren for brudd på
  
  
• personvernlovgivningen og misbruk av data fra tredjepart.
  
  
• Lærere har ikke tilstrekkelig digital kompetanse til å utnytte læringsanalyse for å gi elevene individuelle tilbakemeldinger og løpende vurderinger. Da blir læringsanalyse bare nok en tidstyv. Manglende digital kompetanse er også en trussel mot personvern og informasjonssikkerhet.
  
  
• Skoler og skoleeiere står overfor et uoversiktlig marked som tilbyr mange delelementer av læringsanalyseprodukter. Produktene oppskrytes og overselges. Det finnes ikke retningslinjer, nasjonalt rammeverk eller infrastruktur.
  
  
• Markedet mangler en forståelse av hvilke data som er relevante for å fremme kvalitet i læringsprosessen.

Det norske Forskningsrådet følger opp læringsanalyse med en norsk – finsk workshop for forskere og eksperter i Helsinki i 2015. Maskinlæring var et sentralt begrep i diskusjonene under workshopen. Etter workshopen ble universiteter og høgskoler invitert til å søke midler til etablering av et nasjonalt senter for læringsanalyse. Vinneren av konkurransen ble Universitetet i Bergen som fikk midler til å opprette et forskningssenter (SLATE) om Learning Analytics. Samtidig med opprettelsen av SLATE blir adaptive læringsverktøy tatt i bruk i skolen. Et eksempel er Multi Smart Øving i matematikk. I 2017 startet SLATE sammen med KS og Oslo kommune AVT-prosjektet (Aktivitetsdata for Vurdering og Tilpasning). I Europa ser man på Norge som et foregangsland innen læringsanalyse.

Misiejuk og Wasson (2017) har i State of the Field report on Learning Analytics gjennomført en kunnskapsoppsummering om læringsanalyse. Antall studier om læringsanalyse øker. Teorigrunnlaget bør utvikles. Det er huller i kunnskapsgrunnlaget som retter seg mot læringsanalyse i skolen. Det gjelder for eksempel daglige analyser i klasserommet.

Utredningen fra Senter for IKT i utdanning om læringsanalyse blir ikke fulgt opp utdanningspolitisk. Utfordringene beskrevet i 2015 blir liggende. Læringsanalyse nevnes av Kunnskapsdepartementet i Framtid, fornyelse og digitalisering, Digitaliseringsstrategi for grunnopplæringen 2017–2021 uten at det følges opp av konkrete tiltak. Senter for IKT i utdanningen blir lagt ned i 2017 og de ansatte overført til Utdanningsdirektoratet. I 2017 uttaler daværende kunnskapsminister «Det er sikkert mange som er redde for at det store Utdanningsdirektoratet skal sluke det mindre Senter for IKT i utdanningen, og at det digitale vil bli nedprioritert til fordel for andre oppgave. Vi vil gi … føringer for at det ikke skal skje» (tale i KD). Allikevel fra 2018 bygges digital kompetanse ned i Utdanningsdirektoratet. Et av de få prosjektene som overlever er Rammeverk for profesjonsfaglig digital kompetanse (pfDK).

SLATE arbeider videre med læringsanalyse, men det gjøres ingen nasjonale grep for å utvikle kunnskap eller rammeverk for sektor. Fra 2018 har det vært svak nasjonal styring og satsing på digitalisering i skolen. Mangel på politiske føringer overlater digitalisering i skolen til skoleeiernivå. Nedbygging av nasjonal digital kompetanse er kostbart for utdanningssektoren. Vi mangler evaluering av dette. Innhenting av elev- og studentdata har derfor i for stor grad blitt overlatt til kommersielle selskaper.

Bedre sent enn aldri

I NOU 2019: 23 Ny opplæringslov tas utredningen om læringsanalyse fra 2015 (Senter for IKT i utdanningen) frem fra glemselen. Det påpekes at det er sannsynlig at anvendelsen av læringsanalyse både vil være lovstridig, og at kommunene ikke greier å ivareta det mest sentrale personvernprinsippet: at den som personopplysningene gjelder, skal sikres kontroll med og medbestemmelse over bruken av egne opplysninger. NOU rapporten viser til at spørsmålene fra 2015 burde vært løst og besvart:

• Hvordan skal skoleeier sørge for at personopplysningene bare anvendes til læring og ikke til andre formål, for eksempel til å kontrollere elever eller lærere?
  
  
• Hvor går grensen mellom opplysninger som er relevante for læring, og opplysninger som ikke er det, men som det likevel kan være interessant å registrere og analysere?
  
  
• Hvor lenge kan kommunene og eventuelle eksterne system- eller tjenesteleverandører lagre registrerte opplysninger, og når slutter opplysningene å være relevante for det videre læringsarbeidet?
  
  
• Hvordan skal kommunene sørge for at elevenes rett til innsyn i, retting eller sletting av egne opplysninger ivaretas?

Et av forslagene fra NOU rapporten om ny opplæringslov er at det bør nedsettes et offentlig utvalg med mandat om å se særskilt på bruk av digital læringsanalyse i skolen. Utvalget bør vurdere teknologiske og pedagogiske, så vel som normative og etiske, spørsmål ved bruk av digital læringsanalyse. Det er blant annet behov for teknologisk spisskompetanse for å gi et godt grunnlag for vurderingene. I begrunnelsen for forslaget understrekes det at spørsmålene rundt bruk av teknologi og særlig digital læringsanalyse er svært viktige, og at de bør vurderes samlet så snart som mulig. Situasjonen i 2019 (som i 2015) framstår som uoversiktlig og mer preget av tilbydernes tilbud enn vurderinger av hva grunnopplæringen og elevene er tjent med.

Kunnskapsdepartementet nedsetter høsten 2021 en ekspertgruppe for å evaluere bruken av læringsanalyse i skole, yrkesopplæring og høyere utdanning. Departementet ga ekspertgruppen i mandat å se på grunnopplæringen, høyere utdanning og høyere yrkesfaglig utdanning. Det er ikke gitt noen god begrunnelse for dette brede mandatet. Det er mange ulikheter mellom skole og høyere utdanning. Eksempelvis ulikhet i alder, kompetanse, marked for digitale læremidler/ressurser, styrings- og eierskapsstruktur. Ekspertgruppen ble derfor gitt en krevende oppgave.

Ekspertgruppen har kompetanse med jurister, lærere, myndighetsrepresentanter, og forskere innen pedagogikk, KI, leseforskning mm. I fjor sommer kom de med sin første delrapport. Det er en grundig gjennomgang av hva læringsanalyse er, hvordan det brukes i dag og litt om forskning som finnes på feltet. Mer spisskompetanse teknologisk ville gitt utvalget mer faglig tyngde.

Datamyldret

I juni kom NOU 2023: 19 Læring, hvor ble det av deg I alt myldret? Rapporten er grundig i utredning av begreper og etiske retningslinjer om læringsanalyse, samt utfordringer knyttet til innsamling og bruk av læringsanalyse til utdanningsformål. Ekspertgruppen viser at læringsanalyse kan spille en viktig rolle både som læringsstøtte for elever og studenter. Læringsanalyse kan bidra i skolens og institusjonens systematiske kvalitetsarbeid.

Ekspertgruppen plasserer læringsanalyse i eksisterende rettslige grunnlag og overordnede nasjonale retningslinjer. Utredning kunne i større grad innhentet forskning og kunnskapsoppsummering som ser på behov hos elever, lærere og skoleeiere.

Fremfor å være tett på teknologiutviklingen, domineres utredningen av juridiske problemstillinger. Ekspertgruppen anbefaler:

• å tydeliggjøre det rettslige grunnlaget for læringsanalyse i grunnopplæringen, i høyere utdanning og i høyere yrkesfaglig utdanning,
• å utarbeide en norm for personvern i grunnopplæringen,
• å etablere rammer for god læringsanalyse i grunnopplæringen,
• å utvikle overordnede retningslinjer for god og forsvarlig læringsanalyse i høyere utdanning og høyere yrkesfaglig utdanning.

Disse anbefalingene er det lett å gi sin tilslutning til. Samtidig er dette anbefalinger som springer ut av vi ikke har gjort nasjonale grep tidligere. Bedre helhetlig styring og koordinering fra staten og skoleeiere ned til klasserommet ville hatt gitt oss en bedre digital tilstand og et bedre utgangspunkt.

Personvern, dataeierskap og etisk bevissthet er selvsagt viktig. Og aktualiseres gjennom læringsanalyse. Allikevel lærere, skoleeiere, IKT bransjen har i en årrekke etterlyst bedre statlig styring og rammer på dette feltet. Ekspertgruppen kommenterer også at personvernsituasjonen i skolen er prekær. De siste årene er digitalisering i skolen overlatt til skoleeiere med varierende digitalt kompetansenivå. Etter nedlegging av Senter for IKT i utdanningen i 2018 har det vært svak nasjonal styring og satsing på digitalisering i skolen. Nedbygging av nasjonal digital kompetanse koster sektor dyrt. Vi mangler evaluering av dette.

Manglende nasjonale fellesløsninger, standarder og et helhetlig økosystem for digitale læremidler/læringsressurser gjør det utfordrende å utnytte potensialet i teknologien og begrenser muligheten for å utnytte et mangfold av digitale produkter. Det er krevende prosesser hos skoleeiere for å anskaffe gode læringsressurser/læremidler.

Et av forslagene i NOU om læringsanalyse er at regjeringen vil samarbeide med KS om å etablere en offentlig forvaltet nasjonal tjenestekatalog for digitale læremidler og vurdere å inkludere andre digitale løsninger. En nasjonal tjenestekatalog for digitale læremidler kan støtte god og forsvarlig læringsanalyse i skolen. Men KS er en politisk styrt interesseorganisasjon og arbeidsgiverorganisasjon og er neppe rigget for en nasjonal støttetjeneste for skole-Norge. Kanskje bør det opprettes et nytt nasjonalt senter for digitalisering, læringsanalyse og KI i skolen?

Høringsuttalelsene er gjennomgående støttende til hovedanbefalingene i NOU rapporten (Kunnskapsdepartementet, 2023). En kritisk kommentar fra Universitetet i Oslo er verdt å merke seg: Rapporten redegjør i mindre grad i hvilken grad data som brukes til læringsanalyse, har en slagside, «bias», noe som i stor grad vil kunne påvirke de slutningene man kan trekke fra slik læringsanalyse. «Her savner vi at det også redegjøres for «bias» i data, dvs. data som ikke oppleves som rettferdig (fair), men heller partiske (biased) … Funn fra rapport fra European Schoolnet (Erstad et al. 2023) om datafiseringen i skolen (s. 18, s. 21, s.26) understøtter betydningen av bias i læringsanalyse».

Utredningen kunne hatt en kritisk gjennomgang av hvorfor vi ikke allerede har på plass:

• Nasjonale fellesløsninger for digitale læremidler/læringsressurser
• Rammer/regulering av elevdata, læringsanalyse og KI.
• Regulering av markedet for digitale læremidler: brukerorientert betaling vs plattformisering.
• Felles støttetjeneste for personvern, infosikkerhet og universell utforming i digitale læremidler og ressurser.
• Pilotforsøk i samarbeid med Ed Tech om hvordan KI, læringsanalyse kan realisere tilpasset opplæring.
• Nasjonal løsning for databehandleravtaler.
• Europeisk samarbeid om læringsanalyse og KI gjennom European Schoolnet og EU.

Strategi for digital kompetanse og infrastruktur i barnehage og skole 2023–2030 kom forsinket omsider våren 2023. I siste liten er det kastet inn formuleringer om KI som vies mye spalteplass. Men strategien mangler ambisjoner for læringsanalyse og KI. Det er 82 tiltak i kategorien «Vil vurdere å …» eller: fortsette med pågående aktiviteter. Det er 12 tiltak som forplikter. Et av de er å etablere forskningsprogram for og om digitalisering og digital kompetanse i sektor. Et annet er økt satsing på rammeverk for profesjonsfaglig digital kompetanse. Men tiltak som å «innhente erfaringer internasjonalt med bruk av KI i skolen» er svakt.

To tiltak i strategien (s. 12) er i kategorien forunderlig og fornøyelig:

• Gi i oppdrag til Utdanningsdirektoratet å utrede hvordan etablerte systemer kan brukes metodisk i møte med endringer.
• Gi i oppdrag til Utdanningsdirektoratet å utrede en mekanisme som skal fange opp og møte kommende endringer som påvirker skolen

Regjeringen vil utvikle teknologiforståelse og digital kompetanse i Utdanningsdirektoratet. Det trengs, men vil ta tid. Forvaltningsmessige feilgrep bør bli gjenstand for offentlig debatt. Det er også et spørsmål om Utdanningsdirektoratet som historisk har vært en bremsekloss for FEIDE, digital kompetanse i Kunnskapsløftet 2004/LK06 – 2020 LK20 er rette organisasjon.

Protese

Fremtidens læringsanalyse vil bli videreutviklet med språkmodeller om GPT-4. «Læringsanalyse anvendes for å øke transparensen i læringsprosesser ved innsamling, analyse og rapportering om studenter og deres læringskontekster. Hensikten er altså å forstå mer av læringens black box og redesigne læringskontekstene på en måte som optimaliserer læringsforløpet på en mer tilpasset måte» (Krumsvig, 2023, s. 89). Vår skolemodell basert på eksamen og prøver vil bli endret. Læringsanalyse og KI kan bli en intellektuelle protese – en superdigital hjelper for elever, lærere, skoleledere og skoleeiere. Det forutsetter en helhetlig nasjonal satsing på læringsanalyse og KI.