Med en personlig skjerm er tilbakemelding et klikk unna for alle elever. Men er programvare som bruker kunstig intelligens, til hjelp for elevens læring og lærerens vurdering?

Vi kan slå det fast først som sist. Elevenes digitale enheter, enten de heter PC, iPad eller Chromebook, inneholder en rekke programmer som i stadig større grad registrerer og systematiserer hva eleven gjør, fortolker hvordan de tenker, analyserer hva de sier, og ikke minst hjelper til med å organisere hvilke filer og dokumenter de arbeider med. Derfor kan de brukes til å gi forslag som er tilpasset eleven. Gi litt hjelp, nesten på samme måte som en god lærer ville gjort.

Fenomenet er ikke nytt. For drøye fem år siden startet debatten om adaptiv læring. Adaptivitet (adaptiv læring) går ut på å tilpasse oppgaver til hver enkelt elev. Dette kan gjøres gjennom å bruke svar fra mange elever anonymt slik at programmet over tid lærer hva som er den beste veien gjennom lærestoffet for den enkelte.

I 2015 presenterte Aftenposten en artikkel som rapporterte om revolusjonerende forskningsfunn ved bruk av adaptiv læring. Noen år etter kan vi vel konstatere at det ikke ble et paradigmeskifte i pedagogikken: https://www.aftenposten.no/norge/i/qwVL/datasystemet-som-holder-elevene-i-flytsonen.

Kunstig intelligens er ikke mer magisk enn at dette er programmer som løser vanskelige oppgaver, som for eksempel å tilrettelegge studentoppgaver eller skreddersy tilbakemeldinger (). I motsetning til tradisjonelle dataprogrammer, som er møysommelig programmert av utviklere til å følge faste samhandlingsmønstre, så har disse programmene tilsynelatende en intelligent oppførsel basert på at man har fått disse programmene til å «trene» seg selv i å løse oppgaver. Dette har vist seg å være en svært effektiv måte å utvikle dataprogrammer på. Ved inngangen til 2020 har vi utviklet maskinlæring og kunstig intelligens på en slik måte at også elevens tale og skrift blir forstått og brukt i en rekke dataprogrammer. Norsk forskning og utdanning blir derfor i stadig større grad preget av debatten rundt og utviklingen av kunstig intelligens.

Se for eksempel satsingen Norwegian Artificial Intelligence Research Consortium: https://www.nora.ai/
Regjeringen lanserte i begynnelsen av 2020 Nasjonal strategi for kunstig intelligens. Den berører i hovedsak høyere utdanning og i liten grad grunnopplæringen: https://www.regjeringen.no/contentassets/1febbb b2c4fd4b7d92c67ddd353b6ae8/no/pdfs/ki-strategi.pdf
Selv på Stortingets talerstol blir alt som sies, både på bokmål og nynorsk, fra og med denne høsten transkribert – av et dataprogram som bygger på kunstig intelligens. Etter planen skal ny tale-til-tekst-teknologi muliggjøre at stortingsrepresentanter blir transkribert på nynorsk i tillegg til bokmål som i dag: https://framtida.no/2020/12/04/tale-til-nynorskrobot-kjem-i-lopet-av-2021

I denne artikkelen skal vi se på tre ulike områder der kunstig intelligens blir brukt i ulike programmer og læremidler som allerede er i bruk i skolen. De tre områdene er programmer for matematikk, språkfag og læringsanalyse generelt. For hvert av de tre områdene spør vi: Hva bygger teknologien på? Hva slags relevans har den for tilbakemeldinger og vurdering for læring? Og ikke minst, i hvilken grad er den realisert i dag? Til slutt vurderes noen ulemper og farer ved kunstig intelligens og læringsanalyse til bruk for læring og vurdering. Hensikten med artikkelen er å gi en oversikt over måter å bruke kunstig intelligens på slik at vi bedre kan forstå hvordan vi kan la digital teknologi møte menneskelig kognisjon på en god måte for vurdering og læring. Ikke fordi du kan bli overflødig som lærer, men fordi du ved riktig bruk av slike dataprogrammer kan bruke mer tid på det arbeidet som betyr mest for elevenes læring, og få hjelp til å vurdere elevenes kompetanse.

Forskningsprosjektet Multimodale lærings- og vurderingsformer i skolen (MuLVu) belyser hvordan lærere allerede i dag bruker ulike former for tilbakemelding i andre uttrykksformer enn skrift. For eksempel kan lærere gi muntlige kommentarer som lydfiler eller modellere og illustrere for eleven ved hjelp av korte videoer hvordan de skal løse en oppgave. Å avdekke og analysere denne vurderingskulturen legger grunnlaget for å utforske hvilke sider ved lærernes tilbakemelding som i større grad kan automatiseres, f.eks. i engelsk som andrespråk eller fremmedspråkene i ungdomsskolen og videregående skole.
Artikkelforfatteren ønsker å takke professor Morten Goodwin (UiA), professor Barbara Wasson (SLATE, UiB), førsteamanuensis Morten Bergsten Njå (UiS) og professor Lilja Øvrelid (UiO) for gode innspill og tilbakemeldinger på teksten. Alle fortolkninger av innspill og endelige formuleringer står for forfatterens regning alene.

Øve smart for å få stjerner i boka

Ethvert fag har sine muligheter, men også utfordringer, i møte med ny digital teknologi. For å kunne arbeide med et spesifikt fagområde må teknologien ha tilgang til informasjon og prosedyrer innenfor hvert enkelt område. Matematikk skiller seg ut fra en del andre fag fordi elevene blant annet må tilegne seg grunnleggende ferdigheter i regning gjennom mengdetrening. I hovedsak kan det være enklere å programmere et dataprogram for tilbakemelding på matematikkstykker enn å gi gode tilbakemeldinger på en elevtekst. Årsaken til dette er at matematikk kan beskrives i algoritmer forstått som en prosedural prosess, mens den konseptuelle er mer utfordrende å programmere. I matematikk regnes konseptuell kunnskap som elevenes forståelse av matematiske begreper og evne til å se sammenhenger, mens det prosedurale er knyttet til elevenes regneferdigheter. Et dataprogram kan både gi oppgaver og tilpasse disse til elevens arbeidstempo og nivå, og da særlig knyttet til de prosedurale prosessene i faget.

Helt siden 2013 har Gyldendal ved hjelp av det amerikanske firmaet Knewton utviklet et program (Multi Smart Øving) som gir tilbakemelding tilpasset hver enkelt elev imatematikk. Gjennom å analysere og finne elevenes kunnskapshuller kan programmet tilrettelegge slik at elevene arbeider med det de ikke mestrer. SLATE (The Centre for the Science of Learning & Technology) ved Universitetet i Bergen har evaluert hvordan lærere og elever opplever Multi Smart Øving i undervisningen. Den viste at mange lærere opplever at de bruker mindre tid både på planlegging og på retting. Samtidig opplever åtte av ti lærere at elevene blir motivert av belønningen programmet gir, selv om dette avtar noe med alderen til eleven og bruk. Lærerne legger også vekt på at programmet ikke kan erstatte samtaler og refleksjon om matematiske utregninger. Evalueringen viser at programmet bidrar lite til elevens konseptuelle forståelse, kun til prosedural øving tilpasset elevens nivå. Behovet for å skape undervisningssituasjoner med samtaler og refleksjon rundt forståelsen av matematikkens begreper og prosedyrer er på ingen måte blitt mindre med slike programmer ().

SLATE i Bergen har evaluert satsingen i prosjektet ALMAT (se konklusjon side 63ff ).: https://bora.uib.no/bora-xmlui/bitstream/ handle/1956/21354/ALMAT_Egelandsdal%20et%20al_2019. pdf?sequence=1&isAllowed=y
Matematikkprogrammet ble lansert for over fem år siden og har blitt videreutviklet i forbindelse med innføringen av fagfornyelsen.

Skreddersydde tilbakemeldinger på tekst

Språkfagene har i alle år vært preget av at eleven må lære mye grammatikk, og i engelsk som andrespråk og de ulike fremmedspråkene (tysk, fransk, spansk mfl.) har innlæring av gloser og setningskonstruksjoner vært mye av grunnlaget for at elevene skulle kunne klare å ta språket i bruk. Ulike oversettelsesteknologier, stemmegjenkjenning og ikke minst programvare som gir deg forslag til å fullføre ord og setninger, kan skape nye premisser for denne undervisningen.

I over 15 år har flere forskere ved Det utdanningsvitenskapelige fakultet (UiO) testet ut dataprogrammet EssayCritic som gjør bruk av kunstig intelligens og maskinlæring for arbeid i engelskfaget (). Kort fortalt er dette et dataprogram som du mater med det flere lærere anser som gode korte essay til en gitt oppgave, og det er basert på en «tagging» av oppgavene for å markere meningsfylte avsnitt og setninger blir programmet i stand til å etterlyse disse elementene i nye tekster som elevene legger inn i programmet. Slik blir programmet i stand til å gi tilbakemelding på en spesifikk tekst i en definert sjanger innenfor et bestemt skolefag. Tidligere studier har vist at elever med gode kunnskaper i engelsk gir like gode tilbakemeldinger til sine medelever som dette programmet (), mens utprøving i klasser med elever som trolig hadde lavere faglige kunnskaper i engelsk, viste at programmet ga bedre tilbakemeldinger enn medelevene.

EssayCritic er nå et avsluttet prosjekt ved Universitetet i Oslo: https:// www.uv.uio.no/iped/english/research/projects/essaycritic/index.html

1. november 2021 startet et helt nytt forskningsprosjekt som videreutvikler teknologien som ble brukt i EssayCritic. Prosjektet AI4Af L skal videreutvikle og prøve ut programmer som kan gi tilbakemeldinger tilpasset hver enkelt elev. Man legger vekt på at tilbakemeldingene skal være i tråd med prinsippene som brukes for vurdering for læring. Hensikten med prosjektet er å bidra til at elever utvikler sine tekster gjennom prosessorientert skriving. Felles for både EssayCritic, Multi Smart Øving og AI4Af L er imidlertid at programmene bygger på oppgaver som må programmeres manuelt, såkalte veiledede datasett, og metoden er både arbeidskrevende og dyr.

I nyere versjoner av Multi Smart Øving er det også lagt inn instruksjonsmateriale som tar utgangspunkt i programmets adaptivitet.
AI4Af L står for Artificial Intelligence for Assessment for Learning to Improve Learning and Teaching in 21st Century. Prosjektet er et samarbeidsprosjekt mellom Høgskolen i Østfold, Høgskolen i Volda, Halden kommune og den kommersielle aktøren Hypatia Learning. Du kan lese mer om prosjektet her: https://www.hiof.no/lusp/om/aktuelt/aktuelle-saker/2021/millionstotte-til-prosjekt-om-lering-med-kunstig-i.html

Skole, A.I. og læring

Apple, Google og Microsoft har gjort en enorm jobb med å tilrettelegge hverdagens teknologi ved hjelp av kunstig intelligens slik at de mest brukte programmene i skolen, som tekstbehandling og presentasjonsprogrammer, både gir forslag ved ordfeil og kan fullføre setninger. Det siste året har forskere fra UiO, skoleeier og lærere i Asker kommune arbeidet fram et forprosjekt som spør hvordan disse og andre programmer kan brukes for å både hjelpe elevene i deres organisering av skolehverdagen og øke deres motivasjon i arbeidet med ulike oppgaver. Prosjektets tittel er S.A.I.L., Skole, A.I. og læring. Gjennom møter, seminarer og presentasjon på NKUL-konferansen i mai i 2021 har lærere i Askerskolen sett på de mest brukte dataprogrammene i 1:1-klasserommet. Lærere som deltar i prosjektet, har blant annet ønsket å undersøke en bedre kobling av kalenderfunksjonen i Google opp mot elevens ukeplan og oppgaver som skal bli gjort, og tekstoppgaver og problemløsning i matematikk der temaene i oppgaven er valgt ut fra elevenes interesser. Et slikt perspektiv skiller seg fra prosjekter som har som formål å utvikle ny teknologi. Et annet prosjekt som også tar utgangspunkt i de programmene elevene bruker mest, er Speech Technology for Improved Literacy (STIL). I dette prosjektet har forskere ved Universitetet i Agder de to siste årene sett på ungdomsskoleelevers talestyrte skriving i skriveoppgaver over 10 uker. Vi står trolig overfor store endringer basert på at datamaskiner og program som Google Docs, Word og Teams har innebygget en tale-til-tekst-funksjon som fungerer på nærmere 200 ulike språk i verden.

I tillegg finnes det en rekke norske programmer som Lingdys, IntoWords osv. som har lignende funksjoner, og disse programmene er særlig utviklet for elever med språkvansker.
Se egen artikkel [Muligheter og begrensninger ved bruk av digital diktering i skolen] om prosjektet i dette nummeret av Bedre Skole.
Innlegget ble holdt som et omvendt konferanseinnlegg. Det betyr at de som deltok på konferansen, fikk se presentasjonen først, og deretter presenterte lærere fra Asker enkelte caser og inviterte til dialog. Du finner selve konferanseinnlegget her: https://www.youtube.com/ watch?v=UXs3ZfONRGs
Prosjektet er finansiert av UV-fakultets stimuleringsmidler til utvikling av søknader og prosjekter rettet mot tverrfaglighet og/eller innovasjon og praksisnær forskning.

STIL-prosjektet bygger som S.A.I.L. på allerede eksisterende digital teknologi som elevene har tilgang til i sine digitale enheter. Tale-til-tekst bygger på et stadig mer omfattende arbeid med veiledede datasett, eller strukturerte treningsdata, med norsk tekst. Dette har vært svært kostnadskrevende å utvikle på norsk, men mye av de ressursene som det er behov for i det videre utviklingsarbeidet, er nå samlet av Nasjonalbiblioteket i en egen språkbank. En slik språkbank gir utviklere mulighet til å lage nye dataprogrammer og trene dem på norsk språk med prinsipper som bygger på maskinlæring.

Et særlig interessant prosjekt for forståelsen av norsk språk er SANT-prosjektet. SANT er en forkortelse for Sentiment Analysis for Norwegian Text. Prosjektet arbeider med å merke et stort datamateriale med 35 000 forbruksanmeldelser og film-, teater- og musikkanmeldelser. Alle anmeldelsene er på norsk og tilgjengeliggjort gjennom Schibsted-konsernet. Felles for alle disse norske tekstene er at de både består av setninger med en spesifikk semantisk betydning og terningkast – det vil si en skala fra 1 til 6. Algoritmene som det arbeides med, blir lært opp til å forstå hva slags terningkast en tekst «genererer». I første omgang er prosjektet særlig viktig for mediebransjen som nå har skapt de to nasjonale sentrene NorwAI og Media Futures der forskere og Medie-Norge skal knytte sterkere bånd. Men på sikt bidrar prosjektet til at datamaskiner kan forstå en kobling mellom valørene i en tekst og en spesifikk karakter eller terningkast.
Språkbanken ved Nasjonalbiblioteket tilbyr store datasett med tekst og tale. Disse ressursene ligger åpent tilgjengelig slik at virksomheter, språkforskere og studenter kan bruke det til produktutvikling og forskning.: https://www.nb.no/sprakbanken/

Læremidler, digitale verktøy og læringsanalyse

Læringsanalyse innebærer blant annet å samle inn resultatet av interaksjonen mellom elev/student og programvare i det vi kan kalle digitale spor. Disse blir så analysert med den hensikt å få kunnskap om studentene eller å utføre intervensjoner i undervisningen. Læringsanalyse er bare mulig dersom elevene har lagt igjen slike digitale spor. Det kan være en tekst, et svar på en oppgave, et lydopptak eller data fra en pulsklokke. Alle aktører som er opptatt av å lage læremidler og digitale verktøy, arbeider med systemer for å ta vare på elevenes interaksjon med programvaren. Og det finnes i dag en rekke verktøy for lærere som vil kartlegge elevenes kompetanse i ulike fag og ikke minst de grunnleggende ferdighetene. Veldig forenklet kan vi si at det finnes tre aktører på dette området med litt ulike utgangspunkt. Forlagene og de tradisjonelle læremiddelprodusentene gir i økende grad elevene mulighet til å svare på oppgaver «inne i» selve læremiddelet. Ett eksempel på dette er det nevnte programmet Multi Smart Øving. Læreren, men også læremiddelprodusentene, får da tilgang til elevenes digitale spor, og disse kan (men vil ikke alltid) brukes til videreutvikling av programvaren. Et annet område er digitale verktøy som Teams, OneNote, Pages og Google Docs. Disse programmene har mulighet for å systematisere elevenes svar og gjøre disse tilgjengelige for lærerne på en systematisk måte. Denne teknologien er utviklet, men i liten grad tatt i bruk i skolen i dag.

En av utfordringene er at systemene i liten grad snakker sammen, og at det er private selskaper, med brukeravtaler og lisenser hos skoleeier, som i realiteten har mulighet til å bruke dataene. Flere skoleeiere, blant annet Bærum og Oslo kommune, representerer en tredje aktør som ønsker å skape et system for innkjøp og bruk av læremidler med læringsanalyse. De er opptatt av å få på plass fellesløsninger og få alle læremiddelleverandører til å forholde seg til samme standard slik at lærerne selv kan få tilgang til elevenes læringsspor og se dem i en større sammenheng. Målet med prosjektet Aktivitetsdata for vurdering og tilpassing (AVT) er å analysere data som elever legger igjen (tekster, svar på oppgaver, lydfiler, videoer osv.) på tvers av ulike læremidler som er produsert av ulike forlag og IT-selskaper. Dataene skal så brukes til å presentere resultater som kan fortelle hva enkeltelever eller klassen bør jobbe med og eventuelt hvilke tilgjengelige læremidler som anbefales.

Prosjektet startet sin første fase i 2017 og inngår i Datatilsynets såkalte regulatoriske sandkasse. Det er et sikkert testmiljø for ulike forskningsmiljøer som vil eksperimentere med nye teknologier og tjenester under oppfølging fra myndighetene. Selve prosjektet til KS finner du mer om her: https://www.ks.no/fagomrader/digitalisering/utviklingsprosjekter/ laringsanalyse-i-skolen/dette-er-laringsanalyse-i-skolen/

For å få dette til må data standardiseres og kobles sammen. Det er da nødvendig å ha en standard både for format (xAPI er en internasjonal standard for læringsdata) og for hvordan data kobles til den norske læreplanen. Det siste gjøres gjennom et såkalt fagkart som er knyttet til de nye læreplanene på Udirs nettsider. Disse læreplanene legges inn i en nasjonal database for fag. Denne heter Grep og gjør det mulig at en læremiddelprodusent kan knytte kompetansemål i et fag til en bestemt tekst, et kapittel eller en oppgave i et digitalt læremiddel.

Du kan lese mer om prosjektet på Utdanningsdirektoratets egen wiki om prosjektet. Her finner du også en rekke tekniske beskrivelser om hva den nasjonale databasen Grep er.: https://github.com/Utdanningsdirektoratet/KL06-LK20-public/wiki?title=Om_Grep

Leverandører kan dermed gjennom såkalt tagging av oppgaver satt opp mot fagkart-koder gjøre det mulig å bruke digitale spor fra elevenes arbeid til å analysere og visualisere slik at læreren, og elevene selv, kan se hva de jobbe mer med. Med et slikt system blir det likevel i stor grad lærerens oppgave å fortolke elevens kompetanse. Kunstig intelligens kan med andre ord på sikt føre til at vi endrer vårt syn på hva lærerens vurderingskompetanse skal bestå av ().

Det er en lang vei fra «adaptiv læring» og Smart Øving for fem år siden til et slikt helhetlig system som nå er under planlegging i AVT-prosjektet. Og ikke minst handler den nye utviklingen om å finne en betalingsmodell som både skoleeiere og leverandører kan bli enige om. Skal skolene kjøpe en lisens for ett år til en fast pris, eller skal de betale for faktisk bruk gjennom året? Og, kanskje mer prinsipielt viktig: Kan vi ivareta elevens personvern på en god måte med et slikt system som samler så mye data om elevenes aktiviteter? AVT-prosjektet har som mål å se på hvordan man best mulig ivaretar elevenes personvern i slike systemer, og kan slik bidra til vi på sikt får et lovverk som er tilrettelagt for etisk god bruk av læringsanalyse og mer tilpasset undervisning med bidrag fra kunstig intelligens.

AVT er et av fire prosjekter som var valgt ut til å delta i Datatilsynets regulatorisk sandkasse for KI: https://www.datatilsynet.no/regelverk-og-verktoy/sandkasse-for-kunstig-intelligens/

Så hva slags fremtid ønsker vi?

De siste to årene har en rekke forfattere tatt pulsen på de vanskelige og ubehagelige problemstillingene vi møter med maskinlæring og kunstig intelligens (). Vi blir advart mot en ny form for overvåkningskapitalisme (), og mange argumenterer derfor for at vi mennesker må sitte i førersetet og ha makten (; ; ). Det er to typer makt knyttet til fremtidsutopier, skriver Shoshana Zuboff når hun trekker fram George Orwells klassiker 1984 og Burrhus Fredric Skinners dystopiske roman Walden two.

Romanen 1984 viser fram en skruppelløs insistering på «totalt eierskap over hvert eneste menneskelige individ» (). Walden Two går lenger og beskriver et idealsamfunn som er bygget opp kun på behavioristiske prinsipper for læring og utvikling. Skinner, som vi jo kjenner godt for hans due- og rotteforsøk, beskrev gjennom hovedpersonen Burris i boken et verdensomspennende samfunn i harmoni mellom organismer. I et slikt samfunn har mennesket gitt fra seg sin frie vilje til vitenskapen og teknologien. Og i Zuboff sin beskrivelse av overvåkningskapitalismen er det nettopp et slikt samfunn hun frykter at vi kan være på vei mot. Et samfunn der de behavioristiske prinsippene for læring og utvikling ligger til grunn for all menneskelig interaksjon og samhandling. I vårt samfunn er «den andre» i hovedsak fremdeles et menneske, men det har kommet en tredje aktør inn. Kunstig intelligens. Maskinenes evne til å tilpasse kommunikasjonen mellom oss, men også kommunikasjonen med oss.

I skolen har disse tre, eleven, læreren og datamaskinen, vært en viktig triade som er studert både gjennom videodata og observasjon innenfor blant annet forskningsfeltet Computer Supported Collaborative Learning (CSCL). Det er viktig å ha forskning som gjør oss i stand til å forstå den sosiale samhandlingen som ligger i tilbakemeldinger fra medelever og lærere. Datamaskiner og nettbrett kan nå i tillegg bli elevens lille hjelper som bidrar til bedre tilpasset opplæring, større lærelyst og mestring i tråd med fagfornyelsens prinsipper. Digital teknologi vil dessuten kunne overta en del av lærerens rettearbeid. Utfordringene er hva dette vil gjøre med oss som lærende individer. En overdrevet bruk av teknologi uten undring, refleksjon og dialog mellom mennesker kan på sikt skape en skole som riktignok gir oss mye data om hva elevene lærer, men mindre forståelse av hvordan læring og identitetsutvikling hele tiden spiller sammen.

Vi har behov for en grundig refleksjon og debatt om hvordan vi ønsker å bruke digital teknologi med kunstig intelligens i skolen. Derfor blir det interessant å følge med på hva ekspertgruppen for bruk av læringsanalyse i grunnopplæringen, høyere yrkesutdanning og høyere utdanning kommer fram til. Deres mandat er blant annet å gi et bedre pedagogisk og etisk grunnlag for beslutninger om digital læringsanalyse og adaptive læremidler. Ekspertgruppen skal blant annet vurdere om og hvordan digital læringsanalyse påvirker lærernes profesjonelle rolle. Arbeidet til gruppen viser at det er behov for «regulering og innspill til politikkutvikling og tiltak fra Kunnskapsdepartementet og underliggende etater». Og det er på høy tid at det blir gjort!

Oppdraget er skissert i mandatet: https://www.regjeringen.no/cont entassets/9e30a59278904013b2acfa01c509c7d7/mandat-ekspertgruppe-digital-laringsanalyse.pdf
Ekspertgruppen ble utnevnt 10. september 2021 med professor Marte Blikstad-Balas ved ILS, UiO som leder. Gruppen skal levere sin første delrapport 1. juni 2022. Den skal omhandle grunnleggende etiske og pedagogiske vurderinger om muligheter, fordeler og risiko med digital læringsanalyse. Sluttrapporten kommer 1. juni 2023

Litteraturhenvisninger

Fjørtoft, H. & Sandvik, L.V. (red.) (2016). Vurderingskompetanse i skolen. Praksis, læring og utvikling. Universitetsforlaget.

Goodwin, M. (2020). AI – myten om maskinene. Humanist forlag.

Hareide, D. (2020). Mennesket og teknomaktene – hva gjør de nye teknologiene med oss? Aschehoug.

Kynigos, C. (2019). Adaptive Learning in Mathematics: Situating Multi Smart Øving in the Landscape of Digital Technologies for Mathematics Education. SLATE Research Report 2019-3, Bergen: Centre for the Science of Learning & Technology (SLATE).

Lindgren, L. (2021). Ekko – et essay om algoritmer og begjær. Gyldendal.

Mørch, A. & Engeness, I. (2015). Læremidler og arbeidsformer i prosessorientert skriving. Delrapport no. 8, ARK & APP. Universitetet i Oslo.

Mørch, A.I., Engeness, I., Cheng, V.C., Cheung, W.K. & Wong, K.C. (2017). EssayCritic: Writing to Learn with a Knowledge-Based Design Critiquing System. Educational Technology & Society, 20 (2), 216–226.

Nagell, H. (2020). Digital revolusjon – Hvordan ta makten og friheten tilbake. Res Publica.

Orwell, G. (2017). 1984. Gyldendal.

Skinner, B.F. (2018). Walden to. Arneberg forlag.

Stenvik, B. (2020). Det store spillet – Hvordan overleve i algoritmens tidsalder. Cappelen Damm.

Zuboff, S. (2020). Overvåkningens tidsalder – kampen for en menneskelig framtid ved maktens frontlinje. Spartacus.