Effektstudier i utdanning: Fem forskningsfeller

Effektstudier i utdanning: Fem forskningsfeller

1.Mangler klar teori om årsak/virkning

Mange intervensjonsstudier innenfor utdanning mangler en klar, spesifikk og veltestet teori om årsak virkning. Et eksempel på det er arbeidsminnetrening. Teorien bak dette er at arbeidsminne ligger til grunn for og påvirker for eksempel problemløsning, matematikklæring og leseforståelse. Dersom man trener arbeidsminne vil det på grunn av hjernens plastisitet ha effekt på læring innenfor disse områdene.

Denne teorien var imidlertid i liten grad testet for man satte i gang effektstudiene ute i skolen. Undersøkelser tyder faktisk heller på at årsakssetningen mest sannsynlig går motsatt vei (altså at generelle evner og språk påvirker arbeidsminne). Derfor, ikke overraskende viser en viser en rekke undersøkelser at arbeidsminnetrening, har liten effekt på læring (se bloggpost her).

Det vi kan lære av dette, er at før man setter i gang med store felteksperimenter ute i skole og barnehage bør man ha en veltestet teori om hvorfor og på hva tiltaket faktisk skal ha effekt.

2. Mangler ved forskningsdesign

Effektstudier er kanskje det begrepet som det er flest misforståelser rundt i utdanningsforskning. Noen ser ut til å betegne nærmest all kvantitativ forskning i utdanning som effektstudier. Strengt tatt er det bare undersøkelser hvor alle forskjeller mellom tiltaksgruppen og sammenligningsgruppen er tilfeldige, som kan si noe om effekt, se bloggpost om dette her.

En rekke undersøkelser viser at dersom man undersøker effekten av et tiltak uten å trekke lodd om hvem som skal få tiltaket og hvem som skal være i sammenligningsgruppen, vil tiltaket ofte se mer effektivt ut enn det egentlig er. Slike feilvurderinger er spesielt vanlige dersom man ikke har en sammenligningsgruppe.

En annen vanlig mangel ved forskningsdesign er at man ikke passer godt nok på hvordan tiltaket gjennomføres og følges opp. Det kan for eksempel være at noen barn ikke får hele tiltaket, at sesjoner droppes og så videre. En ganske vanlig kritikk mot randomiserte kontrollerte undersøkelser er at de har liten verdi, fordi at selv om noe er effektivt på en skole betyr det ikke at det er effektivt på en annen. Vi ser imidlertid at funnene fra randomiserte kontrollerte studier er ganske robuste på tvers av skoler og barnehager. Det forutsetter imidlertid at tiltaket blir gjort på den måten det var tenkt og i samme omfang. Kort sagt, ønsker man effekt kan man ikke til stadighet droppe tiltaket på grunn av sykdom eller andre uforutsette hendelser, men ta høyde for at slike ting skjer.

3. Mangler overføringseffekter

Effekten av tiltak er ofte spesifikk, kort sagt blir man bedre på det man øver på. Mange ganger er det helt greit, for eksempel hvis man har et tiltak for at elevene skal bli bedre i algebra. Ofte er det imidlertid slik at man ved tiltak innenfor utdanning gjerne arbeider med ganske spesifikke ting som man ønsker skal overføres til mer generelle ting. Det kan være for eksempel fra arbeid med språklyder og teknisk lesing til leseforståelse eller fra økt fysisk aktivitet til bedre læring i teoretiske fag. Noen ganger ønsker vi overføringseffekter på ting som er svært langt unna det opprinnelige tiltaket både i tid og karakteristika. Et eksempel på det er fra arbeid med språkstimulering i barnehage via bedre leseforståelse i skolen til for eksempel mindre frafall fra skolen og kanskje bedre helse i voksen alder.

Når man leser artikler som har studert effekten av tiltak i skoler og barnehage er det mange som kan vise til spesifikke effekter på en eller annen avgrenset ferdighet. Det er imidlertid langt sjeldnere at undersøkelser kan vise til at effektene er generalisert til ting som egentlig har betydning for et barns liv eller læring. Å få slike overføringseffekter er komplisert og krever stor innsats over lang tid. Desto lenger unna det man ønsker effekt på er det opprinnelige tiltaket, desto vanskeligere er det å få det til. Studier som har fått slike generaliseringseffekter er viktige fordi de gir oss kunnskap om dette faktisk er mulig å få til.

4. Mangler langtidseffekter

Svært mange tiltak innenfor utdanning publiserer resultater som viser at tiltaket har effekt umiddelbart etter at det er avsluttet, men har ingen informasjon om hva som skjer videre. Det er kanskje fordi at å få langtidseffekter uten vedvarende innsats er vanskelig. Dersom man fjerner tiltaket, ser vi ofte at effekten reduseres. Ofte er det behov for mindre, jevnlige oppfriskninger av tiltaket for at effekten skal vare.

5. Mangler i forskningspublisering

Det er velkjent at det ofte er enklere å få publisert undersøkelser som viser positive resultater. Denne skjevheten gjelder de fleste fagfelt, selv om dessverre tidsskrifter innenfor utdanning har viet dette problemet mindre oppmerksomhet enn det fortjener (som jeg har blogget om her). Det betyr at effekten av tiltak ofte overvurderes, fordi vi bare har informasjon om de gangene tiltaket hadde best effekt (eller effekt i det hele tatt). Dette er det viktig å være klar over når man vurderer effekten av ulike tiltak også innenfor utdanning. De senere årene har imidlertid en del tidsskrifter satt i gang en rekke tiltak som blant annet preregistrering av undersøkelser for å bøte på dette problemet, og vi kan derfor håpe at det blir mindre fremover.

For å få pålitelig kunnskap om effekten av tiltak i barnehage og skole bør alle disse fem faktorene adresseres. Dessverre finnes det bare en håndfull undersøkelser i Norge som faktisk har gjort det. Det finnes heller ikke systemer for å oppskalere og spre de tiltakene vi vet fra randomiserte kontrollerte undersøkelser faktisk er effektive. Det er nok også en for stor optimisme knyttet til hva som skal til for å få effekt av et tiltak. Å få varige effekter og overføringseffekter krever målrettet innsats av en viss mengde over tid og jevnlig oppfrisking av tiltaket.