Frafall i videregående opplæring - Kunnskapssenterets systematiske kunnskapsoversikt

Arbeidet med denne systematiske kunnskapsoversikten (Lillejord m. fl., 2015) har, slik oppdragsbrevet av 8. desember 2014 forutsetter (se vedlegg 1), tatt utgangspunkt i Campbell Systematic Review 2011:8 Dropout Prevention and Intervention Programs: Effects on School Completion and Dropout Among School-Aged Children and Youth. Basert på søkestrategien i denne kunnskapsoversikten har kunnskapssenteret gjennomført søk i forskningslitteraturen etter 2010 ⁹². Campbells rapport (Wilson m. fl., 2011) har ikke et eksplisitt formulert forskningsspørsmål, men basert på målene (objectives) blir følgende problemstilling formulert for Campbells systematiske kunnskapsoversikt:

Hvilke programmer/intervensjoner/tiltak har dokumentert effekt på gjennomføring og frafall?

Basert på oppdragsbrevet er følgende problemstilling formulert for kunnskapssenterets kunnskapsoversikt:

Hvilke tiltak eller programmer forebygger frafall i videregående opplæring, eller tilbakefører ungdom utenfor opplæring og arbeid og hvordan beskrives disse tiltakene i forskningslitteraturen?

Gitt oppdragets korte tidshorisont, valgte Kunnskapssenter for utdanning å lage en ”kort kunnskapsoversikt”, rapid evidence assessment, også kalt quick review. De siste årene har andre kunnskapssentre publisert erfaringer de har gjort seg med korte kunnskapsoversikter. Det omtales som et format som særlig egner seg for politikkutforming ⁹³ (Thomas m.fl., 2013) . I arbeidet med denne rapporten har vi bygd på disse publikasjonene. I tillegg har vi hentet erfaringer fra EPPI-senterets anbefalinger for utforming av systematiske kunnskapsoversikter som bygger på både kvantitativ og kvalitativ metode og særlig egner seg til å informere politikkutformere og praksisfeltet.

Prosess og forankring

Kunnskapsoversikten skal brukes i program for bedre gjennomføring i videregående opplæring ⁹⁴, som er en av regjeringens hovedsatsinger for bedre gjennomføring i videregående opplæring. Et mål med programmet er at fylkene og skolene skal jobbe mer kunnskapsbasert med tiltak for å bedre gjennomføringen. Det tas blant annet sikte på å prøve ut et knippe tiltak på utvalgte skoler som den forskningsbaserte og erfaringsbaserte kunnskapen gir grunn til å tro kan være effektive. Kunnskapsoversikten er første steg i identifiseringen av slike mulige effektive tiltak.

Følgende møter er avholdt mellom kunnskapsdepartementet og kunnskapssenter for utdanning:

• Møte 3. Februar 2015 med status og gjennomgang av prosjektet:
  • gjennomgang av søk med Campbells søkestreng.
  • presentasjon av forskergruppen.
  • gjennomgang av inklusjons/eksklusjonskriterier.
  • resultatet av evalueringen av potensielt relevante studier i kunnskapssenteret og i forskergruppen.
  • presentasjon av tidsplan for gjennomføring av prosjektet.
• Møte 18.-19. Februar 2015. Kunnskapsdepartementet deltok på andre samling med forskergruppen.
• Møte 25. Mars 2015, med status og gjennomgang av prosjektet. Særlig om problemer med Wilson m.fl. (2011) og søk i REPEC-databasen.

Kunnskapsdepartementet har også gitt kommentarer på utkast til rapport.

Hva er en systematisk kunnskapsoversikt?

Hensikten med å lage en systematisk kunnskapsoversikt er å gi en kunnskapsstatus på et tema som skal belyses så grundig som mulig. Arbeidet med en systematisk kunnskapsoversikt begynner derfor med å identifisere forskning som er publisert om temaet. Et ideal for systematiske kunnskapsoversikter er at de skal være transparente, det vil si at de gjennomføres etter klare etterprøvbare prinsipper og prosedyrer. De bygger på en metode som beskriver hvordan de gjennomføres og viser hvordan konklusjoner blir nådd.

At de er systematiske innebærer at de inneholder det antall relevante studier som trengs for å kunne besvare spørsmålet kunnskapsoversikten skal besvare, at utvalget av relevante studier skjer gjennom en åpen prosess, at studienes reliabilitet blir vurdert og at kvalitetsvurderingsmekanismer for å inkludere og ekskludere studier er bygd inn i prosessen (Chalmers m. fl., 2002 ⁹⁵; Gough m. fl., 2012 ⁹⁶). For å klare dette, må det legges ned mye arbeid i å utvikle gode søkestrenger som gjør det mulig å finne forskning på temaet i anerkjente databaser. En systematisk kunnskapsoversikt undersøker og innhenter ikke empiri om et saksfelt slik grunnforskning gjør. I en systematisk kunnskapsoversikt er det de inkluderte artiklene som utgjør det empiriske grunnlaget, og kvaliteten på oversikten avhenger av kvaliteten på de arbeidene som blir identifisert og inkludert.

Normalt tar det lang tid, gjerne inntil ett år, å lage en dekkende oversikt over forskning på et tema og presentere denne på en måte som tilfredsstiller kriteriene for systematiske kunnskapsoversikter. For de som skal utforme politikk eller andre som trenger kunnskap om et tema raskere, er det i det siste utviklet kortere formater som for eksempel ”brief review” (Abrami m. fl., 2010) ⁹⁷ eller ”rapid evidence assessment” (REA) (Khangura m. fl., 2012) ⁹⁸. I tillegg til at den teknologiske utviklingen forenkler søkeprosedyrer og at ”mining”-funksjoner i tekst gjør det enklere å lage slike kortformat, foregår det en vedvarende metodeutvikling av systematiske kunnskapsoversikter med sikte på å gjøre resultater og innsikter fra forskning lettere tilgjengelig for de som skal bruke kunnskapen.

Politikkutformere vil ikke bare ha svar på hva som ser ut til å virke, men også på spørsmål som ”hva er mulig”, ”hva kan fungere”, ”hva trengs” samt hvorfor den ene løsningen ser ut til å være bedre enn den andre.

Arbeidet med en kort kunnskapsoversikt følger de samme prosedyrene som for en fullstendig kunnskapsoversikt, og egner seg godt i de tilfellene da det er grupper av forskere som skal samarbeide om en rapport (Pope m. fl., 2000) ⁹⁹. En kort systematisk kunnskapsoversikt kan beskrives som et kompromiss mellom de strenge kvalitetskravene som stilles til en systematisk kunnskapsoversikt og policy-nivåets behov for å få forskningskunnskapen så hurtig som mulig. Søkene er systematiske, det er åpenhet om hvilke studier som inkluderes og ekskluderes (og etter hvilke kriterier), de inkluderte studienes reliabilitet blir vurdert, og det bygges mekanismer for kvalitetsvurdering (validering) inn i reviewprosessen. Et problem som trekkes frem ved korte kunnskapsoversikter er at forankring kan bli vanskelig når arbeidet skal gjøres så raskt. Når tiden er kort og mange aktører skal inn i arbeidet kan bred forankring bidra til å gjøre fokus uklart (Thomas m. fl., 2013, s.15).

Søkestrategi

Kunnskapssenteret har brukt samme søkestreng som Wilson m. fl. (2011) i sitt systematiske litteratursøk (vedlegg 2). Denne søkestrengen er innrettet mot å identifisere programmer, intervensjoner og tiltak som har dokumentert effekt på elevenes gjennomføring av videregående opplæring. Det viser seg at denne typen effektstudier i svært begrenset grad inneholder detaljerte beskrivelser av tiltakene. Dette gjelder også- og kanskje i enda større grad – systematiske kunnskapsoversikter. De er stort sett innrettet mot å dokumentere kvaliteten på forskningen som er gjennomgått og funn i denne forskningen. Beskrivelser av tiltak i Wilson m. fl. (2011) inneholder informasjon om type tiltak og hvem tiltaket er rettet mot, men gir ikke detaljerte oppskrifter på gjennomføring og implementering.

Hensikten med å søke bredt, er å identifisere så mye som mulig av forskningslitteraturen som tilfredsstiller inklusjonskriteriene. Brede søk skal også sikre at kunnskapsoversikten reflekterer kunnskapsstatus på feltet. I dette tilfellet skulle kunnskapssenter for utdanning både inkludere studier med dokumentert effekt på frafall eller gjennomføring og finne studier som kunne beskrive intervensjoner, tiltak og programmer som har påvist effekt.

Kunnskapssenterets systematiske kunnskapsoversikt baserer seg, som oppdragsbrevet ba om, på søk i elektroniske databaser med søkestrengen fra Campbell Systematic Review 2011:8 Dropout Prevention and Intervention Programs: Effects on School Completion and Dropout Among School-Aged Children and Youth. Søkestrengen er gjengitt i vedlegg 2 i rapporten. I tillegg ble det gjort håndsøk i utvalgte tidsskrifter og databaser.

For å finne den litteraturen det er relevant å inkludere i denne kunnskapsoversikten, er det gjennomført søk i følgende kilder:

• Søk i 7 elektroniske standard-databaser (blant annet ERIC, ASSIA og IBSS) med søkestreng fra Wilson m. fl. (2011).
• Håndsøk i utvalgte tidsskrifter som en utvidelse av søket med søkestreng fra Wilson m. fl. (2011)
• Utvidet søk etter økonomilitteratur, se 3.6 og vedlegg 3 (Effektstudier av tiltak mot videregående frafall: Verdt et (systematisk) forsøk!).

De systematiske søkene som kunnskapssenter for utdanning gjennomførte i 7 standard-databaser, med Campbells søkestreng samt håndsøk, identifiserte 3199 studier som ble behandlet etter vanlige prosedyrer i systematiske kunnskapsoversikter, slik diagrammet i 3.5 (figur 1, resultat av screening) viser. Håndsøkene er knyttet til søket med søkestrengen fra Wilson m. fl. (2011) og er utført for å identifisere nylig publiserte studier som ennå ikke er lagt inn i databasene. Utvidet søk i REPEC-databasen ble utført med en egen søkestreng som er forskjellig fra søkestrengen fra Wilson m. fl. (2011), og resultatene presenteres i vedlegg 3.

Grålitteratur er inkludert i søkene.

Vedlegg 4 i rapporten viser en fullstendig oversikt over de søkekildene som er benyttet i arbeidet med denne kunnskapsoversikten.

Inklusjons- og eksklusjonskriteriene – Avgrensing og innramming

En viktig del av arbeidet med en kunnskapsoversikt er å ramme inn problemstillingen. Hvordan problemstillingen er formulert og hva slags resultat man skal oppnå avgjør fremgangsmåte og hvilken populasjon (utvalg) man skal avgrense søkene til. Basert på søkestrategien har kunnskapssenteret gjennomført søk i forskningslitteraturen. Det har vært søkt etter studier med et statistisk mål på hvor effektive tiltakene/programmene har vært, dvs. At de må være eksperimentelle (RCT eller kvasi-eksperimentelle) studier, eventuelt studier med matching eller andre statistiske kontroller som estimerer effektstørrelser av tiltak.

Søk i forskningsdatabaser resulterer alltid i et stort antall irrelevante og mindre relevante studier. Det er derfor nødvendig å spesifisere kriterier for å avgjøre hvilke studier som skal inkluderes i den systematiske kunnskapsoversikten. Disse kriteriene benyttes i flere screeningprosesser for å ekskludere irrelevante referanser som har kommet med i det systematiske søket (hvordan kriteriene inngår i screeningprosessene forklares i 3.5). Kriteriene i denne kunnskapsoversikten er definert i samsvar med Wilson m.fl. (2011, s. 4-5). Se kriteriene i tabell 2 nedenfor.

Referansehåndtering

For å håndtere en så stor datamengde som flere tusen studier representerer, har kunnskapssenter for utdanning benyttet programvaren EPPI-reviewer 4, som er spesielt utviklet for å lage systematiske kunnskapsoversikter og syntetisere forskningen. Alle referansene (til sammen 3.199) ble importert til
EPPI-reviewer 4 programvare (er4). EPPI-reviewer 4 er utviklet av EPPI-senteret ved university college london.

Når alle referanser er importert i programvaren, starter arbeidet med å screene studiene fra litteratursøkene for å bedømme om de skal inkluderes i eller ekskluderes fra kunnskapsoversikten. Figur 1 beskriver prosessen med screening av referansene i denne systematiske kunnskapsoversikten. Screeningsprosessen foregikk i to trinn. På det første trinnet screenes studiene på tittel og sammendrag. På dette trinnet ble studiene screenet i flere omganger etter kriteriene: 1 intervensjonstype, 2 deltakere, 3 forskningsdesign, 4 utfallsvariabel og 5 tilgjengelighet/ språk. I det andre trinnet screenes de gjenstående studiene i fulltekst. På dette trinnet ble de også screenet etter kriterium 6 beslutningstaking.

Tabell 2: inklusjons- og eksklusjonskriterier

	Kriterium	Utdyping
1	Intervensjonstype	Studiene skal omfatte tiltak for redusert frafall eller økt gjennomføring i opplæring, i skole eller skolerelatert.
2	Deltakere	Studiene skal inkludere tiltak rettet mot elever i videregående opplæring eller ungdomsskolen
3	Forskningsdesign	Studiene må ha et statistisk mål på hvor effektive intervensjonene og tiltakene har vært, dvs. At det må være eksperimentelle (RCT eller kvasieksperimentelle studier), eventuelt studier med matching eller andre statistiske kontroller. Studiene må omfatte flere enn 40 deltagere i hver gruppe (effektstørrelser fra små studier kan være upålitelige. Større studier sikrer mer robuste effektmål).
4	Utfallsvariabel	Studiene må ha en utfallsvariabel som direkte eller indirekte representerer gjennomføring eller frafall, eventuelt kan søket også inkludere studier av tiltak for å forbedre forhold som har betydning for sannsynligheten for å fullføre, men som ikke har frafall eller nært relaterte utfall som formål (eksempler kan være bedre faglige ferdigheter, ikke-kognitive ferdigheter og psykisk helse).
5	Tilgjengelighet/ språk	Studiene må være tilgjengelige, enten elektronisk eller i andre formater innenfor prosjektets tidsramme (dette kriteriet er særlig relevant for doktorgradsavhandlinger). Studiene må være tilgjengelig på engelsk, norsk, svensk eller dansk.
6	Beslutningstaking	Studier som er potensielt relevante vurderes av forskere. Dersom det er tvil om studier skal inkluderes eller ekskulderes etter vurdering i fulltekst, tas avgjørelse i forskersgruppen.

Trinn 1, screening basert på gjennomgang av tittel og sammendrag

På første trinn av screeningen ble det ekskludert 2.924 studier basert på gjennomgang av tittel og sammendrag. Det ble identifisert 275 studier med mulig relevans for kunnskapsoversiktens brede problemstilling (kriteriene 1, 2 og 4). Disse studiene ble sortert i to kategorier (kriterium 3): effektstudier med mulig relevans (115 studier), og kontekstreferanser, dvs. Studier som ikke måler effekt (160 studier). Kategorien kontekstreferanser omfatter studier med relevans for frafall. Det vil si at de omhandler bl.a. Indikatorer og tiltak rettet mot frafall, men disse studiene har ikke målt effekt av tiltak eller intervensjoner.

De 115 studiene med mulig relevans for kunnskapsoversikten ble vurdert etter relevanskriteriene av tre forskere. Resultatet av vurderingene ble gjennomgått i et møte med alle ansatte på kunnskapssenter for utdanning. I de tilfellene det var enighet blant forskerne, ble studier enten ekskludert fra eller inkludert i den videre prosessen. I de tilfellene det var uenighet mellom forskerne, eller tvil om enkelte studier, ble fulltekst innhentet for senere vurdering.

Vurderingen som var gjort av de 115 studiene og prosedyrene som var fulgt ble gjennomgått og forklart i plenum på første møte med forskergruppen 20.-21. januar 2015 (kriterium 6)¹⁰⁰. Forskere hadde tilgang til alle de 115 studiene i fulltekst. Resultatet av gjennomgangen på denne samlingen var at 38 studier ble inkludert for videre arbeid med kunnskapsoversikten.

Trinn 2, screening basert på gjennomgang av studiene i fulltekst

På det andre trinnet av screeningen leses artikler, avhandlinger og rapporter i fulltekst for å identifisere de arbeidene som har størst relevans og som mest sannsynlig vil kunne svare på kunnskapsoversiktens problemstilling. Fulltekst av alle studier med mulig relevans (38) ble sendt til medlemmene i forskergruppen. Når studier blir lest i fulltekst, viser det seg av og til at sammendraget ikke har gitt fullgod informasjon om innhold. Noen av studiene svarer heller ikke til de kvalitetskriteriene forskergruppen har satt. Det kan også være manglende eller dårlig samsvar mellom forskningsspørsmål, metode og funn, uklar beskrivelse av datainnsamling, metode og analyse av data (kriteriene 1 til 4). I andre sammenhenger kan det være dårlig konsistens mellom det studien innledningsvis tar mål av seg til å gjøre og det som faktisk blir gjort (kriterium 6).

På trinn 2 ble forskerne i tillegg bedt om å identifisere studier med potensiell relevans for tiltak i en norsk sammenheng. Det må presiseres at relevans for politikkutforming og praksis i en norsk sammenheng er et kriterium som brukes til å vekte studier i denne kunnskapsoversikten. Det er altså ikke et inkluderings- eller ekskluderingskriterium ¹⁰¹.

Tabell 3 viser et eksempel på skjemaet som ble benyttet av forskerne ved vurdering av fulltekst. I vedlegg 5 presenteres en oversikt over hvordan medlemmer av forskergruppen har screenet samtlige inkluderte studier basert på gjennomgang av fulltekst.

Etter screening basert på gjennomgang av fulltekst ble 12 studier ekskludert på kvalitet og relevans for kunnskapsoversikten etter kriteriene beskrevet over.

Tabell 3. Eksempel på skjema for vurdering av studier i fulltekst

Lest av	Studie	Kvalitet	Relevans for kunnskapsoversikten	Relevans for politikkutforming og praksis	Eksludert på fulltekst
Forsker I	Artikler
	Mac Iver, 2011	Høy	Middels	Middels
	Mac Iver & Messel, 2013	Høy	Middels	Middels
	Porowski & Passa, 2011	Høy	Høy	Høy
	Ang. m.fl., 2013	Middels	Lav	Lav	x
	Doktorgradsavhandlinger
	Thornsberry, 2010	Lav	Lav	Lav	x
	Curry, 2013	Lav	Lav	Lav	x
	Presidio, 2010	Middels	Høy	Høy

Etter samlingen med forskergruppen 19.-20. mars 2015 gjenstod til sammen 26 studier, fordelt på kategoriene: Artikler (17), doktorgradsavhandlinger (5) og rapporter (4). Figur 2 (under) viser fordelingen av de 26 inkluderte studiene på kvalitet (vurdert etter kriterium 3) og relevans for kunnskapsoversikten (vurdert etter kriteriene 1, 2 og 4). Nitten studier ble vurdert til å være av høy kvalitet, og 6 ble vurdert til å være av middels kvalitet. Fjorten studier ble vurdert å ha høy relevans for kunnskapsoversikten, og 11 ble vurdert å ha middels relevans. En avhandling (Barba, 2012) ble vurdert til å ha lav kvalitet og lav relevans for kunnskapsoversikten, men inneholder beskrivelse av et tiltak som har påvist effekt av en studie med høyere kvalitet (Edmunds, m.fl., 2012).

Kartlegging, ”mapping”

Mapping innebærer å kartlegge og kategorisere de inkluderte studiene (Gough m. fl., 2012). Å kartlegge litteraturen er første del i syntesearbeidet hvor hensikten er å sikre seg at kunnskapsoversikten konsentrerer seg om de områdene som er relevante for de som skal bruke funnene fra forskningen. Kartleggingen benytter de ovennevnte kriteriene og gjennomføres på fulltekst. Kunnskapssenter for utdanning har kartlagt de 26 inkluderte studiene på kvalitet og relevans, både for kunnskapsoversikten og for politikkutforming og praksisfeltet (vedlegg 6).

Kartleggingen på kvalitet er gjort etter fem metodekategorier. Disse er randomiserte kontrollerte forsøk, kvasieksperimentelle design og bruk av registerdata. I tillegg ble det skilt mellom systematiske kunnskapsoversikter og litteraturgjennomganger. Kartleggingen viste at ni studier bruker registerdata, det er inkludert fire systematiske kunnskapsoversikter og fire litteraturgjennomganger, seks studier som bruker kvasieksperimentelle design og tre randomiserte kontrollerte forsøk.

For hver av disse metodekategoriene ble det innført en standard for vurdering etter skalaen høy, middels og lav. For eksempel tilsier høy kvalitet under metodekategorien randomiserte kontrollerte forsøk at studien omfatter et stort utvalg av elever, og at det er samsvar mellom elevene i tiltaksgruppen og kontrollgruppen.

Utvidet søk

Oppdragsbrevet fra KD åpner for å utvide søket om tid og ressurser tillater det, og dette underkapittelet omhandler utvidede søk etter økonomilitteratur. De systematiske søkene som kunnskapssenter for utdanning gjennomførte i 7 databaser, med Campbells søkestreng samt håndsøk, identifiserte 3199 studier som ble behandlet etter vanlige prosedyrer i systematiske kunnskapsoversikter, slik diagrammet i kapittel 3.5 (figur 1, resultat av screening) viser. På samlingen 18.-19. Februar ga økonomene i forskergruppen uttrykk for at søkestrengen ikke hadde fanget opp sentrale studier publisert av økonomer, samt at det var åpenbare problemer med enkelte av studiene som var fanget opp. ¹⁰²

Tre problemer ble drøftet. De to første er knyttet til trekk ved økonomi som fagfelt, og det siste til tolkningen av eksklusjonskriteriene. For det første kan databasene som det ble søkt i ha begrenset dekning av økonomilitteratur, men et større problem er manglende dekning av upubliserte arbeider (working papers). Working papers (foreløpige, men oftest gjennomarbeidede versjoner av studier) siteres i stor grad og kan sirkulere i flere år før evt. publisering i tidsskrift.

De systematiske søkene fanger ikke opp disse, og derfor manglet mye grålitteratur fra økonomi. Et relatert problem gjelder at Campbells søkestreng muligens ikke er tilpasset økonomidatabaser for grålitteratur. Særlig når det gjelder omtale av metode er økonomers språkbruk annerledes enn den som ligger til grunn for søkestrengen i det systematiske søket, f.eks. Vil det ofte være underforstått at det er snakk om estimater av kausale effekter, og fokus i sammendrag og tittel vil ofte være på metodisk bidrag framfor tiltaket som studeres. Til slutt var det reist en metodisk diskusjon om hvordan andre variabler påvirker utfallet, og hvordan og i hvilken grad indirekte årsak-virkningsrelasjoner skal vektes som relevant for utfallsvariabelen frafall.

Det ble besluttet å gjøre søk i databaser som dekker working papers, i tillegg fant forskerne totalt sju enkeltstudier og (usystematiske) litteraturgjennomganger som utgangspunkt for å utvikle en ny søkestreng tilpasset økomomidatabasene. En stor bibliografisk database for økonomiforskning er REPEC, som omfatter flere enn 1,7 millioner referanser. Det ble søkt særskilt i REPEC-databasen vha. IDEAS (ideas.repec.org) for å fange opp potensielt relevante studier publisert etter 2010. På grunn av forskjeller i grensesnitt og terminologi, begrenset tid og kapasitet samt manglende integrasjon mellom IDEAS og ER4 ble det forholdsvis raskt besluttet å ikke inkludere IDEAS-søket i det systematiske søket. I stedet ble det gjort utvidede håndsøk. Søkestrengen ga ca. 900 treff.

Det ble foretatt nye endringer i søkestrengen, som ga omtrent 1600 treff. Av tidshensyn ble det gjort en ufullstendig gjennomgang av disse, med fokus på de nyeste og de mest relevante (vurdert av søkealgoritmen). I tillegg ble 20 studier fra (den usystematiske) litteraturgjennomgangen i Cullen m. fl. (2013), Murnane (2013) og Heckman og Kautz (2013) ¹⁰³, to norske referanser hentet fra Falch (2014) ¹⁰⁴ og et fåtall studier foreslått av andre forskere vurdert.

Til sammen har alle håndsøkene etter studier publisert av økonomer identifisert 56 studier med potensiell relevans. Disse studiene kommer i tillegg til de ni studiene av økonomer som er blant de 26 inkluderte i kunnskapssenterets systematiske kunnskapsoversikt.

Håndsøkene ligger utenfor den systematiske søkestrategien som er fulgt i kunnskapssenterets kunnskapsoversikt. Det høye antallet referanser (56 i tillegg til 9 blant de 26 inkluderte) er sannsynligvis et uttrykk for at den nye søkestrengen ikke er tilstrekkelig utprøvd. De to første problemene anført over, knyttet til dekning og søkestreng, vil også gjelde Campbell-søket, selv om manglende dekning av working papers sannsynligvis vil være et mindre problem for eldre studier. Det siste problemet, knyttet til utfallsmål, er i større grad et valg, ettersom oppdragsbrevet åpner for at indirekte årsak-virkningsrelasjon kan vektes som relevant for utfallsvariabelen frafall.

Det er særskilte utfordringer knyttet til det å søke etter relevante studier i økonomdatabaser. Det er videre liten tradisjon for systematiske søk innen økonomi, og det kan virke som metadata (tittel og sammendrag) ikke alltid er tilpasset slike. Det å utvikle en tilpasset søkestreng har ikke vært mulig gitt tidsbegrensinger. I det tredje prosjektmøtet med forskergruppen (19.-20. Mars) ble det derfor besluttet å beskrive studier identifisert utenom de systematiske søkene som kunnskapssenter for utdanning har gjennomført i et eget vedlegg til kunnskapsoversikten. Dette dokumentet er skrevet av Astrid Marie Jorde Sandsør og Lars Johannessen Kirkebøen, og ligger som vedlegg 3 til rapporten 105.

Oppsummering

Kapittel 3 beskriver det systematiske arbeidet med å finne flest mulig relevante studier. Det blir dokumentert at utvalget av relevante studier skjer gjennom en åpen prosess, at studiene blir vurdert på reliabilitet og validitet, og at kvalitetsvurderingsprosedyrer for inklusjon og eksklusjon er bygd inn i prosessen.

Kapittel 3 har presentert søkestrategi, inklusjons- og eksklusjonskriterier samt referansehåndtering og kartlegging av forskningslitteraturen. For å finne nyere studier har kunnskapssenter for utdanning brukt samme søkestreng som Wilson m. fl. (2011). Den er utviklet for å identifisere programmer, intervensjoner og tiltak som har dokumentert effekt på gjennomføring og frafall. Når oppdragsgiver i tillegg ønsker beskrivelser av utforming og implementering av tiltakene, må både innsamling av data og kategorisering av studiene vise hvordan forskningen – direkte og indirekte – bidrar med slik kunnskap. En særlig utfordring i dette arbeidet har vært å finne studier som både dokumenterer effekt, inneholder gode beskrivelser av intervensjonene og som belyser iverksetting og gjennomføring av tiltakene i skolen. Ettersom det har vært et mål å belyse hele bredden

Av problemstillingen er derfor inklusjons- og eksklusjonskriterier brukt pragmatisk i kunnskapsoversikten. Det er også pekt på utfordringer som skyldes at oppdraget har tatt utgangspunkt i Campbell Systematic Review 2011:8 (Wilson m.fl. 2011), samt særskilte søk etter studier publisert av forskere i økonomifeltet.