Kapittel 3 av 7 i Kunnskapssenter for utdanning sin systematiske kunnskapsoversikt om frafall i videregående opplæring. Denne artikkelen beskriver det systematiske arbeidet med å finne flest mulig relevante studier.

Arbeidet med denne systematiske kunnskapsoversikten (Lillejord m. fl., 2015) har, slik oppdragsbrevet av 8. desember 2014 forutsetter (se vedlegg 1), tatt utgangspunkt i Campbell Systematic Review 2011:8 Dropout Prevention and Intervention Programs: Effects on School Completion and Dropout Among School-Aged Children and Youth. Basert på søkestrategien i denne kunnskapsoversikten har kunnskapssenteret gjennomført søk i forskningslitteraturen etter 2010 92. Campbells rapport (Wilson m. fl., 2011) har ikke et eksplisitt formulert forskningsspørsmål, men basert på målene (objectives) blir følgende problemstilling formulert for Campbells systematiske kunnskapsoversikt:

Fotnote: forskningslitteraturen etter 2010 92

92 Søket ble gjennomført i 25. November 2014, avgrenset til perioden 2010-2014. Supplerende håndsøk ble gjennomført 4. Februar 2015. En av de 26 inkluderte studiene (Kremer m. fl.) har publiseringsår 2015 

Hvilke programmer/intervensjoner/tiltak har dokumentert effekt på gjennomføring og frafall?

Basert på oppdragsbrevet er følgende problemstilling formulert for kunnskapssenterets kunnskapsoversikt:

Hvilke tiltak eller programmer forebygger frafall i videregående opplæring, eller tilbakefører ungdom utenfor opplæring og arbeid og hvordan beskrives disse tiltakene i forskningslitteraturen?

Gitt oppdragets korte tidshorisont, valgte Kunnskapssenter for utdanning å lage en ”kort kunnskapsoversikt”, rapid evidence assessment, også kalt quick review. De siste årene har andre kunnskapssentre publisert erfaringer de har gjort seg med korte kunnskapsoversikter. Det omtales som et format som særlig egner seg for politikkutforming 93 (Thomas m.fl., 2013) . I arbeidet med denne rapporten har vi bygd på disse publikasjonene. I tillegg har vi hentet erfaringer fra EPPI-senterets anbefalinger for utforming av systematiske kunnskapsoversikter som bygger på både kvantitativ og kvalitativ metode og særlig egner seg til å informere politikkutformere og praksisfeltet.

Fotnote: egner seg for politikkutforming 93

93 Thomas, J., Newman, M. and Oliver, s. (2013): rapid evidence assessment of research to inform social policy: taking stock and moving forward, evidence & policy vol. 9 no. 1, pp 5-27 http://dx.doi.org/10.1332/174426413x662572

Prosess og forankring

Kunnskapsoversikten skal brukes i program for bedre gjennomføring i videregående opplæring 94, som er en av regjeringens hovedsatsinger for bedre gjennomføring i videregående opplæring. Et mål med programmet er at fylkene og skolene skal jobbe mer kunnskapsbasert med tiltak for å bedre gjennomføringen. Det tas blant annet sikte på å prøve ut et knippe tiltak på utvalgte skoler som den forskningsbaserte og erfaringsbaserte kunnskapen gir grunn til å tro kan være effektive. Kunnskapsoversikten er første steg i identifiseringen av slike mulige effektive tiltak.

Fotnote: videregående opplæring 94

94 Program for bedre gjennomføring i videregående opplæring er videreføring av det nå avsluttede programmet Ny GIV. 

Følgende møter er avholdt mellom kunnskapsdepartementet og kunnskapssenter for utdanning:

  • Møte 3. Februar 2015 med status og gjennomgang av prosjektet:
    • gjennomgang av søk med Campbells søkestreng.
    • presentasjon av forskergruppen.
    • gjennomgang av inklusjons/eksklusjonskriterier.
    • resultatet av evalueringen av potensielt relevante studier i kunnskapssenteret og i forskergruppen.
    • presentasjon av tidsplan for gjennomføring av prosjektet.
  • Møte 18.-19. Februar 2015. Kunnskapsdepartementet deltok på andre samling med forskergruppen.
  • Møte 25. Mars 2015, med status og gjennomgang av prosjektet. Særlig om problemer med Wilson m.fl. (2011) og søk i REPEC-databasen.

Kunnskapsdepartementet har også gitt kommentarer på utkast til rapport.

Hva er en systematisk kunnskapsoversikt?

Hensikten med å lage en systematisk kunnskapsoversikt er å gi en kunnskapsstatus på et tema som skal belyses så grundig som mulig. Arbeidet med en systematisk kunnskapsoversikt begynner derfor med å identifisere forskning som er publisert om temaet. Et ideal for systematiske kunnskapsoversikter er at de skal være transparente, det vil si at de gjennomføres etter klare etterprøvbare prinsipper og prosedyrer. De bygger på en metode som beskriver hvordan de gjennomføres og viser hvordan konklusjoner blir nådd.

At de er systematiske innebærer at de inneholder det antall relevante studier som trengs for å kunne besvare spørsmålet kunnskapsoversikten skal besvare, at utvalget av relevante studier skjer gjennom en åpen prosess, at studienes reliabilitet blir vurdert og at kvalitetsvurderingsmekanismer for å inkludere og ekskludere studier er bygd inn i prosessen (Chalmers m. fl., 2002 95; Gough m. fl., 2012 96). For å klare dette, må det legges ned mye arbeid i å utvikle gode søkestrenger som gjør det mulig å finne forskning på temaet i anerkjente databaser. En systematisk kunnskapsoversikt undersøker og innhenter ikke empiri om et saksfelt slik grunnforskning gjør. I en systematisk kunnskapsoversikt er det de inkluderte artiklene som utgjør det empiriske grunnlaget, og kvaliteten på oversikten avhenger av kvaliteten på de arbeidene som blir identifisert og inkludert.

Fotnote: (Chalmers m. fl., 2002 95

95 Chalmers, I., Hedges, l. And Cooper, H. (2002): A brief history of research synthesis, education and the health professions, 25: 12-37. 

Fotnote: Gough m. fl., 2012 96

 96 Gough, D., Olivier, S. and Thomas, J. (2012): An introduction to systematic reviews. London: sage publications.

Normalt tar det lang tid, gjerne inntil ett år, å lage en dekkende oversikt over forskning på et tema og presentere denne på en måte som tilfredsstiller kriteriene for systematiske kunnskapsoversikter. For de som skal utforme politikk eller andre som trenger kunnskap om et tema raskere, er det i det siste utviklet kortere formater som for eksempel ”brief review” (Abrami m. fl., 2010) 97 eller ”rapid evidence assessment” (REA) (Khangura m. fl., 2012) 98. I tillegg til at den teknologiske utviklingen forenkler søkeprosedyrer og at ”mining”-funksjoner i tekst gjør det enklere å lage slike kortformat, foregår det en vedvarende metodeutvikling av systematiske kunnskapsoversikter med sikte på å gjøre resultater og innsikter fra forskning lettere tilgjengelig for de som skal bruke kunnskapen.

Fotnote: (Abrami m. fl., 2010) 97

97 Abrami, P.C., Borokhovski, E., Bernard, R.M, Wade, A. C., Tamim, R.,Persson, T. Bethel, E. C., Hanz, K and Surkes, M. A. (2010): Issues in conducting and disseminating brief reviews of evidence, evidence & policy, 6 (3): 371-89

Fotnote: (Khangura m. fl., 2012) 98

 98 Khangura, S., Konnuy, K. Cushman, R., Grimshaw, J. and Moher, D. (2012): Evidence summaries and the Evolution of a rapid review approach, systematic reviews, 1-10.

Politikkutformere vil ikke bare ha svar på hva som ser ut til å virke, men også på spørsmål som ”hva er mulig”, ”hva kan fungere”, ”hva trengs” samt hvorfor den ene løsningen ser ut til å være bedre enn den andre.

Arbeidet med en kort kunnskapsoversikt følger de samme prosedyrene som for en fullstendig kunnskapsoversikt, og egner seg godt i de tilfellene da det er grupper av forskere som skal samarbeide om en rapport (Pope m. fl., 2000) 99. En kort systematisk kunnskapsoversikt kan beskrives som et kompromiss mellom de strenge kvalitetskravene som stilles til en systematisk kunnskapsoversikt og policy-nivåets behov for å få forskningskunnskapen så hurtig som mulig. Søkene er systematiske, det er åpenhet om hvilke studier som inkluderes og ekskluderes (og etter hvilke kriterier), de inkluderte studienes reliabilitet blir vurdert, og det bygges mekanismer for kvalitetsvurdering (validering) inn i reviewprosessen. Et problem som trekkes frem ved korte kunnskapsoversikter er at forankring kan bli vanskelig når arbeidet skal gjøres så raskt. Når tiden er kort og mange aktører skal inn i arbeidet kan bred forankring bidra til å gjøre fokus uklart (Thomas m. fl., 2013, s.15).

Fotnote:  (Pope m. fl., 2000) 99

99 Pope, C., Ziebland, S. and Mays, N. (2000): Qualitative research in health care: Analysing qualitative data,british medical journal, 320, 114-6. 

Søkestrategi

Kunnskapssenteret har brukt samme søkestreng som Wilson m. fl. (2011) i sitt systematiske litteratursøk (vedlegg 2). Denne søkestrengen er innrettet mot å identifisere programmer, intervensjoner og tiltak som har dokumentert effekt på elevenes gjennomføring av videregående opplæring. Det viser seg at denne typen effektstudier i svært begrenset grad inneholder detaljerte beskrivelser av tiltakene. Dette gjelder også- og kanskje i enda større grad – systematiske kunnskapsoversikter. De er stort sett innrettet mot å dokumentere kvaliteten på forskningen som er gjennomgått og funn i denne forskningen. Beskrivelser av tiltak i Wilson m. fl. (2011) inneholder informasjon om type tiltak og hvem tiltaket er rettet mot, men gir ikke detaljerte oppskrifter på gjennomføring og implementering.

Hensikten med å søke bredt, er å identifisere så mye som mulig av forskningslitteraturen som tilfredsstiller inklusjonskriteriene. Brede søk skal også sikre at kunnskapsoversikten reflekterer kunnskapsstatus på feltet. I dette tilfellet skulle kunnskapssenter for utdanning både inkludere studier med dokumentert effekt på frafall eller gjennomføring og finne studier som kunne beskrive intervensjoner, tiltak og programmer som har påvist effekt.

Kunnskapssenterets systematiske kunnskapsoversikt baserer seg, som oppdragsbrevet ba om, på søk i elektroniske databaser med søkestrengen fra Campbell Systematic Review 2011:8 Dropout Prevention and Intervention Programs: Effects on School Completion and Dropout Among School-Aged Children and Youth. Søkestrengen er gjengitt i vedlegg 2 i rapporten. I tillegg ble det gjort håndsøk i utvalgte tidsskrifter og databaser.

For å finne den litteraturen det er relevant å inkludere i denne kunnskapsoversikten, er det gjennomført søk i følgende kilder:

  • Søk i 7 elektroniske standard-databaser (blant annet ERIC, ASSIA og IBSS) med søkestreng fra .
  • Håndsøk i utvalgte tidsskrifter som en utvidelse av søket med søkestreng fra
  • Utvidet søk etter økonomilitteratur, se 3.6 og vedlegg 3 (Effektstudier av tiltak mot videregående frafall: Verdt et (systematisk) forsøk!).

De systematiske søkene som kunnskapssenter for utdanning gjennomførte i 7 standard-databaser, med Campbells søkestreng samt håndsøk, identifiserte 3199 studier som ble behandlet etter vanlige prosedyrer i systematiske kunnskapsoversikter, slik diagrammet i 3.5 (figur 1, resultat av screening) viser. Håndsøkene er knyttet til søket med søkestrengen fra Wilson m. fl. (2011) og er utført for å identifisere nylig publiserte studier som ennå ikke er lagt inn i databasene. Utvidet søk i REPEC-databasen ble utført med en egen søkestreng som er forskjellig fra søkestrengen fra Wilson m. fl. (2011), og resultatene presenteres i vedlegg 3.

Grålitteratur er inkludert i søkene.

Vedlegg 4 i rapporten viser en fullstendig oversikt over de søkekildene som er benyttet i arbeidet med denne kunnskapsoversikten.

Inklusjons- og eksklusjonskriteriene – Avgrensing og innramming

En viktig del av arbeidet med en kunnskapsoversikt er å ramme inn problemstillingen. Hvordan problemstillingen er formulert og hva slags resultat man skal oppnå avgjør fremgangsmåte og hvilken populasjon (utvalg) man skal avgrense søkene til. Basert på søkestrategien har kunnskapssenteret gjennomført søk i forskningslitteraturen. Det har vært søkt etter studier med et statistisk mål på hvor effektive tiltakene/programmene har vært, dvs. At de må være eksperimentelle (RCT eller kvasi-eksperimentelle) studier, eventuelt studier med matching eller andre statistiske kontroller som estimerer effektstørrelser av tiltak.

Søk i forskningsdatabaser resulterer alltid i et stort antall irrelevante og mindre relevante studier. Det er derfor nødvendig å spesifisere kriterier for å avgjøre hvilke studier som skal inkluderes i den systematiske kunnskapsoversikten. Disse kriteriene benyttes i flere screeningprosesser for å ekskludere irrelevante referanser som har kommet med i det systematiske søket (hvordan kriteriene inngår i screeningprosessene forklares i 3.5). Kriteriene i denne kunnskapsoversikten er definert i samsvar med . Se kriteriene i tabell 2 nedenfor.

Referansehåndtering

For å håndtere en så stor datamengde som flere tusen studier representerer, har kunnskapssenter for utdanning benyttet programvaren EPPI-reviewer 4, som er spesielt utviklet for å lage systematiske kunnskapsoversikter og syntetisere forskningen. Alle referansene (til sammen 3.199) ble importert til
EPPI-reviewer 4 programvare (er4). EPPI-reviewer 4 er utviklet av EPPI-senteret ved university college london.

Når alle referanser er importert i programvaren, starter arbeidet med å screene studiene fra litteratursøkene for å bedømme om de skal inkluderes i eller ekskluderes fra kunnskapsoversikten. Figur 1 beskriver prosessen med screening av referansene i denne systematiske kunnskapsoversikten. Screeningsprosessen foregikk i to trinn. På det første trinnet screenes studiene på tittel og sammendrag. På dette trinnet ble studiene screenet i flere omganger etter kriteriene: 1 intervensjonstype, 2 deltakere, 3 forskningsdesign, 4 utfallsvariabel og 5 tilgjengelighet/ språk. I det andre trinnet screenes de gjenstående studiene i fulltekst. På dette trinnet ble de også screenet etter kriterium 6 beslutningstaking.

Tabell 2: inklusjons- og eksklusjonskriterier

 

Kriterium

Utdyping

1

Intervensjonstype

Studiene skal omfatte tiltak for redusert frafall eller økt gjennomføring i opplæring, i skole eller skolerelatert.

2

Deltakere

Studiene skal inkludere tiltak rettet mot elever i videregående opplæring eller ungdomsskolen

3

Forskningsdesign

Studiene må ha et statistisk mål på hvor effektive intervensjonene og tiltakene har vært, dvs. At det må være eksperimentelle (RCT eller kvasieksperimentelle studier), eventuelt studier med matching eller andre statistiske kontroller. Studiene må omfatte flere enn 40 deltagere i hver gruppe (effektstørrelser fra små studier kan være upålitelige. Større studier sikrer mer robuste effektmål).

4

Utfallsvariabel

Studiene må ha en utfallsvariabel som direkte eller indirekte representerer gjennomføring eller frafall, eventuelt kan søket også inkludere studier av tiltak for å forbedre forhold som har betydning for sannsynligheten for å fullføre, men som ikke har frafall eller nært relaterte utfall som formål (eksempler kan være bedre faglige ferdigheter, ikke-kognitive ferdigheter og psykisk helse).

5

Tilgjengelighet/ språk

Studiene må være tilgjengelige, enten elektronisk eller i andre formater innenfor prosjektets tidsramme (dette kriteriet er særlig relevant for doktorgradsavhandlinger). Studiene må være tilgjengelig på engelsk, norsk, svensk eller dansk.

6

Beslutningstaking

Studier som er potensielt relevante vurderes av forskere. Dersom det er tvil om studier skal inkluderes eller ekskulderes etter vurdering i fulltekst, tas avgjørelse i forskersgruppen.

Trinn 1, screening basert på gjennomgang av tittel og sammendrag

På første trinn av screeningen ble det ekskludert 2.924 studier basert på gjennomgang av tittel og sammendrag. Det ble identifisert 275 studier med mulig relevans for kunnskapsoversiktens brede problemstilling (kriteriene 1, 2 og 4). Disse studiene ble sortert i to kategorier (kriterium 3): effektstudier med mulig relevans (115 studier), og kontekstreferanser, dvs. Studier som ikke måler effekt (160 studier). Kategorien kontekstreferanser omfatter studier med relevans for frafall. Det vil si at de omhandler bl.a. Indikatorer og tiltak rettet mot frafall, men disse studiene har ikke målt effekt av tiltak eller intervensjoner.

De 115 studiene med mulig relevans for kunnskapsoversikten ble vurdert etter relevanskriteriene av tre forskere. Resultatet av vurderingene ble gjennomgått i et møte med alle ansatte på kunnskapssenter for utdanning. I de tilfellene det var enighet blant forskerne, ble studier enten ekskludert fra eller inkludert i den videre prosessen. I de tilfellene det var uenighet mellom forskerne, eller tvil om enkelte studier, ble fulltekst innhentet for senere vurdering.

Vurderingen som var gjort av de 115 studiene og prosedyrene som var fulgt ble gjennomgått og forklart i plenum på første møte med forskergruppen 20.-21. januar 2015 (kriterium 6)100. Forskere hadde tilgang til alle de 115 studiene i fulltekst. Resultatet av gjennomgangen på denne samlingen var at 38 studier ble inkludert for videre arbeid med kunnskapsoversikten.

Fotnote: (kriterium 6)100

100 kriterium 5 er ikke nevnt her, da studier ekskluderes etter tilgjengelighet/ språk allerede i det systematiske søket. 

Figur 1: resultat av screening

Trinn 2, screening basert på gjennomgang av studiene i fulltekst

På det andre trinnet av screeningen leses artikler, avhandlinger og rapporter i fulltekst for å identifisere de arbeidene som har størst relevans og som mest sannsynlig vil kunne svare på kunnskapsoversiktens problemstilling. Fulltekst av alle studier med mulig relevans (38) ble sendt til medlemmene i forskergruppen. Når studier blir lest i fulltekst, viser det seg av og til at sammendraget ikke har gitt fullgod informasjon om innhold. Noen av studiene svarer heller ikke til de kvalitetskriteriene forskergruppen har satt. Det kan også være manglende eller dårlig samsvar mellom forskningsspørsmål, metode og funn, uklar beskrivelse av datainnsamling, metode og analyse av data (kriteriene 1 til 4). I andre sammenhenger kan det være dårlig konsistens mellom det studien innledningsvis tar mål av seg til å gjøre og det som faktisk blir gjort (kriterium 6).

På trinn 2 ble forskerne i tillegg bedt om å identifisere studier med potensiell relevans for tiltak i en norsk sammenheng. Det må presiseres at relevans for politikkutforming og praksis i en norsk sammenheng er et kriterium som brukes til å vekte studier i denne kunnskapsoversikten. Det er altså ikke et inkluderings- eller ekskluderingskriterium 101.

Fotnote:  inkluderings- eller ekskluderingskriterium 101

101 I EPPI-reviewer ble norsk kontekst opprinnelig lagt inn som ekslusjonskriterium. Som anmerket i protokollen ble to studier ekskludert på tittel og sammendrag etter dette kriteriet. 

Tabell 3 viser et eksempel på skjemaet som ble benyttet av forskerne ved vurdering av fulltekst. I vedlegg 5 presenteres en oversikt over hvordan medlemmer av forskergruppen har screenet samtlige inkluderte studier basert på gjennomgang av fulltekst.

Etter screening basert på gjennomgang av fulltekst ble 12 studier ekskludert på kvalitet og relevans for kunnskapsoversikten etter kriteriene beskrevet over.

Tabell 3. Eksempel på skjema for vurdering av studier i fulltekst

Lest av

Studie

Kvalitet

Relevans for kunnskapsoversikten

Relevans for politikkutforming og praksis

Eksludert på fulltekst

Forsker I

Artikler

Høy

Middels

Middels

 

Høy

Middels

Middels

 

Høy

Høy

Høy

 

Ang. m.fl., 2013

Middels

Lav

Lav

x

Doktorgradsavhandlinger

Thornsberry, 2010

Lav

Lav

Lav

x

Curry, 2013

Lav

Lav

Lav

x

Middels

Høy

Høy

 

Etter samlingen med forskergruppen 19.-20. mars 2015 gjenstod til sammen 26 studier, fordelt på kategoriene: Artikler (17), doktorgradsavhandlinger (5) og rapporter (4). Figur 2 (under) viser fordelingen av de 26 inkluderte studiene på kvalitet (vurdert etter kriterium 3) og relevans for kunnskapsoversikten (vurdert etter kriteriene 1, 2 og 4). Nitten studier ble vurdert til å være av høy kvalitet, og 6 ble vurdert til å være av middels kvalitet. Fjorten studier ble vurdert å ha høy relevans for kunnskapsoversikten, og 11 ble vurdert å ha middels relevans. En avhandling (Barba, 2012) ble vurdert til å ha lav kvalitet og lav relevans for kunnskapsoversikten, men inneholder beskrivelse av et tiltak som har påvist effekt av en studie med høyere kvalitet (Edmunds, m.fl., 2012).

Figur 2: inkluderte studier

Kartlegging, ”mapping”

Mapping innebærer å kartlegge og kategorisere de inkluderte studiene (Gough m. fl., 2012). Å kartlegge litteraturen er første del i syntesearbeidet hvor hensikten er å sikre seg at kunnskapsoversikten konsentrerer seg om de områdene som er relevante for de som skal bruke funnene fra forskningen. Kartleggingen benytter de ovennevnte kriteriene og gjennomføres på fulltekst. Kunnskapssenter for utdanning har kartlagt de 26 inkluderte studiene på kvalitet og relevans, både for kunnskapsoversikten og for politikkutforming og praksisfeltet (vedlegg 6).

Kartleggingen på kvalitet er gjort etter fem metodekategorier. Disse er randomiserte kontrollerte forsøk, kvasieksperimentelle design og bruk av registerdata. I tillegg ble det skilt mellom systematiske kunnskapsoversikter og litteraturgjennomganger. Kartleggingen viste at ni studier bruker registerdata, det er inkludert fire systematiske kunnskapsoversikter og fire litteraturgjennomganger, seks studier som bruker kvasieksperimentelle design og tre randomiserte kontrollerte forsøk.

For hver av disse metodekategoriene ble det innført en standard for vurdering etter skalaen høy, middels og lav. For eksempel tilsier høy kvalitet under metodekategorien randomiserte kontrollerte forsøk at studien omfatter et stort utvalg av elever, og at det er samsvar mellom elevene i tiltaksgruppen og kontrollgruppen.

Utvidet søk

Oppdragsbrevet fra KD åpner for å utvide søket om tid og ressurser tillater det, og dette underkapittelet omhandler utvidede søk etter økonomilitteratur. De systematiske søkene som kunnskapssenter for utdanning gjennomførte i 7 databaser, med Campbells søkestreng samt håndsøk, identifiserte 3199 studier som ble behandlet etter vanlige prosedyrer i systematiske kunnskapsoversikter, slik diagrammet i kapittel 3.5 (figur 1, resultat av screening) viser. På samlingen 18.-19. Februar ga økonomene i forskergruppen uttrykk for at søkestrengen ikke hadde fanget opp sentrale studier publisert av økonomer, samt at det var åpenbare problemer med enkelte av studiene som var fanget opp. 102

Fotnote: som var fanget opp. 102

102 Bl.a. Var det et tilfelle der en formidlingsartikkel var fanget opp uten at selve studien var det og et annet der en phd-avhandling var fanget opp, men ikke working paperet denne var videreført som. 

Tre problemer ble drøftet. De to første er knyttet til trekk ved økonomi som fagfelt, og det siste til tolkningen av eksklusjonskriteriene. For det første kan databasene som det ble søkt i ha begrenset dekning av økonomilitteratur, men et større problem er manglende dekning av upubliserte arbeider (working papers). Working papers (foreløpige, men oftest gjennomarbeidede versjoner av studier) siteres i stor grad og kan sirkulere i flere år før evt. publisering i tidsskrift.

De systematiske søkene fanger ikke opp disse, og derfor manglet mye grålitteratur fra økonomi. Et relatert problem gjelder at Campbells søkestreng muligens ikke er tilpasset økonomidatabaser for grålitteratur. Særlig når det gjelder omtale av metode er økonomers språkbruk annerledes enn den som ligger til grunn for søkestrengen i det systematiske søket, f.eks. Vil det ofte være underforstått at det er snakk om estimater av kausale effekter, og fokus i sammendrag og tittel vil ofte være på metodisk bidrag framfor tiltaket som studeres. Til slutt var det reist en metodisk diskusjon om hvordan andre variabler påvirker utfallet, og hvordan og i hvilken grad indirekte årsak-virkningsrelasjoner skal vektes som relevant for utfallsvariabelen frafall.

Det ble besluttet å gjøre søk i databaser som dekker working papers, i tillegg fant forskerne totalt sju enkeltstudier og (usystematiske) litteraturgjennomganger som utgangspunkt for å utvikle en ny søkestreng tilpasset økomomidatabasene. En stor bibliografisk database for økonomiforskning er REPEC, som omfatter flere enn 1,7 millioner referanser. Det ble søkt særskilt i REPEC-databasen vha. IDEAS (ideas.repec.org) for å fange opp potensielt relevante studier publisert etter 2010. På grunn av forskjeller i grensesnitt og terminologi, begrenset tid og kapasitet samt manglende integrasjon mellom IDEAS og ER4 ble det forholdsvis raskt besluttet å ikke inkludere IDEAS-søket i det systematiske søket. I stedet ble det gjort utvidede håndsøk. Søkestrengen ga ca. 900 treff.

Det ble foretatt nye endringer i søkestrengen, som ga omtrent 1600 treff. Av tidshensyn ble det gjort en ufullstendig gjennomgang av disse, med fokus på de nyeste og de mest relevante (vurdert av søkealgoritmen). I tillegg ble 20 studier fra (den usystematiske) litteraturgjennomgangen i Cullen m. fl. (2013), Murnane (2013) og Heckman og Kautz (2013) 103, to norske referanser hentet fra Falch (2014) 104 og et fåtall studier foreslått av andre forskere vurdert.

Fotnote: Falch (2014) 104

Falch, T. (2014) Produktivitet i utdanningssystemet, notat til produktivitetskommisjonen http://produktivitetskommisjonen.no/files/2014/02/utdanningssystemet_notat.pdf) 

Fotnote: Cullen m. fl. (2013), Murnane (2013) og Heckman og Kautz (2013) 103

103 Cullen m. fl. (2013). What can be done to improve struggling high schools? Journal of economic perspectives 27(2) 133–152, Murnane (2013). U.S. High school graduation rates: Patterns and explanations, Heckman og Kautz (2013). Fostering and measuring skills: Interventions that improve character and cognition. 

Til sammen har alle håndsøkene etter studier publisert av økonomer identifisert 56 studier med potensiell relevans. Disse studiene kommer i tillegg til de ni studiene av økonomer som er blant de 26 inkluderte i kunnskapssenterets systematiske kunnskapsoversikt.

Håndsøkene ligger utenfor den systematiske søkestrategien som er fulgt i kunnskapssenterets kunnskapsoversikt. Det høye antallet referanser (56 i tillegg til 9 blant de 26 inkluderte) er sannsynligvis et uttrykk for at den nye søkestrengen ikke er tilstrekkelig utprøvd. De to første problemene anført over, knyttet til dekning og søkestreng, vil også gjelde Campbell-søket, selv om manglende dekning av working papers sannsynligvis vil være et mindre problem for eldre studier. Det siste problemet, knyttet til utfallsmål, er i større grad et valg, ettersom oppdragsbrevet åpner for at indirekte årsak-virkningsrelasjon kan vektes som relevant for utfallsvariabelen frafall.

Det er særskilte utfordringer knyttet til det å søke etter relevante studier i økonomdatabaser. Det er videre liten tradisjon for systematiske søk innen økonomi, og det kan virke som metadata (tittel og sammendrag) ikke alltid er tilpasset slike. Det å utvikle en tilpasset søkestreng har ikke vært mulig gitt tidsbegrensinger. I det tredje prosjektmøtet med forskergruppen (19.-20. Mars) ble det derfor besluttet å beskrive studier identifisert utenom de systematiske søkene som kunnskapssenter for utdanning har gjennomført i et eget vedlegg til kunnskapsoversikten. Dette dokumentet er skrevet av Astrid Marie Jorde Sandsør og Lars Johannessen Kirkebøen, og ligger som vedlegg 3 til rapporten 105.

Fotnote: vedlegg 3 til rapporten 105.

105 Vedlegget refererer til 33 studier, hvorav 5 også inngår i kunnskapsoversikten. 

Oppsummering

Kapittel 3 beskriver det systematiske arbeidet med å finne flest mulig relevante studier. Det blir dokumentert at utvalget av relevante studier skjer gjennom en åpen prosess, at studiene blir vurdert på reliabilitet og validitet, og at kvalitetsvurderingsprosedyrer for inklusjon og eksklusjon er bygd inn i prosessen.

Kapittel 3 har presentert søkestrategi, inklusjons- og eksklusjonskriterier samt referansehåndtering og kartlegging av forskningslitteraturen. For å finne nyere studier har kunnskapssenter for utdanning brukt samme søkestreng som Wilson m. fl. (2011). Den er utviklet for å identifisere programmer, intervensjoner og tiltak som har dokumentert effekt på gjennomføring og frafall. Når oppdragsgiver i tillegg ønsker beskrivelser av utforming og implementering av tiltakene, må både innsamling av data og kategorisering av studiene vise hvordan forskningen – direkte og indirekte – bidrar med slik kunnskap. En særlig utfordring i dette arbeidet har vært å finne studier som både dokumenterer effekt, inneholder gode beskrivelser av intervensjonene og som belyser iverksetting og gjennomføring av tiltakene i skolen. Ettersom det har vært et mål å belyse hele bredden

Av problemstillingen er derfor inklusjons- og eksklusjonskriterier brukt pragmatisk i kunnskapsoversikten. Det er også pekt på utfordringer som skyldes at oppdraget har tatt utgangspunkt i Campbell Systematic Review 2011:8 (Wilson m.fl. 2011), samt særskilte søk etter studier publisert av forskere i økonomifeltet.

Litteraturhenvisninger

Aflalo, E., & Gabay, E. (2012). An information system for dropout prevention. Education and information technologies, 17(2), 233–250.   Http://doi.org/10.1007/s10639-011-9156-x

Barba, E. M. (2012). The impact of the norton high school early college program on the academic performance of students at norton high school (ph.d-avhandling). University of southern california, los angeles. Hentet fra http://search.proquest.com/docview/1027915098?Accountid=163439

Bloom, H. S., & Unterman, R. (2012). Sustained positive effects on graduation rates produced by new york city’s small public high schools of choice. Policy brief (policy brief) (s. 12). New york: mdrc. Hentet fra http://search.proquest.com/docvi-ew/964182301?Accountid=163439

Bloom, H. S., & Unterman, R. (2014). Can small high schools of choice improve educational Prospects for disadvantaged students? Journal of policy analysis and management, 33(2), 290-319.

Cantu, K. M. (2013). School-based mentoring programs in middle school: attendance and academic outcomes (ph.d-avhandling). Texas a&m university-commerce, commerce. Hentet fra http://search.proquest.com/docview/1492736555?Accountid=163439

Cowen, J. M., Fleming, D. J., Witte, J. F., Wolf, P. J., & Kisida, B. (2013). School vouchers and student attainment: Evidence from a state-mandated study of milwaukee’s parental choice program. Policy studies journal, 41(1), 147–168. Http://doi.org/10.1111/psj.12006

Dee, T. S. (2011). Conditional cash penalties in education: evidence from the learnfare experiment. Economics of education review, 30(5), 924–937.

De Witte, K., & Csillag, M. (2014). Does anybody notice? On the impact of improved truancy reporting on school dropout. Education economics, 22(6), 549–568.

Edmunds, J. A., Bernstein, L., Unlu, F., Glennie, E., Willse, J., Smith, A., & Arshavsky, N. (2012). Expanding the start of the college pipeline: ninth-grade findings from an experimental study of the impact of the early college high school model. Journal of research on educational effectiveness, 5(1), 136–159.

Freeman, J., & Simonsen, B. (2014). Examining the impact of policy and practice interventions on high school dropout and school completion rates: a systematic review of the literature. Review of educational research, 1–52.

Harvill, E. L., Maynard, R. A., Nguyen, H. T., Robertson-Kraft, C., & Tognatta, N. (2012). Effects of college access programs on college readiness and enrollment: a meta-analysis (s. 22). Evanston: society for research on educational effectiveness. Hentet fra http://search.proquest.com/docview/1011395740?Accoun-tid=163439

Johnson, V. L., Simon, P., & Mun, E. (2014). A peer-led high school transition program increases graduation rates among latino males. The journal of educational research, 107(3), 186–196.

Kremer, K. P., Maynard, B. R., Polanin, J. R., Vaughn, M. G., & Sarteschi, C. M. (2015). Effects of after-school programs with at-risk youth on attendance and externalizing behaviors: a systematic review and meta-analysis. Journal of youth and adolescence, 44(3), 616–636.

Mac Iver, M. A. (2011). The challenge of improving urban high school graduation outcomes: findings from a randomized study of dropout prevention efforts. Journal of education for students placed at risk, 16(3), 167–184.

Mac Iver, M. A., & Messel, M. (2013). The abcs of keeping on track to graduation: research findings from baltimore. Journal of education for students placed at risk, 18(1), 50–67.

Maynard, B. R., Mccrea, K. T., Pigott, T. D., & Kelly, M. S. (2013). Indicated truancy interventions for chronic truant students: a campbell systematic review. Research on social work practice, 23(1),  5–21.  Http://doi.org/10.1177/1049731512457207

Porowski, A., & Passa, A. (2011). The effect of communities in schools on high school dropout and graduation rates: results from a multiyear, school-level quasi-experimental study. Journal of education for students placed at risk, 16(1), 24–37.

Presidio, S. (2010). Examining extant data on the efficacy of a system of ninth-grade academic interventions to increase students’ academic engagement and performance and progress towards high school graduation (ph.d-avhandling). University of Oregon, Eugene. Hentet fra http://search.proquest.com/docview/749021519?Accountid=163439

Schwartz, A. E., Stiefel, L., & Wiswall, M. (2013). Do small schools Improve performance in large, urban districts? Causal evidence from New York city. Journal of urban economics, 77, 27–40.

Simon, P. (2013). Promoting high school graduation in a predominantly latino/a community: four-year effects of a Peer-led high school prevention program. The state university of new jersey, new jersey. Hentet fra http://search.proquest.com/docview/1478020953?Accountid=163439

Sutphen, R. D., Ford, J. P., & Flaherty, C. (2010). Truancy interventions: a review of the research literature: reviews. Research on Social Work Practice, 20(2), 161–171. http://doi.org/10.1177/1049731509347861

Swartos, D. (2012). School-wide positive behavior interventions and supports in south dakota: a study on effective intervention (ph.d-avhandling). University of south dakota, vermillion. Hentet fra    http://search.proquest.com/docview/1115317486?Accoun-tid=163439

Tanner-Smith, E. E., & Wilson, S. J. (2013). A meta-analysis of the effects of dropout prevention programs on school absenteeism. Prevention science, 14(5), 468–478. Http://doi.org/10.1007/s11121-012-0330-1

Wilson, S.J., Tanner-Smith E.E., Lipsey, M. Steinka-Fry, K. og Morrison, J. (2011). Dropout prevention and intervention programs: effects on school completion and dropout among school-aged children and youth. Campbell Systematic Reviews. 2011:8.

Wolf, P. J., Kisida, B., Gutmann, B., Puma, M., Eissa, N., & Rizzo, L. (2013). School vouchers and student outcomes: experimental evidence from Washington, dc. Journal of policy analysis and management, 32(2), 246–270.