Mobbeprogrammene i norsk skole – et kritisk blikk på evalueringene

Selv om det store flertallet av norske skoleelever trives godt og læringsmiljøet er bra på de fleste skoler (Wendelborg, 2013), er det likevel for mange elever som blir mobbet og som opplever utrygghet i skolehverdagen. Norske skoler er gjennom lovverket pålagt å gjennomføre skolemiljøtiltak, og en stor andel skoler bruker ett eller flere programmer for å gjøre skolemiljøet bedre og/eller å redusere mobbing (Eriksen mfl. 2014, Lødding & Vibe 2010).

Programmene velges ofte på bakgrunn av lovnader fra programeierne om vitenskapelig belegg for at programmene «virker». Men er det grunn til å feste lit til konklusjonene av disse evalueringene? I en ny studie har NOVA og Arbeidsforskningsinstituttet vurdert hvordan Olweus-programmet, Zero, Respekt og PALS har evaluert sine egne programmer. Målet med studien er blant annet å gi en uavhengig vurdering av de effektstudier som programeierne selv har foretatt. I denne artikkelen beskriver vi hovedkonklusjonene fra denne delen av studien, basert på NOVA-rapporten Felles fokus. En studie av skolemiljøprogrammer i norsk skole (Eriksen mfl. 2014).

Skolemiljøprogrammene evaluerer seg selv

Felles for de fire programmene som omfattes av studien, er at de har fått implementeringsstøtte fra Utdanningsdirektoratet. Målene varierer derimot noe. Mens Olweus-programmet og Zero har som primærmål å redusere omfanget av mobbing, tar Respekt sikte på å redusere flere former for atferdsproblemer. I det siste programmet, PALS, er ambisjonen også å øke elevenes faglige kompetanse, i tillegg til en generell forbedring av skolemiljøet.

I alle disse programmene er det altså programeierne eller forskerne som står bak programmene, som har foretatt evalueringen av egne programmer. Alle evalueringene er gjennomført som strengt vitenskapelige studier, og resultatene er publisert i internasjonalt anerkjente vitenskapelige tidsskrifter hvor uavhengige og anonyme forskere vurderer holdbarheten av resultatene før de kan publiseres. Dersom det er problemer med studiene, vil artiklene enten bli avvist, eller, ved mindre innvendinger, vil forskerne bli nødt til å gjøre rede for hvordan disse innvendingene er løst. Programeiernes egenevalueringer har med andre ord gjennomgått en grundig kvalitetstesting, som bidrar til at det kan være gode grunner i utgangspunktet til å feste lit til at resultatene som fremkommer, er godt dokumentert.

Også vår egen vurdering av studiene er at det grunnleggende håndverket i egenevalueringene i all hovedsak er godt. Samtidig mener vi at det kan være grunn til å diskutere kritisk noen aspekter ved studiene nærmere. For det første har vi noen kommentarer til hvordan selve evalueringene er gjennomført. For det andre har vi gjennom en kritisk gjennomgang med et perspektiv utenfra diskutert om skolemiljøprogrammene med fordel kunne hatt et annet utgangspunkt for arbeidet.

Evalueringsdesignet

Litteraturgjennomgangen viser at de fleste evalueringene kan vise til en reduksjon av mobbing (eller andre utfallsmål), målt omtrent ett år inn i implementeringsfasen. For Olweus-programmet er det dokumentert en nedgang så lenge som fire år etter at programmet ble implementert på skolen. Det er likevel ikke nok å vise til at det har skjedd en reduksjon i mobbingen. Poenget er å sannsynliggjøre at det er noe ved selve innføringen av programmet som har medført denne endringen. Å dokumentere kausale virkninger av skolebaserte tiltak stiller høye metodiske krav til forskningsdesign. Hovedutfordringen er å finne relevante, men upåvirkede, sammenligningsgrupper og deretter påvise at utviklingen ved programskolene er mer positiv enn i sammenligningsgruppa. Innen skolemiljøforskningen er dette særlig krevende fordi alle skoler er pålagt å drive et aktivt skolemiljøarbeid; ingen skoler er upåvirket.

Dette er begrunnelsen for at evalueringene av Olweus, Respekt og Zero har valgt å benytte det som heter et alderskohort-design. Evalueringene sammenligner elever på samme alder ved samme skole før og etter bruken av programmet. De undersøker mobbing blant elever på 5. trinn som ikke hadde gjennomført opplæringen i programmet, med 5.-trinnselever ved samme skole året etter – etter at programmet er innført. Dette virker som en god strategi, gitt utfordringene som ville vært knyttet til å sammenligne mellom skoler.

Gjennomgangen av effektstudiene viser at resultatene fra Olweus-programmet er de mest konsistente. Det er i evalueringen av dette programmet at effektene er størst, og det er dette programmet som i størst grad har empirisk dokumentert (og avvist) mulige innvendinger mot kausale tolkninger av funnene. At Olweus-programmet har påvist redusert mobbing både på 1990-tallet (der den generelle trenden var økte problemer) og på 2000-tallet (der utagerende problemer jevnt og trutt har gått nedover) tyder på at historiske trendeffekter ikke kan forklare evalueringsresultatene. Respekt og Zero benytter i det store og det hele det samme evalueringsdesignet som Olweus (alderskohortdesign).
Programeierne av PALS har foreløpig kun publisert én evaluering (Ogden & Sørlie, 2009), basert på fire skoler som har brukt programmet.

I evalueringen har man valgt et undersøkelsesdesign der en forsøker å matche programskoler med kontrollskoler: skoler som bruker PALS sammenlignes med skoler som ikke bruker PALS, men som ligner på PALS-skolene i elevsammensetning og geografi. Denne evalueringen gir ikke nok grunnlag for entydig å konkludere om programmets virkemåter i en norsk kontekst. Forskerne bak PALS-programmet er bevisst på flere av svakhetene ved designet i den første evalueringen og det er derfor prisverdig at de har satt i gang en ny, svært omfattende evaluering med et design som virker lovende (Sørlie & Ogden 2014). For skolene som forsøker å optimalisere sitt arbeid med skolemiljøet, kan det sees som en fordel at det benyttes mange ulike tilnærminger og elementer fra ulike programmer – ikke bare ett program. Et spørsmål er om dette skal sees som en fruktbar strategi, eller om det skal forstås som «uren» bruk av programmene («svak implementeringskvalitet»).

For programeiernes effektmålinger bidrar såkalt programkontaminering til at det er vanskelig å måle rene effekter av enkeltprogrammer på grunn av uklare grenser mellom skoler som følger et bestemt program og skoler som ikke gjør det. I vår studie av de fire skolemiljøprogrammene kan det se ut til at flere skoler som benytter PALS er dedikert og jobber helhetlig med programmet i forhold til de andre programskolene. Dette kan gi noe bedre muligheter til å måle endringer ved skolene som deltar i implementeringen av programmet, men sammenligningsskolene vil likevel i stor grad drive andre tiltak for bedre skolemiljø som man ikke kan «kontrollere» for. Dette kan bidra til at effektene av programmet underestimeres, eller at man ikke kan trekke konklusjoner om at et program er bedre enn andre tiltak for skolemiljøet.

Målingen av forekomst av mobbing

Fordi PALS har et noe annet siktemål enn de tre andre skolemiljøprogrammene som omtales i rapporten, måles ikke forekomsten av mobbing i PALS’ evalueringer. Diskusjonen om hvordan «mobbing» måles i evalueringene, vil derfor dreie seg om Respekt, Zero og fremfor alt Olweusprogrammet – som har gått foran i denne type forskning i Norge og internasjonalt.

Etter vår vurdering er kvaliteten på evalueringen av Olweus-programmet høy og de empiriske testene særdeles grundige – med ett spørsmålstegn: hva er det elevene legger i mobbebegrepet når de svarer på spørreskjemaet? I spørreskjemaene som elevene får utdelt, spørres det blant annet om hvor ofte elevene er blitt utsatt for «mobbing». Etter vår oppfatning endrer bruken av program-met trolig elevenes oppfatning av hva «mobbing» innebærer, slik at man i realiteten kan stå i fare for å måle forekomsten av et annet fenomen før intervensjonen enn etter intervensjonen («testeffekter»). Barna kan tenkes å lære gjennom programmet at mobbing har en smalere definisjon enn de er vant til å bruke i dagligtale. Dermed kan målingen vise nedgang i «mobbing» uten at de konkrete negative hendelsene er redusert. Dette kan ha bidratt til å overdrive effektene av mobbeprogrammet, særlig i de tidligste studiene. Hvor stort problemet eventuelt er, er vanskelig å avgjøre med bakgrunn i den empirien som finnes. Det vil derfor være av stor verdi å få undersøkt nærmere hvordan barn og unge svarer på spørreskjemaene, og hva de har lagt i mobbebegrepet når de krysser av i skjemaet henholdsvis før og etter at intervensjonen har funnet sted.

Dersom det er tilfelle at det er uklart hva ulike elever legger i mobbebegrepet, er det en forbedring av evalueringsverktøyet å stille spørsmål om konkrete negative hendelser. I utviklingen av spørreskjemaet er det etter hvert tillagt en rekke spørsmål om slike konkrete hendelser der ordet «mobbing» ikke er brukt i selve spørsmålet. I den siste Olweus-evalueringen er det også inkludert en svært konkret og detaljert – og dermed lang – definisjon av «mobbing» innledningsvis, som bidrar til at respondenten får et bedre grep om hva som skal defineres som mobbing – gitt at de får med seg innholdet i den lange definisjonen.

Resultatene fra evalueringene av Zero og Respekt er til dels utsatt for det samme problemet fordi de langt på vei bruker det samme undersøkelsesdesignet. Riktignok bruker både Zero og Respekt en skala for mobbing og utsatthet for mobbing som summerer alle de fire spørsmålene om mobbing (henholdsvis generelt, erting, bli utestengt og slått/sparket/dyttet) (Roland m.fl. 2010, Ertesvåg & Vaaland 2007). Dermed reduseres innflytelsen av uklarhet om hva «mobbing» er. Men når prosentandelen som mobber eller er utsatt for mobbing beregnes, brukes likevel andelen elever som har svart «ukentlig» eller «daglig» på det generelle spørsmålet hvor mobbebegrepet inngår.

De publiserte evalueringene av disse to programmene viser mer varierende resultater når det gjelder reduksjon av mobbing, og det er heller ikke gjennomført like mange analyser som i Olweus-programmet for å sannsynliggjøre at programmene har hatt effekt. Vi mener også at det kan være grunn til å være kritisk til om svaralternativene i spørreskjemaet som er brukt for å evaluere disse programmene, har vært utformet på en måte som gjør at de godt nok klarer å fange opp endringer i mobbing etter at programmet er innført.

Skalaen for mobbing og utsatthet for mobbing i evalueringen av Respekt går fra 1 til 4, og det er svaralternativene «aldri» og «av og til» som tilsvarer de to nederste verdiene. I en sammenligning av gjennomsnittet på denne skalaen fra før programmet er innført til etter, kan det fremkomme en nedgang i gjennomsnitt dersom mange av elevene har beveget seg fra «månedlig» til «av og til», eller fra «av og til» til «aldri». Men er elevene i stand til å gi en presis vurdering av hvor på skalaen de skal krysse av? Det er vanskelig å tolke hva tallene som indikerer endring innebærer, når de aller fleste svarer at de blir mobbet «aldri» eller «av og til», og hvilken kategori de velger, kan være litt tilfeldig.

Hvorfor måles ikke krenkelser?

I opplæringslovens kapittel 9a defineres trusselen mot elevenes psykososiale miljø som «krenkjande ord eller handlingar som mobbing, diskriminering, vald eller rasisme». Rettsliggjøringen av godt skolemiljø ved skolene og dreiningen i retning av krenkelser – som springer ut av et videre perspektiv enn mobbing – har utvidet fokuset på hva som defineres som problemer ved skolenes læringsmiljø i dag. Krenkelser dreier oppmerksomheten mer mot hvordan den enkelte opplever negative hendelser. Et slikt perspektiv fordrer dermed en annen måte å stille spørsmålene på i en kartlegging av det psykososiale miljøet i skolen.

Å dreie perspektivet fra «mobbing» til «krenkelser» innebærer å utvide definisjonen av mobbing på flere måter. For det første bidrar det til at elever som føler seg krenket, kan inkluderes som ofre for mobbing, selv om handlingen i seg selv ikke tilfredsstiller definisjonen av «mobbing» (som hos Olweus defineres som «negativ handling» som er gjentagende, ulikt styrkeforhold mellom partene). For det andre kan det inkludere negative hendelser som ikke er gjentatt mange ganger, fordi det ifølge loven skal reageres fra skolens side også ved krenkende, alvorlige enkelttilfeller. For det tredje kan det bidra til en utvidelse ved at åpenbart krenkende hendelser, men hvor offeret tar ig jen mot mobberen eller den som utøver krenkelsen, også kan inkluderes. I et krenkelsesperspektiv blir det også tydelig at ulike typer diskriminering må innlemmes.

I de tidlige Olweus-evalueringene og evalueringene av Respekt og Zero brukes det overordnede enkeltspørsmålet om mobbing, etterfulgt av tre oppfølgingsspørsmål som konkretiserer visse negative hendelser. Mobbebegrepet er fortsatt svært fremtredende i alle tre spørreskjemaer. Dermed møter ingen av disse endringene den kritikken som begrunnes i et krenkelsesperspektiv. Spørreskjemaet står dermed i fare for å ikke kunne fange opp hendelser som vil kunne defineres som krenkende, men som faller utenfor den definisjonen av «mobbing» som brukes i spørreskjemaet og som undervises i programmet.

Alvorlige enkelttilfeller, hendelser der offeret tar igjen, seksuell trakassering, diskriminering – utover etnisk diskriminering i den amerikanske versjonen – omfattes ikke. Til tross for den konkretiseringen av hendelser som spørreskjemaet også inneholder, er det fortsatt mobbebegrepet som benyttes som paraplybegrep for handlingene som måles, og offerets følelse av å ha blitt krenket utgjør ikke en side av denne definisjonen. I tråd med utfordringen fra krenkelsesperspektivet ville det derfor være riktig å konkretisere hendelser slik det til dels er gjort, men i tillegg unngå begrepet «mobbing», og også utvide listen over hendelser til å omfatte enkelttilfeller, tilfeller der det var mer likhet i styrkeforhold samt seksuell trakassering og diskriminering, i evalueringer av skolemiljøprogrammenes virkninger. Et skolemiljøprogram som «virker», må også klare å bidra til reduksjon av krenkelser og dokumentere dette.

Nå kan det anføres at dette er en kritikk som bare treffer selve definisjonen og måleinstrumentet i evalueringene av Olweus, Respekt og Zero, og at alle de fire programmene gjennom sin innretning mot aggressiv atferd og positivt skolemiljø i praksis uansett kan bidra til at nivået av krenkelser, går ned. Poenget i denne sammenheng er at vi ikke kan vite om det i så fall er slik, fordi krenkelser ikke er satt eksplisitt på dagordenen verken i bruken av programmene (Olweus, Zero eller Respekt) eller i evalueringene av dem. Også når det gjelder PALS kunne inklusjon av krenkelser i spekteret av evalueringsindikatorer i PALS’ egenevalueringer vært nyttig, og tilsynelatende ikke i strid med det grunnleggende perspektivet som PALS hviler på.

En ny forståelse av mobbing

Dan Olweus’ perspektiv på mobbing beskrives som paradigmatisk – dominerende – på forskningsfeltet (Skolverket, 2009), et resultat av Olweus’ epokegjørende bok Hakkekyllinger og skolebøller. Forskning om skolemobbing som kom i 1974 (Olweus, 1974). Dette perspektivet beskrives av enkelte andre forskere som et individualpsykologisk syn på mobbing (Skolverket 2009, Schott 2014). I de første bøkene sine (1974, 1993) beskrev Olweus mobberen som en aggressiv person med bestemte personlighetstrekk som gjorde mobberen disponert for å mobbe.

Robin May Schott og Dorte Søndergaard lanserte i 2014 det de kaller for et nytt paradigme i forståelsen av mobbing med boken School bullying. New theories in context (Schott & Søndergaard 2014). I boken kritiser de Olweus’ individualpsykologiske mobbeperspektiv og hevder at dette perspektivet bygger på antagelser som kan ha uheldige og ødeleggende konsekvenser for skolenes arbeid med skolemiljøet. For det første at Olweus’ perspektiv plasserer de grunnleggende årsakene til mobbing (barns personlighetstrekk) primært utenfor klasserommet, og ikke i dynamikken i selve barneog ungdomsgruppen. For det andre at årsaken til mobbingen kobles til relativt stabile karaktertrekk hos mobber/offer, og ikke til omskiftelige eller flyktige roller. Schott (2014) argumenterer i boken for at disse antagelsene er problematiske på flere måter, og mener at det er klasserommets interne sosiale dynamikk som er avgjørende, og at rollene som «mobber» og «mobbet» er omskiftelige og flyktige posisjoner som alle barn kan innta.

Dette nye perspektivet på mobbing springer ut av en annen tradisjon enn de skolemiljøprogrammene som vi har omtalt her, legger til grunn. I vår analyse av den faktiske programbruken i skolene, finner vi at skolenes bruk av tiltak og skolemiljøprogrammer likevel i stor grad er løsrevet fra Olweus’ teoretiske forståelse av mobbing (Eriksen, Hegna, Bakken, & Lyng, 2014). Snarere er det slik at programmenes tiltak og skolenes faktiske bruk i praksis legger vekt på de sosiale relasjonene mellom barna i skolen, og har tiltak for å endre på dynamikken i klassen.

Den Olweus-inspirerte definisjonen av mobbing kan allikevel ha stor innflytelse på hvordan både elever og voksne opplever og fortolker hva mobbing er, og hvilke situasjoner man mener krever voksnes aktive innblanding. Det vil derfor være interessant å ha et blikk for hvordan disse ulike forståelsene av mobbing vil få betydning i skolenes arbeid med skolemiljø fremover. Dersom de allerede preger de tiltakene som skolene iverksetter, bør det kanskje også få betydning for selve den forståelsen av mobbing som ligger i skolemiljøprogrammene. Og i neste omgang; kan en ny forståelse av mobbing kunne få betydning for den måling av forekomst av mobbing som programmenes evalueringer bygger på?

Spørsmål som fortsatt står åpne

Vår konklusjon er at evalueringene i hovedsak er gode, men at de varierer noe i kvalitet. Samtidig etterlyser vi mer kunnskap om hva barn og unge legger i mobbebegrepet når de svarer på spørreskjemaene som ligger til grunn for evalueringene. Og selv om programevalueringene konkluderer med at programmene oppnår de ønskede virkningene, er det ut fra de publiserte evalueringsresultatene vanskelig å vite hva det er ved programmene som eventuelt virker. Det er heller ikke klart om programmene virker like godt for alle grupper av elever. Etter vår vurdering er kanskje det viktigste spørsmålet i årene framover innenfor programevalueringsforskningen å få mer kunnskap om under hvilke forutsetninger denne typen programmer virker: Er det noen skoler som lykkes bedre i programarbeidet enn andre? Og hva er det i så fall med disse skolene?