Passport to Success — En uavhengig evaluering av sosial-emosjonell læring i engelske barneskoler

Passport to Success — En uavhengig evaluering av sosial-emosjonell læring i engelske barneskoler

Kunnskapshull

Psykisk helse hos barn er et voksende folkehelseproblem i England. Anslagsvis 16 prosent av barn mellom 5 og 16 år lever med psykiske vansker, og forskning viser at flertallet av alle psykiske lidelser hos voksne har sin opprinnelse i barne- og ungdomsårene. Å gripe inn tidlig — gjerne i skolen — er derfor et prioritert mål i britisk helsepolitikk.

Sosial-emosjonell læring (SEL) er en av de mest brukte tilnærmingene. Internasjonale oversiktsstudier (meta-analyser) viser at slike programmer i gjennomsnitt har positiv effekt, og de er i utstrakt bruk i engelske skoler. Men den overordnede forskningen skjuler viktige blindsoner:

• For hvem virker programmene? Effekter varierer på tvers av kjønn, sosiøkonomisk bakgrunn, etnisitet og tilstedeværelse av særskilte behov.
• Hvordan og hvorfor virker de? Mekanismene bak effektene er dårlig forstått, noe som gjør det vanskelig å forbedre eller tilpasse programmene.
• Holder effektene over tid? De fleste studier måler effekter rett etter intervensjonen. Hva skjer ett år eller to år senere?
• Er programmene kostnadseffektive? Skoler har begrensede ressurser. Spørsmålet om hva et program koster — i penger og tid — er sjelden besvart.
• Er de uavhengig evaluert? Mange programmer i bruk i britiske skoler er kun evaluert av dem som har utviklet dem.

Passport: Skills for Life representerte et slikt gap. Programmet var i bruk i engelske skoler og hadde dokumentasjon fra utvikleren — men ingen uavhengig, randomisert evaluering.

Executive Summary

Dette prosjektet gjennomførte den første uavhengige, randomiserte kontrollerte studien (RCT) av Passport: Skills for Life — et universelt sosial-emosjonelt læringsprogram for barn i alderen 9–11 år, utviklet for bruk i engelske barneskoler.

62 skoler i Greater Manchester og omegn deltok. Over 2 400 barn inngår i studien. Halvparten av skolene gjennomførte Passport-programmet; resten fortsatte som normalt. Barn ble målt ved tre tidspunkter: oppstart, avslutning og tolv måneder etter avslutning.

Hovedfunnet: Passport hadde ingen statistisk signifikant effekt på internaliseringssymptomer (angst, depresjon) eller noen av de sekundære utfallsmålene ved verken post-intervensjon eller ett år senere.

Den økonomiske analysen fant at programmet ikke var kostnadseffektivt. Den kvalitative prosessevalueringen avdekket at lærere satte pris på tegneserieheftene og mulighetene for emosjonell refleksjon, men at programmet skapte utfordringer knyttet til differensiering og inkludering av elever med særskilte behov (SEND).

Til tross for null-funn på effekt leverer studien betydelig ny kunnskap: metodisk, om implementeringsprosesser og om forutsetninger for kostnadseffektivitet. Funnene er publisert i åpne, fagfellevurderte tidsskrifter, formidlet til skoler og benyttet i dialog med beslutningstakere.

Metode

Studien benyttet et to-armet parallelt klynge-randomisert kontrollert design (cluster RCT), der skoler — ikke enkeltbarn — ble randomisert til enten intervensjons- eller kontrollgruppe. Dette er det sterkest mulige design for å teste effekten av skolebaserte programmer, og tilsvarer gullstandarden i medisinsk forskning.

Utvalg og rekruttering

62 barneskoler ble rekruttert fra Greater Manchester og omliggende områder. Totalt 2 425 elever inngår i intention-to-treat-utvalget (ITT) — det vil si alle som ble inkludert ved oppstart, uansett faktisk gjennomføring.

Intervensjon

Skoler i intervensjonsgruppen implementerte Passport: Skills for Life, et 10-ukers universelt SEL-program for 9–11-åringer, levert av klasselærere gjennom ukentlige leksjoner basert på tegneseriehefter og strukturerte aktiviteter.

Utfallsmål

• Primært: Internaliseringssymptomer (angst, depresjon) målt med Strengths and Difficulties Questionnaire (SDQ)
• Sekundære: Emosjonsregulering, trivsel, ensomhet, mobbing (som offer og utøver), og opplevd jevnalderstøtte

Måletidspunkter

• T1: Baseline (før intervensjon)
• T2: Post-intervensjon (umiddelbart etter programmet)
• T3: 12-månedersoppfølging

Prosessevaluering

En implementerings- og prosessevaluering med blandede metoder supplerte RCT-en, inkludert lærerspørreskjemaer, kvalitative casestudier og klasseromsobservasjoner. Unge mennesker fra organisasjonen Common Room bidro aktivt gjennom hele studien.

Statistisk analyse

Analyser fulgte en pre-registrert statistisk plan. I tillegg til standard ITT-analyse ble det gjennomført en multiverse CACE-analyse (Complier Average Causal Effect) for å undersøke hvordan ulike definisjoner av «programcompliance» påvirker konklusjoner.

Funn

Hovedfunn

1. Ingen effekt på psykisk helse eller sosial fungering

Passport: Skills for Life hadde ingen statistisk signifikant effekt på internaliseringssymptomer ved verken post-intervensjon (effektstørrelse d = -0,04) eller ved 12-månedersoppfølging. Tilsvarende nullfunn ble observert på samtlige sekundære utfallsmål: emosjonsregulering, trivsel, ensomhet, mobbing og jevnalderstotte.

Dette er et robust funn. Effektstørrelsen er svært liten og statistisk ubetydelig. Studiens størrelse (over 2 400 barn, 62 skoler) gir tilstrekkelig statistisk kraft til å oppdage selv moderate effekter dersom de hadde eksistert.

2. Ikke kostnadseffektivt

Den helseøkonomiske analysen fant at programmet ikke er kostnadseffektivt. Analysen avdekker dessuten at skolers beslutningsprosesser rundt programadopsjon er flerdimensjonale: de handler ikke bare om pris og evidens, men om verdier, kapasitet og institusjonell identitet.

Sekundærfunn

3. Implementering er ikke lik intensjon

Prosessevalueringen viste et gjennomgående mønster: komplekse instruksjonselementer i Passport-programmet ble systematisk forenklet og forkortet i klasseromspraksis. En «core components»-analyse koblet programmets teori med faktisk gjennomføring og avdekket at akkurat de elementene som i teorien skulle produsere effekt, var de som oftest ble kuttet ned.

Dette er en viktig observasjon: null-funn kan skyldes at programmet ikke virker — men de kan også skyldes at programmet aldri ble levert slik det var ment.

4. Utfordringer knyttet til inkludering

Lærere rapporterte at programmet hadde vansker med å differentiere tilstrekkelig for elever med særskilte behov (SEND). En av de innsendte artiklene undersøker mulige iatrogeniske effekter — at programmet potensielt kan ha hatt negativ effekt på SEND-elever.

Redaksjonelt forbehold: Dette funnet er under fagfellevurdering og bør ikke inkluderes i ekstern kommunikasjon før publisering er bekreftet.

5. Metodisk bidrag: Multiverse CACE-analyse

Studien introduserte en metodisk tilnærming med bred relevans: en multiverse-analyse av complier average causal effects (CACE). Analysen demonstrerte systematisk hvordan ulike valg av compliance-definisjoner påvirker konklusjoner om effekt — et viktig bidrag til metodelitteraturen.

6. Lærernes perspektiver

Den kvalitative evalueringen viste at lærere gjennomgående verdsatte tegneserieheftenes format og de strukturerte mulighetene for emosjonell refleksjon. Utfordringene var primært knyttet til differensiering og til at programmet krevde mer av lærerne enn forventet.

Konklusjon

Studien konkluderer med at Passport: Skills for Life ikke bør anbefales for bredere implementering i engelske barneskoler basert på tilgjengelig evidens. Programmet viste ingen effekt på psykisk helse eller sosial fungering i en vel gjennomført, uavhengig RCT med sterk statistisk kraft.
Dette er et viktig signal til beslutningstakere: popularitet og utviklerfinansiert dokumentasjon er ikke tilstrekkelige grunnlag for å investere i skolebaserte programmer. Uavhengig evaluering er nødvendig.

Studien bidrar imidlertid med kunnskap som strekker seg langt utover selve Passport-programmet:

• Den demonstrerer at implementeringskvalitet er kritisk og at selv velintenderte programmer kan degraderes i praksis
• Den dokumenterer at universelle programmer kan ha ulike — og potensielt negative — effekter for sårbare undergrupper
• Den bringer inn en ny metodisk standard for compliance-analyse i RCT-studier
• Den viser at skolebaserte kostnads-nytte-vurderinger er mer komplekse enn helsesektoren legger til grunn

For Kavlifondet representerer prosjektet en investering i den typen kunnskap som sjelden produseres ellers: uavhengig, streng og villig til å levere ubehagelige svar. Det er nettopp denne typen forskning som gjør det mulig å skille mellom det som virker og det som bare ser bra ut.

Tre PhD-studenter har bygget sine doktorgrader på dataene fra studien. 11 vitenskapelige artikler er publisert, under fagfellevurdering eller i arbeid. Alle deltagende skoler har mottatt individualiserte rapporter. Funnene formidles aktivt til beslutningstakere i britisk utdanningspolitikk.

Alle publikasjoner fra prosjektet er tilgjengelige med åpen tilgang. Prosjektets OSF-side: https://osf.io/8znvx/overview