En välbevakad världshemlighet

REPORTAGE. Stressen är påtaglig hos Pisa-teamet i Paris inför lanseringen av de nya resultaten. Och sekretessen kring siffrorna är rigorös.

– Det är så hemligt att jag inte ens kan svara på exakt hur de lyckas hålla det hemligt, säger kommunikatören Henri Pearson.

En andfådd kvinna kommer springande efter oss precis när vi öppnar dörren. Hon stoppar fotografen Kristofer Sandberg medan han packar undan kameror och objektiv efter några timmars svettigt jobb.

– Ursäkta, jag tror att du fick med en av mina kollegors skärmar på bild. Du måste radera den bilden, säger hon.

Vi är på plats på OECD:s huvudkontor i Paris för att följa arbetet bakom kulisserna med PISA 2018. Den andra december presenteras resultaten för deltagarländernas regeringar och dagen därpå lanseras de till allmänheten. Intresset världen över är i vanlig ordning enormt.

Massiv är också mängden data och analyser som nu ska sammanställas från de 80 deltagarländerna.

– Det är otroligt stressigt här just nu. De flesta jobbar över både kvällar och helger för att allt ska bli klart i tid, berättar kommunikatören Henri Pearson.

På hela OECD i Paris jobbar cirka 3 000 personer, fördelade på två stora kontorskomplex. Mer centralt ligger slottet, Château de la Muette, det officiella huvudkontoret där den största delen av representationen äger rum. Det är också där som det stora evenemanget för att presentera PISA 2018 kommer att gå av stapeln.

”Vi vill inte att resultaten ska användas för politiska syften. Hur länderna själva använder listorna varierar mycket. Vissa jämför framför allt sina egna resultat över tid.”

Här ute i Boulogne-Billancourt finns i första hand de som på olika sätt jobbar med innehållet. Till exempel analytiker och kommunikationsavdelningen där Henri Pearson arbetar.

Den här måndagen i september är det inte så många på plats på våning fyra, där utbildningsavdelningen upptar största delen av det stora våningsplanet.

– Ju mer stressigt det blir, desto mer behov har folk att jobba hemifrån för att kunna fokusera.

Henri Pearson har en bakgrund från näringslivet och rötter i Storbritannien. Med dämpad röst guidar han oss runt i det öppna kontorslandskapet, ett gytter av skrivbord framför stora glasrutor. Där det finns dörrar att stänga har rummen en siffra i stället för namn.

– I början gick jag vilse här hela tiden, det var väldigt förvirrande.

Av alla OECD:s anställda, av vilka runt 200 jobbar på utbildningsavdelningen, är det bara tio personer och direktören Andreas Schleicher (se intervju på sidan 30) som känner till resultaten för Pisa 2018.

Där ingår till exempel inte kommunikatörerna.

– Nej jag har ingen aning. Det är så hemligt att jag inte ens kan svara på exakt hur de lyckas hålla det hemligt, säger Henri Pearson.

En del av det kan dock Miyako Ikeda berätta om. Hon är senior analytiker i Pisa-teamet och har jobbat med undersökningen sedan 2004.

– Vi satsar väldigt mycket på säkerheten. Allt produceras bakom kod, till exempel kan ett land ha koden A123, och det är bara vi i Pisa-teamet som vet vad siffrorna står för. Så även om någon internt skulle råka få se något material ska de egentligen inte kunna lista ut vilket land det handlar om, berättar hon.

Alla som tar del av resultaten måste först skriva under ett sekretessavtal. Och Pisa-teamet får inte använda vanlig epost eller printa ut något som rör materialet.

– Vi är inte oroliga för att någon ska läcka, men det finns en risk att någon skulle råka sprida hemligt material i misstag.

Inför vårt besök har de fått instruktioner om att växla till resultatet från 2015 på sina skärmar, så att inga aktuella siffror ska råka fångas på bild. Men en skärm hade de alltså missat och fotografen får snällt se till att den bilden inte lämnar byggnaden med oss.

Några timmar tidigare, medan vi väntade på att vakterna skulle hitta oss i systemet, kunde vi se hur de stora järngrindarna släppte ut minst fem hurtiga anställda som passade på att ta en löptur under lunchen.

Kommunikatören Henri Pearson trivs med sitt jobb.

– Här jobbar många unga och väldigt smarta människor från hela världen, med olika bakgrunder. Inte bara utbildningsexperter utan också ekonomer, vilket gör det till en otroligt intressant mix av kunskap. Det som alla har gemensamt är ett brinnande intresse för utbildning.

Vad är det stora samtalsämnet bland er just nu, under luncher och i kafferummet?
– Jag skulle säga att det är frågan om vilka förmågor som elever behöver för att hantera 2000-talet. Det vi alla jobbar med på olika sätt är ju hur skolsystemen måste förändras för att möta de utmaningar vi står inför i dag. Om det finns saker som lärs ut i dag som inte behövs längre och vad som behöver läggas till.

”Det är en ständig utmaning att hitta de frågor som fungerar på samma sätt i alla länder. Speciellt i de mer innovativa delarna blir det här jätteviktigt.”

Just den frågan – vad elever egentligen behöver kunna – är något som verkligen genomsyrar allt som Miyako Ikeda och Pisa-teamet jobbar med. De pratar om ramverket. Det är där varje ny Pisa-cykel börjar, i själva definitionerna av vad som ska och kan mätas. Det är något som det enorma konsortiet av experter och nationella representanter först måste komma överens om innan man kan påbörja arbetet med själva testfrågorna.

Dels handlar det om vilken ny förmåga som ska testas i varje omgång och hur den ska definieras. Dels om att uppdatera de tre kärnämnena som är basen för Pisa-testen över tid – läsförståelse, matematik och naturvetenskap.

– Kärnämnena har ett ramverk sedan tidigare testomgångar, men var nionde månad ser vi över om de behöver revideras.

När ramverket för läsförståelse slogs fast inför PISA 2018 skiftades mycket fokus till digital läsning. Här har det hänt väldigt mycket sedan förmågan testades första gången år 2000.

– Då skedde fortfarande den största delen av läsningen på papper. Det innebär att du inte får så många möjligheter att välja en egen väg genom materialet. När vi läser digitalt klickar jag på ett ställe, medan du börjar på ett annat. Källan till läsning är i dag mycket mer komplicerad och du som läsare måste själv välja vilken väg du ska ta.

Över tid har också balansen förändrats mellan olika delar av testet.

– Det är olika nivåer på frågorna. En del mäter hur eleverna hittar den information som efterfrågas, en del hur de förstår innehållet och en del mäter kritiskt tänkande. Tidigare var det ganska jämn fördelning mellan dem, i dag är det mer fokus på den kritiska och innovativa delen.

OECD testar också, som sagt, en ny förmåga i varje omgång. Det är något som deltagarländerna får välja om de lägger till eller inte.

Tidigare har det varit exempelvis sociala förmågor och finansiell litteracitet. Den nya förmågan i PISA 2018 är global kompetens. Det definieras som elevers förmåga att tänka globalt, förstå andra kontexter än den egna och inse hur olika system påverkar varandra.

Den här gången var det många länder – däribland Sverige tillsammans med de övriga nordiska länderna, men också USA och Frankrike – som valde bort den nya delen.

Miyako Ikeda tror att det beror på att många vill avvakta vad kompetensen innebär innan de deltar.

– Vi har gjort vårt bästa och de flesta länder var överens om idén att mäta global kompetens. Vi har dock tillräckligt med deltagare och data för att sammanställa också dessa resultat.

Den här delen av resultatet presenteras inte i december utan först till våren.

– Det kommer inte att bli ett typiskt Pisa-resultat där man får en siffra per land. Det är ett ämne som är för mångfasetterat för det. I stället blir det troligtvis en mer multidimensionell presentation, där ett land kan vara starkt inom vissa områden och samtidigt svaga i andra. Det blir en slags spindelväv i stället för en lista.

Huruvida det är en bra idé att presentera resultaten från kärnämnena i form av en lista är naturligtvis inte heller en okontroversiell fråga.

Stämmer det att rankningen inte är statistiskt säkerställd när det handlar om exakta platser i listan?
– Det stämmer. När det handlar om vem som är på plats ett eller två till exempel kan vi inte vara säkra. Det viktiga är egentligen att se vilken större grupp landet placerar sig i.

Samtidigt är det just rankningen som de flesta fokuserar på.
– Vi vill inte att resultaten ska användas för politiska syften. Hur länderna själva använder listorna varierar mycket. Vissa jämför framför allt sina egna resultat över tid.

I Sverige finns det en hel del kritik mot att vi har stressat fram reformer på grund av Pisaresultaten och framför allt på grund av just rankning.
– Det gäller tyvärr de flesta länder. Vi brukar säga att man måste ha lite is i magen. Om det är ett plötsligt fall ska man vänta en cykel till för att se om det verkligen är en trend. Sedan måste man också tänka på att det är väldigt svårt att slå fast hur lång tid det tar innan de förändringar man implementerat verkligen fått effekt. Vi testar 15-åringar och då har de redan hunnit gå i skolan i åtta år.

Men man kommer inte ifrån att ni har mycket makt i skolvärlden. Hur pratar ni om det?
– Vi pratar om det på så vis att vi inte vill vilseleda. Vi vill förstås öka vårt inflytande, men på rätt sätt.

– En kritik som riktas mot OECD är att vi står för en ny form av kolonisation, av utbildning. Det är smickrande, men i verkligheten stämmer det inte, för deltagarländerna är otroligt kritiska till hur saker mäts och rapporteras. Rapporterna utvärderas två gånger på nationell nivå innan de godkänns och så fort vi går för långt i någon bemärkelse säger de stopp.

En viktig del av förberedelserna handlar om att OECD behöver input från varje land för att undvika att testen präglas av kulturell partiskhet från något lands sida.

– Det är en ständig utmaning att hitta de frågor som fungerar på samma sätt i alla länder. Speciellt i de mer innovativa delarna blir det här jätteviktigt.

I nästa omgång blir den nya förmågan som testas kreativt tänkande.

– Det är första gången vi testar det och det är extra svårt. Här måste vi verkligen komma överens om vad vi mäter. Det som anses kreativt i ett land behöver inte alls vara det i ett annat.  Men inte bara det, vi måste också komma överens om vad vi kan mäta, det vill säga vad som är synligt.

– Det är också en del av kritiken – att vi slår fast vad som är viktigt. Men vad vi visar är egentligen bara vad som kan mätas.

Var det något som förvånade er när ni analyserade resultaten i den här omgången?
– Inte när det gäller själva rankningen och enskilda länders resultat. Men däremot fanns det flera saker som förvånade när det handlar om kopplingen mellan resultaten och forskningen inom området. Det vill säga att det fanns eller inte fanns samband som vi hade förväntat oss.

Vad tycker du att vi som tar del av resultaten inte ska missa?
– Det som jag tycker är väldigt fascinerande är frågan om mindset. Vi frågar om elever tror att intelligens är medfött eller om det är något som kan påverkas genom att man anstränger sig. Vi har ju antagit i kanske tio år att elever i de östasiatiska länderna som presterar bra också tror på att ansträngning gör skillnad – nu testar vi den hypotesen för första gången.

En annan nyhet för i år som Miyako Ikeda vill lyfta är frågorna om hur elever mår.

– Vi frågar om de är nöjda med sitt liv, om de är oroliga eller ledsna. I slutändan är det ju det som betyder något.

När resultatet presenteras i december laddas alla data – svaren från de 600 000 elever som deltagit – upp på OECD:s webbplats.

Tar folk del av materialet ni har på er webbplats, utöver rankningen?
– Inte den tredje december, då tror jag de flesta kommer att fokusera på rankningen. Men lite senare är det många forskare som använder sig av materialet.

Och beslutsfattare?
– Det kan vara lite svårt att ta del av själva datan på mikronivå ifall man inte är van vid storskaliga databaser. Men det finns en interaktiv visualisering som alla kan använda, även lärare och elever.

Men just lärare, elever och rektorer hör enligt Miyako Ikeda till den grupp som OECD har svårast att nå.

– Myndigheter och beslutsfattare har vi bra kontakt med, men inte lika mycket med den grupp som vi faktiskt borde nå.

Intresset för PISA hos allmänheten varierar också mycket beroende på land, kanske hänger det ihop med hur landet i fråga klarat sig i testet.

Henri Pearsons hemland England har alltid legat på ett europeiskt genomsnitt. Och själv kan han faktiskt inte svara på om det egna landet gick upp eller ner i den senaste omgången. Där verkar inte resultaten heller skapa riktigt lika stora vågor i skoldebatten som i Sverige.

Eller några vågor alls.

– Min mamma är lärare, men hon hade inte hört talas om Pisa innan jag började jobba här för två år sedan.

I den gemensamma kafeterian pratas det mycket om framtidens skola bland medarbetarna på OECD:s utbildningsavdelning, berättar kommunikatören Henri Pearson.

Prev
Next

 

Taggar

Sara Othman

Sara Othman

Journalist och redaktör på Grundskoletidningen.

Erbjudande - bli prenumerant!

Just nu får du det aktuella numret om PISA-undersökningen på köpet när du tecknar en prenumeration. Gäller t.o.m. 31 december 2019.
Läs mer

Så här kan du läsa vidare
Logga in eller börja prenumerera så får du tillgång till alla fördjupande och inspirerande artiklar i Grundskoletidningen och Pedagogisk snabbguide.
Kompetensutveckling när den är som bäst.

Bli prenumerant