01
02
03
04
05

Pisa for dummies

GUIDE. Vill du förstå hur den svenska skolan faktiskt mår utifrån Pisaresultaten? Då ska du börja med att läsa den här guiden som berättar var fallgroparna ligger och vilka siffror som faktiskt betyder något.

Var tredje år samma sak. Medan julen nalkas och lärarna så smått börjar med terminsbetygen kallar OECD och Skolverket till presskonferenser. Det är dags att meddela hur Sveriges femtonåringar ser ut att klara sig i vuxenlivet. Under dagarna som följer sammanfattas studien gärna med ytterligheter – som ”chocken” 2012 och ”glädjebeskedet” 2015.

Men mediedramaturgin ger sällan en så nyanserad bild som ett test av det här slaget i själva verket förtjänar.

– Ofta utbryter också en något förvirrad diskussion där det framförs mer eller mindre genomtänkta förslag till tolkningar av resultaten, säger Jan-Eric Gustafsson som är senior professor i pedagogik vid Göteborgs universitet.

– Man ska veta att det här är exceptionellt komplexa saker som inte är lätta att begripa sig på. Tvärsäkra uttalanden om orsaker till resultatet eller lösningar på problem bör man därför vara försiktig med.

Så hur ska landets lärare och skolledare förhålla sig till medieapparaten som med all sannolikhet kommer att dra igång i december, med dess många tolkningar och analyser?

– Man bör helt enkelt ha viss skepticism och försiktighet. 

Pisa
Illustration: Kristian Ingers

Testdesignen – fördelar och nackdelar

Den som vill förhålla sig sunt skeptisk till alla växlar som dras i samband med Pisapubliceringen, bör med fördel ha en någorlunda klar bild över hur testet är uppbyggt och hur det genomförs.

Testet – som sedan 2012 genomförs på datorer – prövar som bekant elevernas förmågor inom matematik, naturvetenskap och läsning, vilka brukar betraktas som en minsta gemensam nämnare för OECD-länderna. Ämnesområdena turas om att vara huvudämne. I år är det dags för läsning vilket innebär att ämnets prov består av hela 100–150 uppgifter, jämfört med de dryga 30 uppgifter som förekommer i de andra två.

– Orsaken är helt enkelt att de inblandade ska få en rimlig arbetsbörda, förklarar Jan-Eric Gustafsson.

Upplägget innebär bland annat att Pisa är mer försiktiga i tolkningarna av de två mindre testerna, eftersom

osäkerheten där är större. En enskild elev gör dock bara en mindre andel av huvudtestets många komplexa, tidsödande och omfattande uppgifter, berättar Jan-Eric Gustafsson.

– En statistisk modell sammanfogar sedan de olika elevernas delar till en helhetsskattning för hela landet. Man arbetar med samma grundläggande principer som alla internationella undersökningar, som till exempel TIMSS. Det hela är väldigt komplicerat och sofistikerat.

Valet av de tre ämnesområdena är adekvat, anser Jan-Eric Gustafsson, i och med att de brukar betraktas som centrala färdighetsämnen.

Jan-Eric Gustafsson

Jan-Eric Gustafsson är senior professor i pedagogik vid Göteborgs universitet och var ordförande i Skolkommissionen.

– Men visst kan man diskutera varför man inte har med vissa andra ämnen, som samhällskunskap, med tanke på hur viktigt det är att känna till hur samhället och demokratiska institutioner fungerar. Det finns för övrigt en sådan internationell undersökning (International Civic and Citizenship Education Study, ICCS) som genomförs av IEA – där Sverige och övriga nordiska länder tenderar att ligga i topp – men som av någon anledning inte uppmärksammas särskilt mycket i media.

Fördel
+ Den sofistikerade tekniken ger en bra och säker täckning av stora och komplexa kunskapsområden.

Nackdel
– Testet säger väldigt lite om den enskilde eleven. Var därför försiktig med tolkningen av de enskilda elevernas resultat.

Basfakta om Pisa

Står för Programme for International Student Assessment (PISA).

Är världens största elevstudie – en internationell studie som undersöker 15-åringars kunskaper inom matematik, naturvetenskap, läsförståelse och problemlösning. I studien deltar både OECD-länder och länder utanför OECD.

Genomförs vart tredje år.

Den 3 december publiceras huvudrapporten och resultaten från PISA 2018. Huvudfokus denna gång är läsförståelse.

I Pisaundersökningen 2012 presterade svenska elever under genomsnittet för OECD-länder inom alla tre kunskapsområden. 2015 placerade sig Sverige på eller över genomsnittet. Läsförståelse och matematik har förbättrats och inom naturvetenskap syns tecken på en positiv utveckling.

Källa: Skolverket.se

Två standardförklaringar

Det finns två standardförklaringar som används beroende på om resultaten är positiva eller negativa, enligt Jan-Eric Gustafsson.

UPP
Om resultaten visar att den svenska skolan ser ut att gå bra så är en återkommande standardförklaring, på en generell nivå, denna:

– Att det naturligtvis beror på den utmärkta utbildningspolitiken som genomförts, eller på lärarnas gedigna insatser. Men dessa hänvisningarna till god utbildningspolitik är ofta tomma på innehåll och precisa förklaringar.

NER
Om resultaten däremot pekar på en nedåtgående trend så förklaras det gärna med att det är fel på undersökningen eller uppgifterna, menar Jan-Eric Gustafsson vidare. Alternativt invandringen.

– Och visst kan invandringen vara en faktor. Men det finns mycket som pekar på att man i diskussionen tenderar att överskatta dess betydelse. Visserligen har de som nyligen kommit till landet ett handikapp när det kommer till att läsa svensk text, men i allmänhet – med undantag från vissa år som 2015 – är grupperna relativt små och effekterna därför blygsamma.

Se upp med

Det finns blinda fläckar och fallgropar även i de mest sofistikerade test. Detta är något som statistikerna själva är högst medvetna om, men kanske inte alltid de som försöker dra slutsatser av rapporterna. Här är några punkter att komma ihåg när du tar del av resultatet.

1. Kulturell bias spelar roll
Hur undviker OECD att ländernas kulturella skillnader påverkar testerna? Till exempel ser man till att utesluta uppgifter som kan tänkas vara kontroversiella i ett land, eller som anses vara kopplat till ett lands kultur. 2015 införde man också en systematisk modell som hanterar ländernas skillnader.

– Men det finns en gräns för hur långt de kan gå i bortsorteringen av uppgifter, understryker Jan-Eric Gustafsson. Till slut finns inget kvar, vilket ju inte vore så lyckat, så därför tillåter man helt enkelt att det blir skillnader.

2. Det sker alltid ett bortfall
De omkring 5 000 elever (i regel 30 elever per deltagande skola) som genomför testet ska i så stor utsträckning som möjligt representera hela landets femtonåringar.

– Men det är inte alltid urvalskontrollen är helt perfekt, säger Jan-Eric Gustafsson. Det sker ett visst bortfall, där elever inte dyker upp eller lämnar in sitt prov, och bortfallet tenderar förekomma bland de svagaste och minst skolmotiverade eleverna.

3. Testmotivationen i olika länder kan skilja sig åt
Svenska elever anstränger sig relativt lite när de genomför Pisaproven, i förhållande till andra länder som är jämförbara med Sverige, enligt en rapport från Skolverket. De anstränger sig mindre än när de gör ett betygsgrundande prov. Detta anses dock inte förklara den nedåtgående trend som hade sin kulmen 2012.

4. Medelvärdet kan vara ointressant
Om ett skolsystem har en hög nivå av likvärdighet så säger medelvärdet i de tre ämnesområdena mycket om hur väl det fungerar. Men vid låg likvärdighet – vilket i allt större utsträckning är fallet i Sverige – är medelvärdet mindre informativt.

– Då är det viktigare att titta på variationer mellan elever och skolor, säger Jan-Eric Gustafsson.

5. Testet försöker förutsäga framtiden
Visst har OECD väl underbyggda belägg för att kunna dra en linje från en femtonårings resultat till hur väl de klarar sig senare i vuxenlivet.

– Men man kan verkligen diskutera i vilken utsträckning någon faktiskt kan uttala sig om något som sker i framtiden, påpekar Jan-Eric Gustafsson.

6. Språket påverkar
Olika språk tar olika stort utrymme. Tyskan har överlag jämförelsevis långa och fler ord än i andra språk. Det gör att landets elever måste ägna mer tid åt proven.

Ovanstående aspekter bidrar sammantaget till en viktig slutsats, menar Jan-Eric Gustafsson, nämligen att jämförelser länder emellan i allmänhet är ganska ointressanta.

– Det är väldigt svårt att greppa vad placeringen faktiskt innebär.

Fokusera på detta

Vill du verkligen förstå svenska skolans utveckling? Då ska du fokusera på hur Sverige utvecklas över tid, enligt Jan-Eric Gustafsson, och då särskilt titta på nedanstående kategorier.

1. Likvärdigheten
Information om skillnader mellan skolor och elever med olika bakgrund är generellt svårt att få tag på. I det avseendet är Pisa-testet ett väldigt viktigt bidrag, menar Jan-Eric Gustafsson.

– De använder flera intressanta mått för att fånga upp frågan om likvärdighet. Ett kallas för ”resilience”, som handlar om hur väl skolsystemet lyckas med de elever som har sämst förutsättningar, det vill säga de med föräldrar som saknar högskoleutbildning eller kommer från fattiga hem.

Måttet är särskilt intressant eftersom det har visat sig att ett skolsystems hälsa och kvalitet framför allt återspeglas i hur det går för de svagaste eleverna.

– Ska man göra något för att förbättra resultaten i en skola, kan det vara en idé att lägga resurser på just dessa elever, understryker Jan-Eric Gustafsson.

2. Skillnader mellan kön
Historiskt sett har pojkar haft bättre resultat än flickor i skolan generellt, inte minst inom matematik. Över tid har det successivt ändrats. Under en period låg resultaten ganska jämnt över könen. Men i den moderna tiden har flickorna dragit ifrån vad gäller skolresultat – även inom matematik.

– På det här temat har Pisa väldigt intressant statistik. Man ser till exempel att spridningen mellan högpresterande och lågpresterande pojkar ökar. Gruppen pojkar som inte har betyg för att kunna läsa vidare på gymnasial nivå blir allt större, och det är ett av Sveriges riktigt stora samhällsproblem.

3. Fördjupningar
Åren mellan Pisas huvudpubliceringar släpper OECD olika specialvolymer. Där sker fördjupningar inom enskilda områden såsom matematik, läsning eller likvärdighet. I dessa kan den intresserade fördjupa sig ytterligare.

Taggar

Mårten Färlin

Mårten Färlin

Erbjudande - bli prenumerant!

Just nu får du det aktuella numret om PISA-undersökningen på köpet när du tecknar en prenumeration. Gäller t.o.m. 31 december 2019.
Läs mer

Så här kan du läsa vidare
Logga in eller börja prenumerera så får du tillgång till alla fördjupande och inspirerande artiklar i Grundskoletidningen och Pedagogisk snabbguide.
Kompetensutveckling när den är som bäst.

Bli prenumerant