Ibland uppmanas man som lärare att ha med studenters värderingar i sin pedagogiska meritportfölj som evidens. Men vad säger egentligen en kursvärdering om lärarens prestation? Den frågan har ett forskarlag från George Mason University i USA prövat och resultaten presenteras i en nyligen publicerad artikel i tidskriften Assessment & Evaluation in Higher Education.
Att använda studentvärderingar för att värdera eller meritera en universitetslärare förutsätter antagandet om att läraren är den som har störst inverkan på det betyg kursen får av studenterna samt att studenter lär sig mest från lärare som får höga betyg i sina kursvärderingar. Detta antagande har enligt artikelförfattarna ifrågasatts av flera forskare, vilka bland annat menat att studenter saknar den kunskap och bakgrund som krävs för att göra en sådan bedömning. I syfte att bättre kunna förstå hur man kan använda kursvärderingar genomförde författarna en studie av vad som bidrar till studenters betygsättning av kurser i kursvärderingar som görs i slutet av kurser. De åstadkom detta genom att undersöka hur mycket av variansen i betygen i dessa kursvärderingar som härrör från läraren, kursen, tillfället, eller från kombinationer av dessa tre faktorer.
Som undersökningsmaterial användes kursvärderingar från tre år (2006-2009). Kursvärderingsfrågorna kunde vara i stil med ”kurskrav och förväntningar var tydliga”, ”läraren förklarade kursmaterialet tydligt”, ”läsning hjälpte mig att förstå kursinnehållet” och ”hur mycket ansträngde du dig under kursen”. Den för studien viktigaste frågan var ”min övergripande bedömning av undervisningen”. Frågorna betygsattes 1 till 5, där 5 var bäst, 3 okej och 1 var dåligt.
I undersökningen användes kursvärderingar i pappersform, och de uttrycker en oro över den allt mer spridda övergången till kursvärderingar online och dess dåliga effekt på svarsfrekvensen (vilket tidigare har tagits upp i Aktuell högskolepedagogisk forskning nr 3/2019. "Är kursvärdering online bättre än kursvärdering med papper och penna?"). Undersökningen krävde så kallade korsade data, det vill säga att minst två olika lärare undervisade på samma kurs vid minst två olika tillfällen. I materialet hittade de 2459 kurssituationer som uppfyllde dessa krav. Med hjälp av en statistisk analys bedömdes hur mycket av variansen som kunde tillskrivas de tre olika aspekterna, olika interaktioner dessa aspekter emellan, samt fel (error) – varians som inte går att knyta till någon eller till alla av aspekterna.
Resultatet visar att fel (error) står för den största andelen av variansen, nästan en fjärdedel, vilket författarna tar som inteckning på en betydande opålitlighet i studenternas uppfattning om undervisningskvaliteten. Kursvärderingsbetygen bör därför ses mer som en väldigt grov skattning av undervisningskvaliteten och bör aldrig användas som enda indikation på en lärares färdigheter enligt artikelförfattarna. Men resultaten visar att kursvärderingsbetygen också säger något om läraren, men huvuddelen av den variation som kan tillskrivas läraren är i tvåvägsinteraktion med någon av de andra aspekterna. Även variansen för aspekterna kurser och tillfällen hittas i interaktion med andra snarare än för sig själva. Artikelförfattarna menar att detta kan vara en förklaring till varför tidigare forskning som bara fokuserat på antingen lärare, kurs eller tillfälle givit så motsägelsefulla resultat – där finns helt enkelt en allt för stor och komplex samverkan mellan de olika aspekterna.
Höga betyg i kursvärderingar är alltså inte synonymt med högkvalitativ undervisning. Kursvärderingar är mer att betrakta som ett konsumentindex enligt artikelförfattarna. Detta är viktigt att ha i åtanke både när det gäller att ta med sammanställningar av kursvärderingar i pedagogiska meritportföljer och kanske än mer så vid bedömningen av en sådan. Höga betyg i kursvärderingar kan vara önskvärt men behöver inte vara ett eftersträvansvärt mål i sig. Och i meritbedömningssammanhang är de mer fyllda med fel och mer svårtolkade än vad som vanligtvis antas. Även fast läraren bidrar till en del av variationen i studenternas kursvärdering så är dennes enskilda påverkan på betyget för liten för att kunna vara ett mått på undervisningskvaliteten. Möjligtvis kan man, enligt artikelförfattarna, använda kursvärderingar för att stödja lärare som får särskilt dåliga betyg. Får de högre betyg allt efter som de undervisar upprepat på samma kurs? Beror lärarens betyg på kursvärderingen av när kursen snarare ges än på kursinnehållet? Hur som helst bör kursvärderingar aldrig ligga som enda eller ens väsentligt underlag för beslut rörande enskilda lärares pedagogiska prestation.
Kommentar: Jag har tidigare skrivit om två andra artiklar rörande kursvärderingar och kan konstatera att de används i såväl formativt som summativt syfte. Som självreflekterande redskap i syfte att förbättra kurser så förefaller en kvalitativ approach lämplig, med frågor i stil med ”vad fungerar bra på den här kursen?”, ”vad bidrar till ditt lärande?” och ”vad skulle kunna förbättras?” (jfr. Aktuell högskolepedagogisk forskning nr 9/2019. "Kursvärdering under pågående kurs ger starkare stöd för pedagogisk utveckling"), snarare än de 1—5-betyg som tillämpades i den nu rapporterade studien. I det förra fallet var syftet formativt under pågående kurs medan i den nu recenserade artikeln så var det studerade materialet utvärderingar efter avslutad kurs. I den typen av summerande kursvärderingar upplevs kanhända frågor med rankningssvar mer tillämpligt av administrativa skäl. De är tacksamma att summera med medelvärde och standardavvikelse eller i stapeldiagram. Men enkelheten är bedräglig. Båda dessa studier, som tillämpar väldigt olika material, har visat på den komplexitet som ligger bakom svaren på både kvalitativa fritextfrågor och på frågor med rankningsskala, och att det inte i något fall är enkelt att plocka ut enskilda aspekter, så som lärarens bidrag till undervisningskvaliteten. Flera av studierna uttrycker också oro över hur användandet av kursvärderingar online kan komma att påverka svarsfrekvensen negativt. Detta är saker att tänka på när vi här på Stockholms universitet inför centralt organiserade kursvärderingar online – är det verkligen det bästa sättet?
Text: Sven Isaksson, Institutionen för arkeologi och antikens kultur
