Kvalitetsgranskning av högre utbildning är ett internationellt fenomen och görs på många olika sätt i olika länder. I Storbritannien har man bland annat ett system med externa granskare. Systemet har dock genom åren ådragit sig en del kritik; bland annat att vi tror att vi pratar om samma sak när vi talar om vad det är för slags bedömning som ska genomföras. Resultatet av ett försök att nyansera och precisera behovet av utveckling inom detta fält har nyligen publicerats i artikeln "I’m an assessment illiterate": towards a shared discourse of assessment literacy for external examiners av Emma Medland i tidskriften Assessment & Evaluation in Higher Education.
För att ta sig an uppgiften utgår Medland från begeppet bedömningslitteracitet (eng. assessment literacy). Det är ett begrepp som är i sin linda även om det först introducerades under 1990-talet. Exakt vad som menas med bedömningslitteracitet är svårfångat, men man kan säga att det syftar till att skapa en gemensam diskurs kring bedömning inom högre utbildning som möjliggör en kritisk diskussion av våra antaganden som ligger till grund för hur vi genomför bedömningar.
Medland identifierar sex aspekter inom bedömningslitteracitet utifrån Price (2012) och menar att de kan fånga viktiga apekter som är involverade vid bedömningar. Dessa är
- gemenskap (eng. community) (Har man en gemensam syn på bedömningspraktiken vad gäller standards och kriterier?)
- dialog (Hur interagerar studenter och lärare kring bedömning)
- kunskap & förståelse (Hur förstår man bedömning och återkoppling?)
- programomfattande tillvägagångssätt (Hur samstämmig är bedömning och examination med programmets lärandemål?)
- självreglering (Hur bra är man på att själv bedöma kvalitet?)
- standarder (Vilka standrarder är det man mäter bedömer gentemot?)
För att undersöka hur bedömningslitteraciteten är beskaffad bland externa bedömare intervjuades tretton personer i semistrukturerade intervjuer per telefon. Fem kvinnor och åtta män som agerade externa examinatorer av utbildningar på grundnivå vid en rad olika universitet och inom en mängd olika discipliner. Intervjufrågorna formulerades i syfte förstå hur de intervjuade upplevde sin roll och hur denna förhöll sig till bedömningslitteracitet.
När det gäller aspekten gemenskap visade resultatet att det främst var i sin inomdisciplinära roll som inflytande på den bedömda institutionens praktik kunde åstadkommas. Att ha att göra med kollegor med vilka man hade kontakt sedan tidigare kunde också påverka utlåtanden. När det gäller dialog var det kanske viktigaste resultatet den stora skillnaden mellan den informella dialogen under samtalen jämfört med den text som bedömarna producerade i sina rapporter. Mycket av den konkreta kritiken hölls borta från den skrivna rapporten som blev mer neutral i jämförelse med de diskussioner som förts muntligen.
Avseende kunskap & förståelse för bedömningsrelaterad teori var den i stor utsträckning underförstådd snarare än konkret uttalad, men fanns i den återgivna diskursen. När de blev tillfrågade svarade en majoritet av de intervjuade att begreppet bedömningslitteracitet var helt okänt för dem; en av respondenterna uttryckte det med ett ironiskt ”Jag är bedömningsillitterat”. I relationen mellan teori och praktik finns gott om utrymme för förbättring menar Medland. Att få till en programomfattande bedömning visade sig vara svårt för de intervjuade bedömarna, kan hända på grund av den överkänslighet med vilken rollen som bedömare uppfattas. En del granskare fick till och med bara tillgång till material från enskilda moduler vid värdinstitutionen varför det var omöjligt för dem att komma med programövergripande förslag på förbättringar. Bedömandet ansågs ömsesidigt till gagn för både institutioner och bedömare, men något självreglerande system för att utvecklas i bedömarrollen finns i stort sett inte.
Aspekten rörande standarder handlar mer om kvalitetssäkring än de andra. Här konstaterar artikelförfattaren att bedömarna ofta fick sätta in sig i lokala praktiker med egna varianter av regler som inte alltid var helt uttalade utan en del i den lokala institutionskulturen. Men genom dialogen, i synnerhet den informella, kan bedömarna bli bekanta med den lokala gemenskapen vilket ger inblickar i gemensamma standarder.
Av de sex aspekterna anser Medland att standard och dialog är det som är bäst utvecklat även om centrala frågor återstår. För de övrig fyra aspekterna krävs riktad uppmärksamhet och åtgärder för att bedömarrollen ska kunna utvecklas på ett tydligt sätt. Medland menar att detta kan åstadkommas genom en större konsekvens i hur bedömarrollen både upplevs och utförs, och att större stöd behövs från både hem- och värdinstitution.
Man måste inse att bedömningslitteracitet är precis lika viktigt som ämneskunskaper när en utbildning ska utvärderas och bedömas. Två spänningsfält identifieras här. Det första är om bedömarens roll är att försöka hjälpa värdinstitutionen att korrigera utbildningen (kvalitetsförbättrande) eller om bedömaren ska vara en stöttande kollega som är mer omhuldande om utbildningen (kvalitetsförsäkrande). Det andra spänningsfältet hänger samman med skillnaden mellan det som sägs under informella diskussioner och det som tas med i formella rapporter, och den risk som finns att viktiga synpunkter försvinner med en sådan hantering. I grunden handlar det om frågan om hur djupgående inflytande bedömaren ska ha. För att i grunden kunna tackla dessa frågor avslutar Medland med att trycka på behovet av ytterligare forskning.
Kommentar: Var och en som varit med om en extern bedömning av sin pedagogiska verksamhet kan känna igen sig i artikeln, och känna igen de missförhållanden som identifieras i arbetet. Den är även en god läsning med tanke på att vi vid Stockholms universitet står inför ett nytt kvalitetssäkringssystem som innebär att vi kommer att kunna bli satta att granska varandras utbildningar. Därför är de aspekter som tas upp viktiga, de flesta definitivt relevanta för svenska förhållanden trots att studien är från Storbritannien, och behöver ses över för att kvalitetsgranskningen inom universitet och högskola ska kunna ses som tillförlitlig.
Text: Sven Isaksson, Institutionen för arkeologi och antikens kultur
Studien
