I en artikel nyligen publicerad i tidskriften Assessment & Evaluation in Higher Education rapporterar ett forskarlag vid Koç universitet i Turkiet en studie där de visar hur kursvärdering under pågående kurs kan användas som ett kvalitetshöjande återkopplingsredskap för undervisning och lärande på institutionsnivå. Internationellt har modellen använts sedan 1970-talet, men de publicerade studier som funnits kring detta tillvägagångssätt har främst fokuserat på hur lärare och studenter upplevt dess användbarhet. Mycket lite forskning har handlat om hur funktionsduglig den är för att förbättra lärande och undervisning. Studierna har också uteslutande varit på kursnivå.
Kursvärderingen under pågående kurs som redovisas av det turkiska forskarlaget gick till på följande sätt: Kursvärderingen genomfördes under de sista 20 minuterna av ett ordinarie undervisningstillfälle. Den undervisande läraren, som frivilligt anmält sitt deltagande, ombads lämna rummet för att möjligöra en uppriktig och anonym kursvärdering.
Först fick studenterna fylla i ett formulär med följande frågor:
- Vad fungerar bra på den här kursen? Vad bidrar till ditt lärande?
- Vad skulle kunna förbättras? Vilka specifika förslag på förändring har du?
- Övriga kommentarer.
Studenterna fick tio minuter på sig att svara och sattes sedan ihop i mindre grupper som fick diskutera sina svar. Till sist ledde utvärderaren en storgruppsdiskussion med hela kursen i syfte att identifiera de kommentarer och förslag som de flesta studenter var överens om. Utvärderaren sammanställde en rapport med en analys av de individuella svaren och anteckningar från gruppdiskussionen. Denna rapport vidarebefordrades till den undervisande läraren, som på egen begäran kunde diskutera rapporten med experter från universitetets lärande- och undervisningsavdelning. Rapporterna hölls för övrigt strikt konfidentiella, vilket författarna menar bidrog till att fler och fler lärare valde att delta.
Det i studien undersökta materialet bestod av 341 sådana rapporter, framtagna för 249 undervisande lärare på 275 olika kurser i flera olika ämnen, med svar från 10 219 studenter under 10 terminer mellan 2010 och 2015. En typisk rapport var två sidor lång. Materialet analyserades kvalitativt genom att ett urval av studenternas svar kodades av två forskare, först för att generera en gemensam kodbok, som sedan används för att kategorisera studenternas svar. En frekvensanalys av de kodade svaren användes för att bestämma de vanligast förekommande positiva och negativa delarna under varje kategori under de fem åren. Sex kategorier identifierades – Läraren, Undervisningen, Kursen, Hemuppgifter, Betygssättning och utvärdering, och Kursstöd – med en rad olika underkategorier. Studenterna hade flest synpunkter rörande Undervisningen och när det gällde Läraren var underkategorin Personliga egenskaper, med specificeringar som Engagemang och Hjälpsamhet sådant som uppskattades mest, till exempel. Då studien sträckte sig över flera år kunde även förändring över tid undersökas. Tack vare detta kunde undersökningen påvisa kategorier som studenterna var nöjda med genom hela undersökningsperioden, men också kategorier där ingen förbättring skedde under femårsperioden. Exempel på det senare var kategorier som hade med kvaliteten på övningsuppgifter att göra och kategorier som hänsyftade till undermåliga presentationsmaterial (dåliga power-point-presentationer). Dessa observationer föranledde universitetets lärande- och undervisningsavdelning att vidta åtgärder för att stötta lärarna på dessa punkter.
Författarna reflekterar också kritiskt över trenden med att i ökande grad göra kursvärderingar online och konstaterar till slut att online-versionen absolut kan användas istället för pappersvarianten förutsatt att kursvärderingen görs under pågående kurs, att fritextsvar är möjliga och att möjligheten för undersökaren att hålla gruppdiskussioner också tillgodoses.
Författarna avslutar med att rekommendera lärande- och undervisningsavdelningar vid universitet och högskolor att utföra omfattande och longitudinella kursvärderingar under pågående kurs baserade på anonym återkoppling med öppna fritextssvar från studenterna, på papper eller online, och att använda dessa som grund för strategiska beslut om var pedagogiska stödinsatser bör sättas in.
Kommentar: Att göra kursvärderingar under pågående kurs låter onekligen som tänkvärt och det generellt positiva med detta är säkerligen överförbart. Kurserna som berörts i undersökningen förefaller att huvudsakligen löpa över hela terminer. Men värderingsfrågorna, så som de är formulerade i studien, är absolut överförbara och relevanta att få svar på mitt under så väl en 15-poängskurs och en 7,5:a. Och varför inte direkt efter ett enskilt undervisningstillfälle? En begränsning i denna studie, som författarna också tar upp, är att ämnesspecifika uppgifter och analys olika discpliner emellan fått stå tillbaka för syftet att ha en institutionsöverskridande ansats. Det vore också spännande att få se en fortsättning, om ingripandena från lärande- och undervisningsavdelningens sida mot de aspekter som inte blev bättre faktiskt hade effekt. Då resultatet av denna intervention inte täcks in av undersökningen så är det lite som en berättelse utan riktigt slut. Eller så får man se det som en cliffhanger.
Sven Isaksson, Institutionen för arkeologi och antikens kultur
Studien
