Skriftlig enkät eller muntlig dialog?
I strävan efter att förbättra utbildningen vid universitet och högskola är progressionen av lärarnas undervisningsmetoder och studenternas individuella lärande viktiga delar. Till stöd i detta arbete används i regel olika former av kursvärderingar och det är en stor mängd dokument som produceras i detta sammahang. Arbetet med denna dokumentation kan lätt bli tidskrävande, samtidigt som kunskapen om hur alla dessa dokument faktiskt används, och till vilken nytta, inte är helt glasklart. Av vana används vanligen olika former av envägskommunikation, så som skriftliga enkäter, som utvärderingsmetod, ibland i kombination med mer dialogbaserade metoder. Hur står sig dessa mot varandra i jämförelse? Detta är frågor som tre forskare vid Universitet i Tromsø i Norge undersökt och resultaten presenterats i två artiklar i tidskrifterna Educational Assessment, Evaluation and Accountability (2020) respektive Assessment & Evaluation in Higher Education (2021).
En undersökning ur två perspektiv
De båda artiklarna presenterar två olika aspekter av samma stora undersökning. I den ena artikeln (2020) undersöks hur studenter och lärare uppfattar i vilken mån olika metoder för studentutvärdering vid ett norskt universitet uppmuntrar studenterna att ge återkoppling om aspekter relevanta för studenternas egna inlärningsprocesser. I den andra (2021) analyserar artikelförfattarna hur studentutvärderingspraxis beskrivs i universitetsdokumenten jämfört med vad universitetslärare och studenter uttrycker i intervjuer, i syfte att undersöka i vilken mån dokumenten i sig bidrar till att konstituera utvärderingspraktiken. De undersöker därmed om det finns egenskaper hos själva utvärderingsmetoderna som kan påverka användningen av studentutvärdering. För båda studierna genomfördes intervjuer med lärare och studenter, och utbildningsdokument som styr och rapporterar studentutvärderingspraxis analyserades, vid ett norskt universitet.
Enkätförfarande mer ett hinder än hjälp
Resultaten visar till att börja med att användningen av utvärderingsdata i syfte att förbättra undervisningen och studenternas lärande är något mycket mer mångskiftande än vad artikelförfattarna förväntat sig. Utvärderingsfrågorna i enkäterna visade sig mestadels vara undervisningsorienterade, icke-specifika och nöjdhetsbaserade. Med denna typ av frågor begärs inte ens synpunkter från studenterna om vad de anser vara relevanta för deras inlärningsprocesser. I intervjuer uttryckte lärarna också sina dubier rörande enkäterna och menade att dessa inte är till stor hjälp som redskap för att förbättra utbildningen. Universitetet centralt efterfrågar dessutom endast information om hur utvärderingen genomförs och hur den följs upp, inte vad den innehåller. I de undervisande lärarnas utbildningsrapporter beskrivs utmaningarna med rådande utvärderingspraxis, dess användning och resultat, rapporter som är tänkta att fungera som underlag till rapporter om utbildningskvaliteten på institutions- och fakultetsnivå. Men informationen från kurs- och programrapporterna saknas nästan helt i rapporterna på högre organisatoriska nivåer, de förs inte vidare; i dessa beskrivs istället bara ”en huvudsakligen väletablerad utvärderingspraxis” — i mycket allmänna ordalag. Resultatet av studien visar därmed tydligt att det finns en bristande överensstämmelse mellan hur praxis för studentutvärdering beskrivs på olika nivåer, i dokument och i intervjuer. Allt detta riskerar att snarare hindra än att underlätta förbättringsarbetet av själva utvärderingsmetoderna och riskerar också att bidra till att kursvärdering betraktas som något som bara görs pliktskyldigast snarare än som en effektiv metod för att främja och förbättra studenternas lärande.
Dialogbaserad utvärdering är ett bättre alternativ
Parallellt med enkätförfarandet har också dialogbaserade utvärderingsmetoder om studenternas inlärningsprocesser använts. I analysen visar det sig att dessa metoder, till skillnad från enkäterna, engagerar studenterna och ökar både studenternas och lärarnas medvetenhet om hur aspekter av kurserna underlättade eller motverkade studenternas inlärning. I intervjuerna uttryckte studenterna att dessa dialoger var värdefulla för deras inlärningsprocesser och för utvecklingen av deras kommunikationsförmåga. Som en reflektion gentemot ovan diskuterade enkäter hade studenterna förväntat sig att alla utvärderingar skulle vara inlärningsinriktade och blev överraskade över att enkäterna i stort sett endast var undervisningsinriktade. Denna diskrepans orsakar en motsättning mellan studenternas förväntningar och universitets utvärderingspraxis. Dialogbaserade utvärderingsmetoder framstår därmed som ett lovande alternativ eller komplement till en skriftlig metod för studentutvärdering när man fokuserar på studenternas inlärningsprocesser.
Kommentar: Studien är gjord på material från ett enda norskt universitet och generaliserbarheten i slutsatserna på det mer specifika planet kan alltid diskuteras. Men igen-kännings-faktorn är hög. Jag upplever själv att direkt dialog med studenterna ger mycket mer användbar återkoppling för utveckling av utbildningsmetoder och stöd till studenternas inlärningsprocesser än vad enkätsvar gör. Det kräver förstås ett förtroligt kursklimat där studenterna upplever att de kan lita på läraren och säga vad de faktiskt tycker utan att bli misskrediterade: vilket borde vara självklart men kanske inte alltid är det. För en differentierad pedagogik, inriktad på att förbättra studenternas inlärningsprocesser genom att eftersträva individuellt anpassad undervisning till enskilda studenters särskilda behov, är den anonyma enkäten ett allt för trubbigt redskap. Enkäten uppfyller också ett organisatoriskt krav på dokumentation som vilar på tron att ledningen har kontroll på verksamheten bara allt mäts, helst i siffror, och skrivs ned. Det behöver inte nödvändigtvis göras på papper: När enkäten blir allt mer opersonlig, som från att vara något man åtminstone gjorde i nära anslutning till undervisningen på campus till att bli något så anonymt som en internetenkät — som här på SU — då är risken stor att fokus vrids bort från det som är väsentligt med undervisningen – studenternas lärande – och det blir istället en avbockning på en administrativ bucket-list, i praktiken oanvändbar och intetsägande. I värsta fall används detta trubbiga, nöjdhetsbaserade verktyg i syfte att bedöma enskilda lärares insatser istället för att vara ett redskap för utveckling av utbildningen. Ett konkret förslag till motåtgärd är att faktiskt avsätta tid på kurserna för olika former av dialogbaserad utvärdering; formatet på dessa kan anpassas efter behov, med allt från individuella samtal till studentgruppdiskussioner med gruppvis återkoppling om vad som faktiskt underlättade eller motverkade studenternas inlärning i samband med den aktuella utbildningen. Med ett sådant tillvägagångssätt finns det hopp om att faktiskt kunna förbättra utbildningen vid universitet och högskola.
Text: Sven Isaksson, Institutionen för arkeologi och antikens kultur
Nyckelord: Kursvärderingsmetoder, dokumentation, studentens lärprocess, utveckling av utbildning
Nyckelord: Evaluation methods, Evaluation use, Quality enhancement, Higher education, Student evaluation of teaching, Utilisation-focused evaluation
Nyckelord: Student evaluation, Textual agency, Quality assurance, Evaluation documentation
