Toetsing & GenAI: van schrijfopdracht naar tentamen
Toetsen met schrijfopdrachten zonder toezicht
Door de opkomst van GenAI zijn schrijfopdrachten zonder toezicht kwetsbaarder geworden. Aan de hand van het eindproduct alleen weet je als docent niet zeker of de student daadwerkelijk iets geleerd heeft of dat die (delen van) het leerproces heeft uitbesteed aan GenAI. Het verbieden van het gebruik van GenAI is niet te handhaven of controleren (detectieprogramma’s zijn onbetrouwbaar en bevooroordeeld). Gelukkig zijn er verschillende manieren om je schrijfopdracht aan te passen om te zorgen dat studenten het juiste leerproces doorlopen. Dit vraagt maatwerk.
Schrijfopdrachten veiliger maken
Om een schrijfopdracht zonder toezicht veiliger te maken kun je het schrijfproces bijvoorbeeld monitoren door middel van tussentijdse deadlines en live gesprekken met de student. Ook kun je een mondelinge verdediging/interview over het eindproduct toevoegen (voor meer informatie, zie bijvoorbeeld GenAI & toetsing op vakniveau – UvA Teaching and Learning Centres (TLC)). Dit soort maatregelen is wel tijdrovend en vereist soms extra training van beoordelaars, waardoor het niet bij elk vak mogelijk of wenselijk is.
Een schrijfopdracht omzetten in een tentamen op locatie
Bij sommige vakken is het mogelijk om een schrijfopdracht onder toezicht om te zetten in een tentamen op locatie om de afname veiliger te maken. Dit artikel biedt een handreiking om te bepalen of jouw vak geschikt is voor zo’n aanpassing en welke aandachtspunten daarbij belangrijk zijn.
Hogere orde leerdoelen toetsen in een tentamensetting, kan dat wel?
Hogere-orde leerdoelen waarbij studenten diepgaand moeten analyseren en evalueren zijn niet makkelijk te toetsen in een tentamen op locatie. Als naast analyseren of evalueren bijvoorbeeld ook academische schrijfvaardigheid expliciet tot de leerdoelen behoort, is een tentamen op locatie niet geschikt. Als schrijven geen doel maar een middel is, dan zijn er wel mogelijkheden. De onderstaande aanbevelingen kunnen hierbij helpen:
- In sommige gevallen kunnen de leerdoelen gedekt worden door een aantal open vragen of essayvragen, bijvoorbeeld met casussen, waarbij studenten contextgebonden moeten analyseren en evalueren.
- Het is soms zelfs mogelijk om met gesloten vragen hogere orde leerdoelen toetsen. Een kanttekening hierbij is dat dit nooit hetzelfde denkwerk veronderstelt als een open vraagvorm: het juiste antwoord is immers gegeven. (Voor hulp hierbij, zie bijvoorbeeld Brame, C. (2022).)
- Door studenten thuis of tijdens college het voorbereidend werk te laten doen (bijvoorbeeld literatuuronderzoek doen of een vraagstelling uitwerken) waarbij je GenAI-gebruik toestaat, kun je in een tentamen op locatie meer denkwerk vereisen (al staat dit niet gelijk aan het denkwerk dat bij academisch schrijven nodig is). Laat studenten bijvoorbeeld het voorwerk tijdens het tentamen zonder hulpmiddelen bij elkaar brengen in een andere vorm, zoals een beleidsadvies, een krantenartikel of een blogpost voor een populair-wetenschappelijk publiek. Voor dit soort schrijfopdrachten onder toezicht moet je studenten langer de tijd geven, waardoor het niet goed combineert met andere gesloten of open tentamenvragen. Let op: het verplaatsen van denkwerk naar formatieve opdrachten veronderstelt serieuze studentinzet en intensieve begeleiding, wat niet bij elk vak mogelijk is.
Houd de basisprincipes van toetsontwerp in gedachten
Vergeet deze punten niet na te lopen als je een schrijfopdracht omzet in een tentamen op locatie:
- Als je op tijd een digitale tentamenzaal (met computers en ICT-ondersteuning) aanvraagt via je OPC, kunnen studenten hun antwoorden typen zonder internettoegang en zelfs gebruik maken van verplichte literatuur. Hierdoor zijn antwoorden beter uitgedacht (en leesbaar)!
- Heb je duidelijk aangegeven wat voor antwoord je verwacht? Bijvoorbeeld in bullets, in lopende zinnen, een korte alinea, of in essay-vorm? Hoe lang moet het antwoord zijn?
- Houd de validiteit van het tentamen in de gaten: zorg dat alle leerdoelen en inhoudelijke onderwerpen wat betreft verdeling en niveau op de gewenste manier gedekt zijn en voorkom dubbelingen en lacunes die gevolg kunnen zijn van het aanpassen van de toetsvorm.
- Denk na over hoeveel vragen je kunt stellen binnen de beschikbare tijd. Het toevoegen van een paar langere open vragen moet niet ten koste gaan van de validiteit van de rest van het tentamen doordat je bijvoorbeeld te veel kennis- of begripsvragen verwijdert. Zorg dat ook deze leerdoelen goed gedekt zijn om de validiteit van de toetsing te borgen. Onderaan de pagina over het construeren van toetsen vind je een handig overzicht van hoe lang studenten bezig zijn per vraagsoort.
- Bij gesloten vragen moet je genoeg vragen stellen voor een betrouwbaar resultaat. Als het tentamen alleen uit gesloten vragen bestaat, moet je minimaal 40 vierkeuzevragen bedenken. Als het tentamen ook open vragen bevat, dan zijn 20-30 vierkeuzevragen voldoende. Zorg voor een weloverwogen verdeling van vraagsoorten over de stof. Het bedenken van goede vragen (en vooral goede afleiders, d.w.z. foute antwoorden) kost veel tijd: houd hier rekening mee.
- Denk na over hoe je de antwoorden gaat beoordelen. Voor meer essay-achtige vragen waar argumentatie belangrijker is dan een goed/fout antwoord, is het vaak makkelijker om met een beperkt aantal beoordelingscriteria te werken dan een antwoordmodel te maken met puntentelling. Stem de beoordelingscriteria af op de leerdoelen.
- Zorg dat je niet te hoge eisen stelt aan taalvaardigheid bij essayvragen: in een tentamensetting met beperkte tijd is dit lastiger voor studenten dan bij een take-home opdracht.
- Als je kiest voor een andere toetsvorm dan er in de studiegids vermeld staat, moet je toestemming hebben van de EC voor de aanpassing. Als de toetsvorm hetzelfde blijft, volstaat het om voor aanvang van het vak studenten op de hoogte te brengen.
- Zijn studenten voorbereid op de verandering? Zorg dat ze voldoende hebben kunnen oefenen met nieuwe toets- of vraagvormen. Bied voorbeeldvragen aan en bespreek deze. Je kunt ook een (online) vragenuur organiseren om stress weg te nemen.
- Houd de werklast voor beoordelaars ook in gedachten. Past het nakijkwerk nog binnen de beschikbare uren voor het vak?
Tot slot: vergeet niet dat je vak onderdeel is van een opleiding
Als veel schrijfopdrachten binnen een opleiding worden omgezet in tentamens op locatie, wordt het toetsprogramma eentoniger. Dit kan nadelig zijn voor studenten die minder goed presteren in een tentamensetting. Bovendien kan het ervoor zorgen dat de leerlijn academisch schrijven onder druk komt te staan: zonder oefenen kan een student geen scriptie schrijven. Stem zoveel mogelijk af met de rest van je team om te zorgen dat er het binnen het geheel aan toetsing van de opleiding voldoende authenticiteit, variatie en opbouw blijft.
Hulp en advies
Wil je overleggen welke maatregelen passen bij jouw vak? Maak dan een afspraak met de toetsdeskundigen van het TLC-FGw.