GenAI en toetsing op vakniveau

Checklist voor toetsing op vakniveau

Gebruik de checklist hieronder om te evalueren of de toetsing in je vak kwetsbaar is voor ongeoorloofd gebruik van GenAI. Onder aan deze pagina vind je een overzicht van algemene tips voor toetsing en GenAI. 

Elke vraag kan worden beantwoord met een vinkje of een X. Elke X geeft een potentieel risico aan dat studenten GenAI gebruiken om het vak zonder verdienste te halen. De grootste risico’s liggen bij opdrachten zonder toezicht: hieronder vallen natuurlijk schriftelijke opdrachten, maar ook andere opdrachten die buiten het zicht van de docent worden voorbereid, zoals presentaties, podcasts en video’s.  

De checklist

 

1. Wordt het eindcijfer (mede)bepaald door opdrachten die studenten zonder begeleiding maken?

 

Er worden geen studiepunten (EC) toegekend op basis van cijfers voor opdrachten die studenten zonder begeleiding maken.

Er is een zeer klein risico dat studenten slagen voor het vak door ongeoorloofd gebruik van GenAI; de andere vragen hoeven niet beantwoord te worden.

Ja, het eindcijfer wordt bepaald door één of meer opdrachten die studenten zonder toezicht maken.

Ga verder met de andere vragen

2. Hoeveel van het eindcijfer wordt bepaald door opdrachten zonder toezicht?

 

Het eindcijfer wordt voornamelijk bepaald door andere vormen van toetsing waarbij het risico op plagiaat en fraude kleiner is (bijvoorbeeld een tentamen op locatie, een praktische toets of een mondeling tentamen).

 

Het eindcijfer wordt bijna uitsluitend (of zelfs volledig) bepaald door opdrachten zonder toezicht.

3. Stellen de opdrachten de docent in staat de voortgang van de student naar het eindproduct te volgen? 

 

De docent bewaakt de voortgang van studenten tijdens het vak. Bijvoorbeeld door studenten concepten te laten inleveren voor (peer) feedback, hun aanpak te bespreken met de docent, een deel van het werk op de campus (in een werkcollege) af te maken, of een (mondeling) verslag van het werkproces te geven.

 

Het hele werkproces vindt plaats buiten het toezicht van de docent.

4. Stellen de opdrachten de studenten in staat om te slagen zonder vakspecifieke kennis of vaardigheden?

 

De opdrachten vereisen een onderwerpspecifiek niveau van diepgang en steunen minder op algemeen beschikbare kennis. De opdrachten zijn qua inhoud, vorm en/of methode specifiek afgestemd op wat er in het vak en tijdens de lessen geleerd is. (NB: GenAI wordt steeds beter in zeer specifieke opdrachten, met de juiste prompting).

 

Studenten kunnen hun eigen keuzes maken wat betreft inhoud (thema), vorm en/of methode, met behulp van algemeen beschikbare kennis.

 

5. Laat de opdrachten door GenAI lopen en verfijn de aanwijzingen met prompting zoals een student dat zou kunnen doen. Beoordeel de output – kan deze leiden tot een voldoende resultaat, met of zonder kleine wijzigingen?

 

De output heeft weinig tot geen nut, of zou in zijn huidige vorm niet tot een voldoende leiden. De student zou de aanwijzingen aanzienlijk moeten verfijnen en aanvullende vakspecifieke kennis en/of vaardigheden moeten gebruiken.

 

De output zou leiden tot een voldoende resultaat zonder veranderingen, of het zou kunnen leiden tot een voldoende resultaat met minimale veranderingen of verfijnde aanwijzingen.

 

 

6. Is voor het vak aangegeven hoe studenten op een verantwoorde manier GenAI kunnen gebruiken?

 

Studenten weten of/hoe ze GenAI verantwoord mogen gebruiken in het vak. De docent bespreekt expliciet de implicaties van GenAI-gebruik in opdrachten.

 

Er is niet duidelijk beschreven hoe de studenten GenAI kunnen gebruiken of het gebruik is expliciet verboden terwijl dit niet goed kan worden gehandhaafd (omdat detectietools onbetrouwbaar zijn).

Vragen en acties naar aanleiding van de uitkomsten van de checklist  

Heeft het invullen van de checklist voor jouw vak veel X-jes opgeleverd? Dan is het verstandig actie ondernemen. Dit geeft aanleiding om je toetsing aan te passen. Er bestaat geen pasklare oplossing en je zult waarschijnlijk strategieën moet combineren. Omdat toetsingsvormen sterk verschillen en gebonden zijn aan disciplinaire conventies zijn niet alle strategieën van toepassing op jouw situatie. 

Heb je vragen naar aanleiding van de uitkomsten van de checklist? Dan moedigen we je aan om contact op te nemen met collega’s, TLC-adviseurs, toetsdeskundigen of opleidingsdirecteuren om advies en verdere begeleiding te vragen.  

Als je vermoedt dat een student ongeoorloofd gebruik heeft gemaakt van AI in je opdracht of tentamen, informeer dan de examencommissie zodat zij de zaak kan onderzoeken en passende actie kan ondernemen. Je kunt je vermoedens met de student bespreken, maar vermoedens alleen dienen niet als bewijs in fraudezaken. 

Algemene tips voor een veiligere beoordeling in relatie tot GenAI

1. Vertrouw niet op detectietools

De detectietools die momenteel beschikbaar zijn, zijn niet betrouwbaar en moeten niet worden gebruikt. Ze kunnen niet nauwkeurig voorspellen of een tekst (deels) door GenAI of door een mens is geschreven. Daarom is een algeheel verbod op het gebruik van GenAI niet effectief: er is geen manier om het te handhaven.

2. Als je opdrachten zonder toezicht gebruikt, overweeg dan alternatieve vormen van beoordeling.

Niet-gesuperviseerde (schriftelijke) opdrachten zijn zeer kwetsbaar voor GenAI-misbruik. Kijk hier voor meer informatie. Ga terug naar je leerdoelen en bedenk of dit de enige vorm van beoordeling is die je kunt gebruiken om te bepalen of studenten aan de leerresultaten hebben voldaan. Kan het gewicht van de schriftelijke opdrachten worden verminderd ten gunste van andere soorten beoordelingen? Zijn er andere manieren om dezelfde kennis/vaardigheden te beoordelen? Kijk hier voor inspiratie. 

De meest voorkomende tips om ongeoorloofd gebruik van GenAI bij beoordeling te voorkomen zijn:

  • Monitor de voortgang van studenten naar het eindproduct (formatieve beoordeling). Laat ze schetsen of concepten inleveren, met je afspreken om hun aanpak te bespreken, hun werkproces documenteren of zelfs een deel van het werk op locatie afmaken. Zorg ervoor dat je opzet haalbaar is binnen de toegewezen uren voor het vak.
  • Laat studenten op locatie opdrachten maken of examens afleggen, vooral voor cognitieve vaardigheden op een lager niveau zoals onthouden, begrijpen en toepassen. Deze aanpak kan ook goed werken als je fundamentele academische schrijfvaardigheden wilt beoordelen, zoals samenvatten en parafraseren. Het is minder geschikt voor het beoordelen van cognitieve vaardigheden op een hoger niveau, zoals analyseren, evalueren en creëren. Houd er rekening mee dat er een tekort is aan examenlocaties: praat hierover met je programmacoördinator.
  • Gebruik mondelinge beoordelingen als dit haalbaar is qua tijd en personeel. Mondelinge beoordeling kan online of offline plaatsvinden, maar altijd in realtime. Er zijn verschillende soorten mondelinge beoordelingen die je kunt gebruiken: mondeling examen, een schriftelijke opdracht mondeling toelichten (alle studenten of een willekeurige steekproef), presentaties voor alle studenten (bijv. een pitch), posterpresentaties, groepsdiscussies, debatten, rollenspellen, simulaties/demonstraties (zoals patiënt-dokter interactie, een onderhandelingssimulatie, pleitwedstrijd, demonstraties van bedrijven of codes), vraag- en antwoordsessies door studenten, interviews.
  • Gebruik opdrachten die creativiteit en originaliteit vereisen, zoals blogs, vlogs, video-essays, muziekvideo’s, poëzie, infographics, animaties, podcasts, portfolio’s, website-ontwerp, enz. Controleer of de vaardigheden die je beoordeelt deel uitmaken van het onderwijs in jouw vak of elders in de opleiding. Met andere woorden, zorg ervoor dat studenten niet gestraft worden omdat ze niet goed zijn in vaardigheden zoals coderen, grafisch ontwerp of videobewerking als deze geen deel uitmaken van de leerresultaten.
3. Gebruik verschillende beoordelingsvormen in je vak.

Vooral als je opdrachten zonder toezicht gebruikt, zorg er dan voor dat het eindcijfer ook gebaseerd is op andere vormen van beoordeling onder toezicht zonder toegang tot GenAI, zodat je zeker weet dat de studenten de leerresultaten echt gehaald hebben.

4. Zorg ervoor dat de kennis/vaardigheden die beoordeeld worden in opdrachten zonder toezicht zeer specifiek zijn voor het vak.

Hoe breder de kennis en vaardigheden die je beoordeelt beschikbaar zijn, hoe makkelijker het is voor studenten om GenAI te gebruiken om het werk voor hen te doen. Beoordeel zulke leerresultaten niet zonder toezicht. Als je opdrachten zonder supervisie gebruikt, zorg er dan voor dat ze moeilijk te maken zijn met hulp van GenAI door studenten te vragen (persoonlijke) voorbeelden, casestudies, theorieën of onderzoek te integreren die heel specifiek zijn voor het vak. 

5. Bespreek motivatie, academische integriteit en verantwoord gebruik van GenAI met je studenten.

Help studenten plagiaat en fraude te begrijpen en GenAI-uitvoer te evalueren. Bespreek de implicaties van het gebruik van GenAI voor opdrachten en leg uit hoe waardevol het is om zelf onderzoek te leren doen. Het helpt ook om een beroep te doen op de motivatie van studenten door uit te leggen wat de waarde is van de opdracht die je van hen vraagt: Wat zijn de leerresultaten? Hoe zal dit hen op de lange termijn helpen? Wat zijn de voordelen van leren om dit te doen zonder hulp van GenAI?

Zorg voor een duidelijk beleid voor het gebruik van GenAI voor je vak of opdracht, zodat studenten weten of en hoe ze GenAI op een verantwoorde en ethisch verantwoorde manier kunnen gebruiken.

Advies over het aanpassen van je toetsing

Via TLC Contact kun je contact opnemen met de beoordelingsspecialisten van je faculteit om mogelijke wijzigingen in je beoordeling te bespreken. Je kunt ook altijd advies vragen aan de toetsspecialisten van TLC-Centraal (tlc@uva.nl). Zorg ervoor dat je je opleidingsdirecteur op de hoogte brengt, zodat deze een overzicht kan maken van de situatie en de risico’s op opleidingsniveau.