Nadenken over het gebruik van GenAI bij schriftelijke opdrachten
De kans is groot dat studenten GenAI gebruiken voor thuisopdrachten. Hoe voorkom je als docent ongeoorloofd AI-gebruik bij schriftelijke opdrachten zonder toezicht? Overweeg of zulke opdrachten nog passen bij je leerdoelen nu GenAI veel wordt gebruikt. We bieden vier stappen en praktische tips om je opdrachten te evalueren en minder kwetsbaar te maken.
Studenten kunnen zeer bedreven zijn in het gebruik van GenAI in het schrijfproces op manieren die we niet kunnen voorzien of detecteren. Plagiaatdetectiesoftware is te onbetrouwbaar om hier goed op in te kunnen spelen. Bovendien is het op dit moment misschien niet mogelijk om schriftelijke opdrachten zonder toezicht zoals papers, take-home examens of codeeropdrachten te vermijden in je cursus. Het is daarom beter om je te richten op hoe je studenten kunt motiveren en stimuleren om op een verantwoorde manier aan het leerproces deel te nemen.
Stap 1: Denk na over alternatieve beoordelingsvormen
Bekijk de leerdoelen van het vak en overweeg of je andere beoordelingsvormen dan schriftelijke opdrachten zonder toezicht kunt gebruiken om te bepalen of studenten die leerdoelen bereikt hebben. Een andere overweging is of je het gewicht van de schriftelijke opdracht(en) zonder toezicht in het eindcijfer kunt verminderen ten voordele van andere beoordelingen die minder vatbaar zijn voor ongeoorloofd gebruik van GenAI.
Overweeg ook de plaats van het vak binnen het curriculum en overleg met de rest van het docententeam. Veel opleidingen nemen in elk vak een schrijfopdracht op, ook al is dit vanuit het perspectief van de leerdoelen en leeruitkomsten niet altijd nodig of wenselijk. In welke vakken zijn schrijfopdrachten echt onmisbaar? Zijn er vakken waarin een andere vorm van beoordeling kan worden gebruikt? Bekijk ook de pagina over toetsing op vakniveau.
Stap 2: Bekijk de opdrachtvereisten
Kijk goed naar de opdrachtvereisten. We hebben vier specifieke kwetsbaarheden in opdrachten geïdentificeerd die vaak kunnen worden opgelost. Lees meer over deze kwetsbaarheden, oplossingen en gedetailleerde voorbeelden door op de onderstaande links te klikken.
- Leg de opdrachtbeschrijving voor aan ChatGPT, Gemini of een andere GenAI-tool, eventueel met wat extra prompts, om te zien of hun antwoorden acceptabel zijn, vergelijkbaar met het werk van studenten, en misschien zelfs een voldoende kunnen halen.
- Vraag om reflectie op de argumentatie van de auteur(s) van boeken, artikelen, enz. Laat studenten verschillende bronnen vergelijken en argumenten evalueren.
- Vraag om creatieve oplossingen, interpretaties en verbanden en/of het gebruik van diagrammen, grafieken, afbeeldingen, enz.
- Vraag studenten om na te denken over hun persoonlijke ervaringen en meningen (bijvoorbeeld: “Leg uit hoe het materiaal van vorige week heeft veranderd wat je denkt over de rol van…”).
- Houd toezicht op de studenten tijdens delen van de schrijfopdracht. Vraag studenten om een deel van het schrijfwerk in de klas te doen, bijvoorbeeld door brainstormsessies of feedbacksessies met medestudenten te organiseren. Je kunt ook praktische demonstraties organiseren gebaseerd op het geschreven werk van de studenten, zoals interpretaties van primaire bronnen of artefacten, nagebootste therapiesessies, laboratoriumopstellingen of co-demonstraties.
- Focus op het proces in plaats van op het eindproduct. Bouw stappen in de opdracht in waarbij studenten mondeling of schriftelijk reflecteren op hun vooruitgang (zelfevaluatie) en geef hier feedback op of neem dit op in de beoordeling. Kortere, frequentere (formatieve) beoordelingen tijdens de les kunnen ook een optie zijn. Specifieke opties zijn:
- Laat studenten een dagboek of logboek bijhouden om hun aanpak te laten zien (en overweeg dit op te nemen in het eindcijfer);
- Laat studenten hun denkproces uitleggen (bijvoorbeeld met track changes);
- Geef studenten de mogelijkheid om hun schrijfproces op verschillende manieren te documenteren (bijvoorbeeld tekeningen, mindmaps, geluidsopnamen);
- Organiseer voortgangsbesprekingen/presentaties gedurende het proces en beoordeel conceptopdrachten;
- Laat studenten tijdens een groepssessie samen een plan maken voor hun opdracht;
- Interview studenten over hun producten;
- Krijg inzicht in de aantekeningen die studenten maken tijdens het onderzoek/schrijfproces.
Stap 3: Pas je onderwijs aan de nieuwe situatie aan
Doe een beroep op de motivatie van studenten voor hun studie. Veel studenten grijpen naar GenAI omdat ze dingen doen die ze niet leuk vinden of waarvan ze het nut niet inzien. Andere factoren die een rol kunnen spelen zijn onzekerheid, stress, druk om hoge cijfers te halen en tijdgebrek. Het aanpakken van deze zorgen zal studenten motiveren om te leren en hen in staat stellen om te vertrouwen op hun kennis en vaardigheden, zodat ze minder snel zullen vertrouwen op GenAI.
- Bespreek ethische en praktische bezwaren tegen het gebruik van GenAI met je studenten:
- Leg uit dat moeite doen belangrijk is om te leren en dat sluiproutes met GenAI je intellectuele groei op de langere termijn kunnen beperken.
- Bespreek wat academische integriteit betekent in je eigen vakgebied. Geef voorbeelden van academische oneerlijkheid. Leg uit dat niet alleen fraude, maar ook onbetrouwbare GenAI-uitvoer onaanvaardbaar is in academisch werk.
-
Maak je normen expliciet: bespreek wat is toegestaan en wat niet. Maak onderscheid tussen GenAI-gebruik en GenAI-misbruik.
- Vraag studenten een authenticiteitsverklaring te ondertekenen bij het indienen.
- Moedig studenten aan om vragen of dilemma’s over hun eigen GenAI gebruik aan je voor te leggen.
- Laat zien hoe je GenAI op een zinvolle en ethisch aanvaardbare manier kunt gebruiken. Laat studenten een logboek bijhouden van hun gebruik.
- Gebruik peer reviews om studenten te motiveren elkaar aan te spreken op academische integriteit.
- Monitor het schrijfproces, door de aanpak met studenten te bespreken, concepten te laten inleveren, een deel van het schrijfproces op locatie te laten uitvoeren en/of een (mondelinge) toelichting te geven op hun (schrijf)proces.
- Geef vaker feedback (niet alleen op het eindproduct), op zowel de inhoud als het proces. Overweeg het gebruik van zelf-assessment en peer-feedback in kleine groepjes.
Stap 4: Zoom in op de toetsing zelf
Als je twijfels hebt over de invloed van ongeoorloofd gebruik van GenAI op je beoordeling, overweeg dan de volgende punten:
- Verander de weging in de rubric om aspecten van schrijven te benadrukken die te maken hebben met vaardigheden op een hoger niveau die niet goed gedaan kunnen worden door GenAI, en verlaag de weging van aspecten die GenAI wel goed kan (zoals spelling, structureren, samenvatten, definiëren, etc.). Daarbij moet je er wel voor oppassen dat je beoordeling niet bevooroordeeld wordt ten gunste van studenten die GenAI gebruiken versus studenten die dat niet doen.
- In sommige cursussen moet je juist deze fundamentele academische schrijfvaardigheden beoordelen. In dat geval is het geen optie om de weging te veranderen en is het misschien beter om studenten onder begeleiding te laten schrijven.
- Zorg ervoor dat je niet alleen het uiteindelijke schriftelijke product beoordeelt. Neem bijvoorbeeld de hierboven vermelde tips op in de beoordeling, zoals mondelinge presentaties van het geschreven werk en het proces dat daartoe geleid heeft, zelfevaluatie, feedback van medestudenten, enz.
- Het is onmogelijk om betrouwbaar vast te stellen of een tekst door GenAI is gegenereerd. Maar er zijn een aantal aanwijzingen waar je op kunt letten:
- Een vlakke, algemene stijl – GenAI is goed in nabootsing, niet in originaliteit.
- In andere talen dan Engels: ongebruikelijk taalgebruik, vreemde fouten, enz.
- Verklaringen die sterk afwijken van het cursusmateriaal.
- Onjuiste, te algemene of ontbrekende verwijzingen.
- Onverklaarbare verschillen in tekstlengte. Inconsistente toon of stijl.
- Gebrek aan persoonlijke mening of reflectie.
- Overeenkomsten tussen je eigen GenAI-tekst en de tekst van de student.
- Onvermogen van een student om (eenvoudige) vragen over de eigen tekst te beantwoorden.
Belangrijk: vertrouw niet op plagiaatdetectiesoftware
De bestaande methoden om AI-gegenereerde teksten te detecteren zijn onbetrouwbaar en moeten niet worden gebruikt. Het is onduidelijk of deze situatie zal veranderen, aangezien GenAI voortdurend bijleert en verbetert. Dit leidt tot toekomstige versies met verbeterde functionaliteiten waardoor ongeoorloofd gebruik nog moeilijker te detecteren is. Daarnaast zijn er zorgen over de privacy van detectiesoftware die de schrijfstijl van studenten kan herkennen.
In plaats van detectiesoftware te gebruiken, raden we je aan om je schriftelijke opdrachten onder de loep te nemen. Het kan zijn dat je alternatieve beoordelingsmethoden kan gebruiken of dat je de beoordeling van de cursus als geheel moet heroverwegen. Kijk hiervoor op de pagina over toetsing op vakniveau.
Vermoeden van fraude of plagiaat
Vermoed je dat een student GenAI heeft gebruikt om fraude of plagiaat te plegen in jouw opdracht? Meld dit dan bij de Examencommissie zodat zij dit verder kunnen onderzoeken en eventueel sanctioneren. Je kunt je vermoedens met de student bespreken, maar vermoedens alleen dienen niet als bewijs in fraudezaken. Bedenk dat de ontwikkeling van GenAI snel gaat. Wat nu een zwakte van GenAI lijkt te zijn, kan morgen verbeterd zijn. Vertrouw dus niet te veel op deze zwakke punten of op je eigen vermogen om het gebruik van GenAI door studenten te detecteren.
Advies voor je eigen situatie
Wil je advies om je assessment veiliger te maken? Neem dan contact op met een toetsdeskundigen via de TLC van jouw faculteit. Je kunt ook altijd advies vragen aan de toetsdeskundigen van TLC-Centraal (tlc@uva.nl).
Advies
Wil je advies om je assessment veiliger te maken? Neem dan contact op met een toetsdeskundigen van FGw via goedtoetsen-fgw@uva.nl.