Het gebruik van GenAI bij schriftelijke opdrachten
De kans is groot dat studenten GenAI gebruiken voor thuisopdrachten. Hoe voorkom je als docent ongeoorloofd AI-gebruik bij schriftelijke opdrachten zonder toezicht? Overweeg of zulke opdrachten nog passen bij je leerdoelen nu GenAI veel wordt gebruikt. We bieden vier stappen en praktische tips om je opdrachten te evalueren en minder kwetsbaar te maken.
Studenten kunnen zeer bedreven zijn in het gebruik van GenAI in het schrijfproces op manieren die we niet kunnen voorzien of detecteren. De kans is groot dat studenten GenAI gebruiken voor thuisopdrachten. Hoe voorkom je als docent ongeoorloofd AI-gebruik bij schriftelijke opdrachten zonder toezicht? Overweeg of zulke opdrachten nog passen bij je leerdoelen nu GenAI veel wordt gebruikt. Plagiaatdetectiesoftware is te onbetrouwbaar om hier goed op in te kunnen spelen. Bovendien is het op dit moment misschien niet mogelijk om schriftelijke opdrachten zonder toezicht zoals papers, take-home examens of codeeropdrachten te vermijden in je cursus. Het is daarom beter om je te richten op hoe je studenten kunt motiveren en stimuleren om op een verantwoorde manier aan het leerproces deel te nemen. We bieden vier stappen en praktische tips om je opdrachten te evalueren en minder kwetsbaar te maken.
Stap 1: Denk na over alternatieve beoordelingsvormen
Bekijk de leerdoelen van het vak en overweeg of je andere beoordelingsvormen dan schriftelijke opdrachten zonder toezicht kunt gebruiken om te bepalen of studenten die leerdoelen bereikt hebben. Een andere overweging is of je het gewicht van de schriftelijke opdracht(en) zonder toezicht in het eindcijfer kunt verminderen ten voordele van andere beoordelingen die minder vatbaar zijn voor ongeoorloofd gebruik van GenAI.
Veel opleidingen nemen in elk vak een schrijfopdracht op, ook al is dit vanuit het perspectief van de leerdoelen en leeruitkomsten niet altijd nodig of wenselijk. In welke vakken zijn schrijfopdrachten echt onmisbaar? Zijn er vakken waarin een andere vorm van beoordeling kan worden gebruikt?
Gebruik de checklist om de toetsing van je vak te controleren op ongeoorloofd gebruik van GenAI. Onder aan de pagina vind je 5 tips om ongeoorloofd GenAI-gebruik te voorkomen.
Stap 1: Denk na over alternatieve beoordelingsvormen
Bekijk de leerdoelen van het vak en overweeg of je andere beoordelingsvormen dan schriftelijke opdrachten zonder toezicht kunt gebruiken om te bepalen of studenten die leerdoelen bereikt hebben. Een andere overweging is of je het gewicht van de schriftelijke opdracht(en) zonder toezicht in het eindcijfer kunt verminderen ten voordele van andere beoordelingen die minder vatbaar zijn voor ongeoorloofd gebruik van GenAI.
Overweeg ook de plaats van het vak binnen het curriculum en overleg met de rest van het docententeam. Veel opleidingen nemen in elk vak een schrijfopdracht op, ook al is dit vanuit het perspectief van de leerdoelen en leeruitkomsten niet altijd nodig of wenselijk. In welke vakken zijn schrijfopdrachten echt onmisbaar? Zijn er vakken waarin een andere vorm van beoordeling kan worden gebruikt? Bekijk ook de pagina over toetsing op vakniveau.
Stap 2: Bekijk de opdrachtvereisten
We hebben vier specifieke kwetsbaarheden in opdrachten geïdentificeerd die vaak kunnen worden opgelost. Lees meer over deze kwetsbaarheden, oplossingen en gedetailleerde voorbeelden door op de onderstaande links te klikken.
Op deze pagina lees je meer over kwetsbaarheden in opdrachtvereisten (in relatie tot GenAI) die vaak kunnen worden opgelost. Studenten hebben vaak een grote vrijheid in het kiezen van hun eigen inhoud (onderwerp), vorm en/of methode binnen het kader van een opdracht, gebruikmakend van algemeen beschikbare kennis. Dit maakt dergelijke opdrachten vatbaar voor ongeoorloofd gebruik van GenAI. In plaats daarvan raden we je aan om ervoor te zorgen dat de opdracht qua inhoud, vorm en/of methode specifiek is afgestemd op wat er in de cursus en colleges is geleerd. De opdracht vereist dan vakspecifieke diepgang en leunt minder op algemeen beschikbare kennis.
Op deze pagina lees je meer over kwetsbaarheden in opdrachtvereisten (in relatie tot GenAI) die vaak kunnen worden opgelost. In vergelijking met mensen zijn de huidige GenAI-tools niet erg goed in bepaalde vaardigheden op een hoger niveau, zoals contextueel denken, temporeel en psychologisch redeneren of interpreteren. Je kunt dit in je voordeel gebruiken bij het ontwerpen van toetsing, bijvoorbeeld door het opnemen van vragen die leerlingen aansporen om hun begrip van de stof op een authentieke en zinvolle manier te tonen door middel van (kritische) reflectie, analyse, interpretatie, integratie, evaluatie of synthese.
Op deze pagina lees je meer over kwetsbaarheden in opdrachtvereisten (in relatie tot AI) die vaak kunnen worden opgelost. Opdrachten vragen zelden om algemene referenties over een onderwerp. In plaats daarvan worden academische referenties gebruikt om een specifieke bewering of bevinding te ondersteunen. Dit is waar AI-tools onbetrouwbaar kunnen zijn, omdat ze vaak verwijzen naar het hoofdargument van een artikel, maar zelden naar een specifiek argument of deel van het artikel. Daarom raden we je in het licht van GenAI aan om van studenten te eisen dat ze zich in hun opdrachten verdiepen in vakspecifieke literatuur en precies verwijzen naar argumenten of delen van dergelijke werken.
Op deze pagina lees je meer over kwetsbaarheden in opdrachtvereisten (in relatie tot AI) die vaak kunnen worden opgelost. Terwijl genAI op dit moment goed is in het lezen van tekst uit invoerafbeeldingen en het verder verwerken daarvan, is het tegenovergestelde niet waar. Dat wil zeggen, GenAI is momenteel niet goed in het produceren van afbeeldingen die tekst bevatten (zoals een conceptuele grafiek of een mindmap). Daarom zouden docenten leerlingen kunnen vragen om hun resultaten op zo’n manier te visualiseren, wat meer reflectie en creativiteit vereist. Merk echter op dat GenAI leerlingen nog steeds kan helpen met zo’n taak door tekst te gebruiken om de visualisatie te beschrijven.
Stap 2: Bekijk de opdrachtvereisten
Kijk goed naar de opdrachtvereisten. We hebben vier specifieke kwetsbaarheden in opdrachten geïdentificeerd die vaak kunnen worden opgelost. Lees meer over deze kwetsbaarheden, oplossingen en gedetailleerde voorbeelden door op de onderstaande links te klikken.
- Leg de opdrachtbeschrijving voor aan ChatGPT, Gemini of een andere GenAI-tool, eventueel met wat extra prompts, om te zien of hun antwoorden acceptabel zijn, vergelijkbaar met het werk van studenten, en misschien zelfs een voldoende kunnen halen.
- Vraag om reflectie op de argumentatie van de auteur(s) van boeken, artikelen, enz. Laat studenten verschillende bronnen vergelijken en argumenten evalueren.
- Vraag om creatieve oplossingen, interpretaties en verbanden en/of het gebruik van diagrammen, grafieken, afbeeldingen, enz.
- Vraag studenten om na te denken over hun persoonlijke ervaringen en meningen (bijvoorbeeld: “Leg uit hoe het materiaal van vorige week heeft veranderd wat je denkt over de rol van…”).
- Houd toezicht op de studenten tijdens delen van de schrijfopdracht. Vraag studenten om een deel van het schrijfwerk in de klas te doen, bijvoorbeeld door brainstormsessies of feedbacksessies met medestudenten te organiseren. Je kunt ook praktische demonstraties organiseren gebaseerd op het geschreven werk van de studenten, zoals interpretaties van primaire bronnen of artefacten, nagebootste therapiesessies, laboratoriumopstellingen of co-demonstraties.
- Focus op het proces in plaats van op het eindproduct. Bouw stappen in de opdracht in waarbij studenten mondeling of schriftelijk reflecteren op hun vooruitgang (zelfevaluatie) en geef hier feedback op of neem dit op in de beoordeling. Kortere, frequentere (formatieve) beoordelingen tijdens de les kunnen ook een optie zijn. Specifieke opties zijn:
- Laat studenten een dagboek of logboek bijhouden om hun aanpak te laten zien (en overweeg dit op te nemen in het eindcijfer);
- Laat studenten hun denkproces uitleggen (bijvoorbeeld met track changes);
- Geef studenten de mogelijkheid om hun schrijfproces op verschillende manieren te documenteren (bijvoorbeeld tekeningen, mindmaps, geluidsopnamen);
- Organiseer voortgangsbesprekingen/presentaties gedurende het proces en beoordeel conceptopdrachten;
- Laat studenten tijdens een groepssessie samen een plan maken voor hun opdracht;
- Interview studenten over hun producten;
- Krijg inzicht in de aantekeningen die studenten maken tijdens het onderzoek/schrijfproces.
Stap 3: Pas je onderwijs aan de nieuwe situatie aan
Veel studenten grijpen naar GenAI omdat ze dingen doen die ze niet leuk vinden of waarvan ze het nut niet inzien. Andere factoren die een rol kunnen spelen zijn onzekerheid, stress, druk om hoge cijfers te halen en tijdgebrek. Het aanpakken van deze zorgen zal studenten motiveren om te leren en hen in staat stellen om te vertrouwen op hun kennis en vaardigheden, zodat ze minder snel zullen vertrouwen op GenAI.
- Leg uit dat moeite doen belangrijk is om te leren en dat sluiproutes met GenAI je intellectuele groei op de langere termijn kunnen beperken.
- Bespreek wat academische integriteit betekent in je eigen vakgebied. Geef voorbeelden van academische oneerlijkheid. Leg uit dat niet alleen fraude, maar ook onbetrouwbare GenAI-uitvoer onaanvaardbaar is in academisch werk.
-
Maak je normen expliciet: bespreek wat is toegestaan en wat niet. Maak onderscheid tussen GenAI-gebruik en GenAI-misbruik.
- Vraag studenten een authenticiteitsverklaring te ondertekenen bij het indienen.
- Moedig studenten aan om vragen of dilemma’s over hun eigen GenAI gebruik aan je voor te leggen.
- Laat zien hoe je GenAI op een zinvolle en ethisch aanvaardbare manier kunt gebruiken. Laat studenten een logboek bijhouden van hun gebruik.
- Gebruik peer reviews om studenten te motiveren elkaar aan te spreken op academische integriteit.
door de aanpak met studenten te bespreken, concepten te laten inleveren, een deel van het schrijfproces op locatie te laten uitvoeren en/of een (mondelinge) toelichting te geven op hun (schrijf)proces.
(niet alleen op het eindproduct), op zowel de inhoud als het proces. Overweeg het gebruik van zelf-assessment en peer-feedback in kleine groepjes.
Stap 3: Pas je onderwijs aan de nieuwe situatie aan
Doe een beroep op de motivatie van studenten voor hun studie. Veel studenten grijpen naar GenAI omdat ze dingen doen die ze niet leuk vinden of waarvan ze het nut niet inzien. Andere factoren die een rol kunnen spelen zijn onzekerheid, stress, druk om hoge cijfers te halen en tijdgebrek. Het aanpakken van deze zorgen zal studenten motiveren om te leren en hen in staat stellen om te vertrouwen op hun kennis en vaardigheden, zodat ze minder snel zullen vertrouwen op GenAI.
- Bespreek ethische en praktische bezwaren tegen het gebruik van GenAI met je studenten:
- Leg uit dat moeite doen belangrijk is om te leren en dat sluiproutes met GenAI je intellectuele groei op de langere termijn kunnen beperken.
- Bespreek wat academische integriteit betekent in je eigen vakgebied. Geef voorbeelden van academische oneerlijkheid. Leg uit dat niet alleen fraude, maar ook onbetrouwbare GenAI-uitvoer onaanvaardbaar is in academisch werk.
-
Maak je normen expliciet: bespreek wat is toegestaan en wat niet. Maak onderscheid tussen GenAI-gebruik en GenAI-misbruik.
- Vraag studenten een authenticiteitsverklaring te ondertekenen bij het indienen.
- Moedig studenten aan om vragen of dilemma’s over hun eigen GenAI gebruik aan je voor te leggen.
- Laat zien hoe je GenAI op een zinvolle en ethisch aanvaardbare manier kunt gebruiken. Laat studenten een logboek bijhouden van hun gebruik.
- Gebruik peer reviews om studenten te motiveren elkaar aan te spreken op academische integriteit.
- Monitor het schrijfproces, door de aanpak met studenten te bespreken, concepten te laten inleveren, een deel van het schrijfproces op locatie te laten uitvoeren en/of een (mondelinge) toelichting te geven op hun (schrijf)proces.
- Geef vaker feedback (niet alleen op het eindproduct), op zowel de inhoud als het proces. Overweeg het gebruik van zelf-assessment en peer-feedback in kleine groepjes.
Stap 4: Zoom in op de toetsing zelf
Verander de weging in de rubric om aspecten van schrijven te benadrukken die te maken hebben met vaardigheden op een hoger niveau die niet goed gedaan kunnen worden door GenAI, en verlaag de weging van aspecten die GenAI wel goed kan (zoals spelling, structureren, samenvatten, definiëren, etc.). Daarbij moet je er wel voor oppassen dat je beoordeling niet bevooroordeeld wordt ten gunste van studenten die GenAI gebruiken versus studenten die dat niet doen.
In sommige cursussen moet je juist deze fundamentele academische schrijfvaardigheden beoordelen. In dat geval is het geen optie om de weging te veranderen en is het misschien beter om studenten onder begeleiding te laten schrijven.
Neem bijvoorbeeld de hierboven vermelde tips op in de beoordeling, zoals mondelinge presentaties van het geschreven werk en het proces dat daartoe geleid heeft, zelfevaluatie, feedback van medestudenten, enz.
Maar er zijn een aantal aanwijzingen waar je op kunt letten:
- Een vlakke, algemene stijl – GenAI is goed in nabootsing, niet in originaliteit.
- In andere talen dan Engels: ongebruikelijk taalgebruik, vreemde fouten, enz.
- Verklaringen die sterk afwijken van het cursusmateriaal.
- Onjuiste, te algemene of ontbrekende verwijzingen.
- Onverklaarbare verschillen in tekstlengte. Inconsistente toon of stijl.
- Gebrek aan persoonlijke mening of reflectie.
- Overeenkomsten tussen je eigen GenAI-tekst en de tekst van de student.
- Onvermogen van een student om (eenvoudige) vragen over de eigen tekst te beantwoorden.
Stap 4: Zoom in op de toetsing zelf
Als je twijfels hebt over de invloed van ongeoorloofd gebruik van GenAI op je beoordeling, overweeg dan de volgende punten:
- Verander de weging in de rubric om aspecten van schrijven te benadrukken die te maken hebben met vaardigheden op een hoger niveau die niet goed gedaan kunnen worden door GenAI, en verlaag de weging van aspecten die GenAI wel goed kan (zoals spelling, structureren, samenvatten, definiëren, etc.). Daarbij moet je er wel voor oppassen dat je beoordeling niet bevooroordeeld wordt ten gunste van studenten die GenAI gebruiken versus studenten die dat niet doen.
- In sommige cursussen moet je juist deze fundamentele academische schrijfvaardigheden beoordelen. In dat geval is het geen optie om de weging te veranderen en is het misschien beter om studenten onder begeleiding te laten schrijven.
- Zorg ervoor dat je niet alleen het uiteindelijke schriftelijke product beoordeelt. Neem bijvoorbeeld de hierboven vermelde tips op in de beoordeling, zoals mondelinge presentaties van het geschreven werk en het proces dat daartoe geleid heeft, zelfevaluatie, feedback van medestudenten, enz.
- Het is onmogelijk om betrouwbaar vast te stellen of een tekst door GenAI is gegenereerd. Maar er zijn een aantal aanwijzingen waar je op kunt letten:
- Een vlakke, algemene stijl – GenAI is goed in nabootsing, niet in originaliteit.
- In andere talen dan Engels: ongebruikelijk taalgebruik, vreemde fouten, enz.
- Verklaringen die sterk afwijken van het cursusmateriaal.
- Onjuiste, te algemene of ontbrekende verwijzingen.
- Onverklaarbare verschillen in tekstlengte. Inconsistente toon of stijl.
- Gebrek aan persoonlijke mening of reflectie.
- Overeenkomsten tussen je eigen GenAI-tekst en de tekst van de student.
- Onvermogen van een student om (eenvoudige) vragen over de eigen tekst te beantwoorden.
Belangrijk: plagiaatdetectie met software niet mogelijk
De detectie van GenAI is op dit moment niet mogelijk. De bestaande methoden om AI-gegenereerde teksten te detecteren zijn onbetrouwbaar en moeten niet worden gebruikt. Het is onduidelijk of deze situatie zal veranderen, aangezien GenAI voortdurend bijleert en verbetert. Dit leidt tot toekomstige versies met verbeterde functionaliteiten waardoor ongeoorloofd gebruik nog moeilijker te detecteren is. Daarnaast zijn er zorgen over de privacy van detectiesoftware die de schrijfstijl van studenten kan herkennen.
In plaats van detectiesoftware te gebruiken, raden we je aan om je schriftelijke opdrachten onder de loep te nemen. Het kan zijn dat je alternatieve beoordelingsmethoden kan gebruiken of dat je de beoordeling van de cursus als geheel moet heroverwegen. Kijk hiervoor op de pagina over toetsing op vakniveau.
Vermoeden van fraude of plagiaat
Vermoed je dat een student GenAI heeft gebruikt om fraude of plagiaat te plegen in jouw opdracht? Meld dit dan bij de Examencommissie zodat zij dit verder kunnen onderzoeken en eventueel sanctioneren. Je kunt je vermoedens met de student bespreken, maar vermoedens alleen dienen niet als bewijs in fraudezaken. Bedenk dat de ontwikkeling van GenAI snel gaat. Wat nu een zwakte van GenAI lijkt te zijn, kan morgen verbeterd zijn. Vertrouw dus niet te veel op deze zwakke punten of op je eigen vermogen om het gebruik van GenAI door studenten te detecteren.
Advies voor je eigen situatie
Wil je advies om je assessment veiliger te maken? Neem dan contact op met een toetsdeskundigen via de TLC van jouw faculteit. Je kunt ook altijd advies vragen aan de toetsdeskundigen van TLC-Centraal (tlc@uva.nl).
Advies
Wil je advies om je assessment veiliger te maken? Neem dan contact op met een toetsdeskundigen van FGw via goedtoetsen-fgw@uva.nl. Breng je opleidingsdirecteur op de hoogte, zodat deze op opleidingsniveau een overzicht kan maken van de situatie en van de vakken waarbij GenAI wordt ingezet.