Spoor 2: AI-robuste opdrachten ontwerpen
Spoor 2-toetsvormen zijn ongesuperviseerde toetsopdrachten waarbij studenten generatieve AI mogen gebruiken, maar daartoe niet verplicht zijn. In veel gevallen hoeft de leeruitkomst zelf niet te veranderen. Wat wél verandert, zijn het ontwerp van de opdracht en de beoordelingscriteria: die bepalen of, en hoe, AI gebruikt mag worden, terwijl studenten toch nog de beoogde leeruitkomsten kunnen aantonen.
Bij het ontwerpen van AI-robuste opdrachten zijn er vier belangrijke aspecten om rekening mee te houden.
1. Leeruitkomsten
Leeruitkomsten in Spoor 2 leggen doorgaans de nadruk op oordeelsvorming, evaluatie en vakinhoudelijk redeneren. Dit zijn vaardigheden die studenten kunnen aantonen, ook wanneer AI-hulpmiddelen deel uitmaken van hun workflow. De focus verschuift van het produceren van output naar het nemen van goed onderbouwde, verdedigbare beslissingen over die output.
In de praktijk beoordeel je of studenten kunnen:
- de kwaliteit en nauwkeurigheid van inhoud en concurrerende argumenten evalueren aan de hand van vakinhoudelijke criteria
- beperkingen of vertekeningen identificeren en daar op passende wijze mee omgaan
- methodologische, analytische of ontwerpkeuzes verantwoorden
- (meerdere) bronnen, bewijs en theorie synthetiseren op een manier die aansluit bij de vakinhoudelijke standaarden
- concepten toepassen in nieuwe contexten
- onvolledig of tegenstrijdig bewijs interpreteren
- concurrerende theoretische verklaringen beoordelen
- uitleggen hoe vakinhoudelijke kennis hun beslissingen heeft gestuurd
- verantwoordelijkheid nemen voor het eindproduct, ongeacht hoe het tot stand is gekomen
- Natuurwetenschappen: Studenten beoordelen een door AI gegenereerd labrapport, identificeren methodologische fouten of onjuiste interpretaties en reviseren het, met een onderbouwing die is verankerd in wetenschappelijke principes.
- Sociale wetenschappen: Studenten vergelijken een door AI gegenvoorde beleidsaanbeveling met vakliteratuur en empirische data, evalueren de geldigheid ervan en doen verbetervoorstellen.
- Geesteswetenschappen: Studenten bekritiseren een door AI gegenvoerde interpretatie van een tekst, identificeren ontbrekende perspectieven of mislezingen en ontwikkelen een meer genuanceerd argument.
- Methoden/statistiek: Studenten beoordelen of een door AI voorgestelde analysemethode geschikt is voor een dataset, onderbouwen hun keuze van methode en leggen beperkingen uit.
- Professionele opleidingen: Studenten gebruiken AI om een product op te stellen (bijv. lesplan, juridisch betoog, samenvatting van een casus) en verfijnen dit vervolgens, waarbij zij beslissingen expliciet onderbouwen in relatie tot professionele standaarden.
Over al deze voorbeelden heen is de kernvraag niet: “Heeft de student dit zelf geproduceerd?”, maar: “Kan de student blijk geven van goed vakinhoudelijk oordeel in de manier waarop het werk is ontwikkeld en geëvalueerd?”
2. Opdrachtbeschrijvingen
Om het leerproces zichtbaar te maken, kunnen studenten worden gevraagd te documenteren of toe te lichten hoe zij met AI-hulpmiddelen hebben gewerkt. Dit is noodzakelijk omdat in ongesuperviseerde settings het eindproduct op zichzelf geen betrouwbaar bewijs van leren meer vormt. Zonder inzicht in het proces is het moeilijk vast te stellen of studenten het beoogde cognitieve werk hebben verricht, of dat zij cruciale stappen hebben uitbesteed.
Bewijs over het proces
Opdrachtbeschrijvingen moeten daarom worden aangepast zodat zij expliciet vragen om bewijs over het proces naast het eindproduct. Dit verlegt de focus van wat er is geproduceerd naar hoe en waarom het is geproduceerd, waardoor de redenering, beslissingen en het gebruik van vakinhoudelijke kennis door studenten beoordeelbaar worden.
Studenten kunnen bijvoorbeeld worden gevraagd om:
- ontwikkeling in de tijd te laten zien (bijv. versies, revisies, geannoteerde outputs)
- toe te lichten hoe vakinhoudelijke kennis hun keuzes heeft gestuurd
- hun AI-gebruik te documenteren (bijv. welke hulpmiddelen zijn gebruikt, met welk doel en in welke fases)
- belangrijke beslissingen te verantwoorden (bijv. waarom zij door AI gegenereerde output hebben overgenomen, afgewezen of aangepast)
- AI-bijdragen kritisch te evalueren (bijv. onnauwkeurigheden, vertekeningen of beperkingen te identificeren)
3. Beoordelingscriteria
Om de AI-robustheid van toetsen te vergroten, moeten beoordelingscriteria minder de nadruk leggen op aspecten die gemakkelijk kunnen worden uitbesteed aan AI (bijv. spelling- en grammaticanauwkeurigheid, vloeiendheid en leesbaarheid van teksten, basisstructuur en coherentie, oppervlakkige samenvattingen van literatuur of theorieën). In plaats daarvan zouden beoordelingscriteria zich moeten richten op aspecten zoals:
- kwaliteit van de redenering
- onderbouwing van keuzes en beslissingen
- diepgang van kritische betrokkenheid
- integratie van vakinhoudelijke kennis
- vermogen om door AI gegenereerde output te evalueren
- openheid over hoe AI-hulpmiddelen zijn gebruikt (bijvoorbeeld via korte toelichtingen, logboeken of documentatie van prompts en revisies).
4. Instructies
Instructies zouden verder moeten gaan dan “AI wel/niet toegestaan” en in plaats daarvan:
- specificeren welke vormen van gebruik passend of zelfs wenselijk zijn (bijv. brainstormen, redigeren, genereren van alternatieven)
- verduidelijken welke onderdelen het eigen redeneren van studenten moeten weerspiegelen (bijv. analyse, conclusies, onderbouwing)
- aangeven wat gedocumenteerd moet worden (bijv. prompts, outputs, beslissingen) en in welke vorm (bijv. kopie van prompts, link naar AI-chat, enz.)
- beschrijven hoe AI-gebruik wordt meegewogen in de beoordelingscriteria en, indien van toepassing, AI-gebruik expliciet koppelen aan beoordelingscriteria (bijv. kritische evaluatie van AI-output)
- duidelijk maken welke verantwoordelijkheid bij de student blijft liggen wanneer hij of zij AI-hulpmiddelen gebruikt
Vraag studenten om op de volgende vragen te reageren:
- Welke AI-hulpmiddelen heb je gebruikt (indien van toepassing)?
- Voor welke doelen heb je deze gebruikt?
- Welke delen van de output heb je herzien of afgewezen?
- Hoe heb je de betrouwbaarheid van de informatie gecontroleerd?
- Welke beslissingen in het eindproduct zijn door jou genomen?