ChatGPT workshop voor docenten

Op 16 januari 2023 organiseerden het Programming Teaching Lab en het Teaching and Learning Centre Science een 4 uur durende workshop over ChatGPT voor docenten. ChatGPT is een taalmodel met chat-mogelijkheden en het lijkt alsof het bijna alles kan: al je vragen beantwoorden, met “nieuwe” ideeën komen, je essay voor je schrijven, en wat al niet meer. Docenten over de hele wereld huiveren: kunnen we de inhoud van onze studenten nog wel vertrouwen of wordt alles door AI gegenereerd?

Er zijn echter ook veel mogelijkheden met deze nieuwe techniek. Tijdens de workshop wilden we ons richten op de positieve kanten: Wat kunnen docenten meenemen van ChatGPT? Hoe kunnen we ChatGPT in ons eigen voordeel gebruiken? Moeten we nadenken over nieuwe manieren van beoordelen? Kan het nieuwe opdrachten genereren, het gebruik ervan in huiswerk verankeren?

Wat is ChatGPT?

Jelle Zuidema, universitair hoofddocent Natural Language Processing, Explainable AI en Cognitive Modelling aan het Institute for Logic, Language and Computation, legt uit dat ChatGPT niet uit de lucht is komen vallen, maar dat er de laatste jaren sprake is van een voortdurende ontwikkeling van natuurlijke taalverwerkingstechnologie. Er is geen expliciete bron waar het al zijn informatie vandaan haalt, maar het maakt abstracties van alle beschikbare online informatie. Dat betekent echter niet dat de informatie die het levert altijd correct is. Het produceert veel inhoud die goed klinkt omdat het de grammatica en verschillende soorten schrijfgenres heeft geleerd en die structuren kan reproduceren. De inhoud kan echter feitelijk onzin zijn (en is dat ook regelmatig). Zoals ChatGPT het zelf uitlegt:

Het is een zuiver taalmodel en produceert inhoud op basis van aannemelijke voortzettingen van tekst. Het is getraind op gebruikersgegevens en wil zijn gebruikers gelukkig maken (bijvoorbeeld door korte en duidelijke antwoorden te geven), maar het is niet geoptimaliseerd voor waarheidsgetrouwheid. Het kan bijvoorbeeld bronnen genereren wanneer de gebruiker om referenties vraagt omdat de gebruiker daar blij van wordt, maar die referenties kunnen volledig verzonnen zijn.

Maar hoe betrouwbaar is de inhoud in dat geval? Hoe onderscheid je verzinsels van feiten? Dit is nog een actief onderzoeksgebied. Een mogelijke oplossing kan zijn om eerst met klassieke technieken naar feitelijke inhoud te zoeken (bijvoorbeeld in boeken of met betrouwbare online bronnen) en dan ChatGPT te gebruiken om alle informatie uit die bronnen samen te vatten. Helaas zal vragen aan ChatGPT om “waarheidsgetrouw te zijn” dit probleem niet oplossen. Het zou kunnen leiden tot een meer waarheidsgetrouw antwoord, maar dat is dan puur toeval.

Hoe kan ChatGPT worden gebruikt in het onderwijs?

Maar als het produceren van waarheidsgetrouwe inhoud niet is wat ChatGPT doet, hoe kunnen we het dan gebruiken in het onderwijs? Martijn Stegeman, docent en coördinator van de UvA minor Programmeren, noemt twee hoofdgebieden waarvoor ChatGPT in het onderwijs kan worden ingezet:

1. Leerhulp voor studenten. De inschrijvingen van studenten zijn erg hoog, waardoor docenten te weinig tijd hebben om hun studenten goed te begeleiden. Hoe kunnen we ChatGPT gebruiken om studenten te helpen studeren en het onderwijs beter te maken? ChatGPT kan bijvoorbeeld Python-code uitleggen, flashcard-vragen schrijven die studenten kunnen gebruiken voor zelfstudie, en een rollenspel uitvoeren met ChatGPT als docent.
2. Docent inspiratie. Als docent kan ChatGPT u veel tijd besparen en inspiratie geven voor uw onderwijs. ChatGPT kan bijvoorbeeld dienen als proefpersoon om te controleren of uw examenvragen eenduidig zijn, examenvragen maken, een creatieve programmeeropdracht genereren, een studiegids voor een cursus schrijven en feedback geven op een beoordelingsschaal.

Hoe stel je de juiste vragen?

Vergeet niet dat ChatGPT geprogrammeerd is om antwoorden te geven waar de lezer blij van wordt. Omgekeerd betekent dit dat het stellen van de juiste vragen – prompts genoemd – essentieel is bij het gebruik ervan. Daarom gaf Martijn richtlijnen voor het schrijven van goede prompts. Het belangrijkste is dat je de prompt niet te breed of vaag formuleert, maar zo precies mogelijk. Je prompt moet alle criteria bevatten die je in het antwoord zoekt. Als je bijvoorbeeld vragen nodig hebt die testen of jouw studenten hun kennis kunnen toepassen, kan het vragen van 10 vragen aan ChatGPT resulteren in vragen van een kwaliteit die je niet kunt gebruiken. Als u ChatGPT echter vraagt om 10 vragen te maken die een relationeel antwoord vereisen (zoals beschreven in de SOLO-taxonomie), zal het zich aan die vereisten houden (zie onderstaande afbeeldingen).

Let op, als er veel inhoud beschikbaar is over het onderwerp of als het een veelvoorkomend genre is, wordt de output van ChatGPT beter (ChatGPT is bijvoorbeeld heel goed in het maken van een studiegidsitem op basis van een paar van je aantekeningen).

Voor meer tips over het schrijven van goede prompts voor ChatGPT kun je dit Nederlandstalige artikel van Neuroflash lezen.