Op deze pagina lees je meer over kwetsbaarheden in opdrachtvereisten (in relatie tot AI) die vaak kunnen worden opgelost. Je vindt ook informatie over oplossingen en gedetailleerde voorbeelden. Er is uitleg bij vier specifieke kwetsbaarheden die ieder op een aparte pagina zijn uitgewerkt.

Door op de links te klikken kan je de andere pagina’s bekijken of terug gaan naar de pagina over schriftelijke opdracht zonder supervisie.

De opdracht vereist geen vakspecifieke kennis
De opdracht vereist geen vaardigheden op een hoger niveau
De opdracht vereist niet dat studenten zich bezighouden met vakspecifieke literatuur
De opdracht vereist geen visualisaties

GenAI heeft de neiging om te ‘hallucineren’. Door de next-word-prediction logica die in deze modellen zit ingebouwd, genereren ze teksten die plausibel lijken maar feitelijk onjuist zijn of zelfs helemaal verzonnen. Dit probleem is vooral duidelijk als het gaat om academische referenties voor AI-tools die geen toegang hebben tot het internet. Op het moment van schrijven (december 2023) heeft de gratis versie van ChatGPT (met GPT3.5) geen toegang tot het internet en worstelt met academische referenties.

Aangezien academische referenties altijd een bepaalde logica volgen, kan de gratis versie van ChatGPT referenties produceren die correct geformatteerd zijn, maar niet bestaan. Het lastige is dat de vermeende auteur, paper of tijdschrift wel degelijk kan bestaan, maar dat de aparte combinatie is ‘gehallucineerd’ door ChatGPT. Om het nog ingewikkelder te maken, is de gratis versie van ChatGPT ook in staat om bestaande referenties te produceren. Vooral verwijzingen naar belangrijke, bekende, vaak geciteerde papers zullen waarschijnlijk correct worden gegenereerd door een AI-tool, omdat deze een aanzienlijke aanwezigheid hebben in de trainingsgegevens. Dit betekent dat genAI over het algemeen veel beter is in het genereren van echte referenties voor onderwerpen met een lange onderzoekstraditie en onderwerpen die algemener zijn.

Andere tools, zoals de betaalde versie van ChatGPT of de gratis tool perplexity.ai (onder andere), zijn beter in het vinden van bestaande en relevante referenties. Maar zelfs deze tools kunnen niet perfect verwijzen. Nogmaals, ze presteren slechter als de benodigde referenties minder bekend zijn. Bovendien hebben ze de neiging om vrij algemeen naar wetenschappelijke artikelen te verwijzen.

Opdrachten vragen zelden om algemene referenties over een onderwerp. In plaats daarvan worden academische referenties gebruikt om een specifieke bewering of bevinding te ondersteunen. Dit is waar AI-tools onbetrouwbaar kunnen zijn, omdat ze vaak verwijzen naar het hoofdargument van een artikel, maar zelden naar een specifiek argument of deel van het artikel. Daarom raden we je in het licht van genAI aan om van studenten te eisen dat ze zich in hun opdrachten verdiepen in vakspecifieke literatuur en precies verwijzen naar argumenten of delen van dergelijke werken.

Voorbeeld: algemene bronnen opvragen

We zien aan de output dat ChatGPT het goed doet voor deze opdracht. Alle voorgestelde referenties bestaan en zijn inderdaad belangrijke stukken literatuur over politiek vertrouwen.

Maar als we vragen om literatuur over een meer niche onderwerp, een specifiek deelgebied van een onderwerp, of een relatie tussen twee variabelen, brengt ChatGPT ons vaak op een verkeerd spoor.

Student

Wat zijn de belangrijkste academische referenties over politiek vertrouwen?

ChatGPT

Zeker, hier zijn de referenties:

1. Hetherington, M.J. (1998). “The Political Relevance of Political Trust.” The American Political Science Review, 92(4), 791-808.

2. Putnam, R. D. (2000). “Bowling Alone: The Collapse and Revival of American Community.” Simon and Schuster.

3. Levi, M., & Stoker, L. (2000). “Political trust and trustworthiness.” Annual Review of Political Science, 3(1), 475-507.

4. Norris, P. (1999). “Critical Citizens: Global Support for Democratic Government.” Oxford University Press.

Voorbeeld: niche bronnen opvragen

Met een meer gericht verzoek voor referenties vinden we dat ChatGPT ‘hallucineert’. De eerste en derde suggestie bestaan helemaal niet. Suggesties 2 en 4 bestaan wel, maar ze onderzoeken niet het effect dat in de vraag wordt gespecificeerd. Het controleren van de referenties die door een student worden ingediend, kan dus een effectieve manier zijn om frauduleus gebruik van AI op te sporen.

Tip:
Opdrachten vragen zelden om algemene referenties over een onderwerp. In plaats daarvan worden academische referenties gebruikt om een specifieke bewering of bevinding te ondersteunen. Dit is waar ChatGPT onbetrouwbaar is. Bovendien is het dubbelchecken van elke referentie aantoonbaar tijdrovender voor studenten dan het zoeken naar referenties via gangbare databases. Om hun opdrachten minder ChatGPT-vriendelijk te maken, wordt docenten aangeraden om specifieke academische referenties te vragen.

Student

Welke empirische studies tonen aan dat het gebruik van sociale media een effect heeft op het vertrouwen van mensen in de politiek?

ChatGPT

Zeker, hier zijn de referenties van empirische studies die het effect van social media-gebruik op het vertrouwen van mensen in de politiek aantonen:

1. Lelkes, Y., & Westwood, S. J. (2017). The limited effects of partisan media on political attitudes and behavior. Political Behavior, 39(3), 709-736. Link: https://doi.org/10.1007/s11109-016-9373-2

2. Barberá, P., Jost, J. T., Nagler, J., Tucker, J. A., & Bonneau, R. (2015). Tweeting from left to right: Is online political communication more than an echo chamber? Psychological Science, 26(10), 1531-1542. Link: https://doi.org/10.1177/0956797615594620

3. Prior, M., Eshbaugh-Soha, M., & Trounstine, J. (2018). Political polarization on Twitter. Political Communication, 35(1), 1-24. Link: https://doi.org/10.1080/10584609.2017.1364814

4. Bode, L., & Vraga, E. K. (2018). In related news, that was wrong: The correction of misinformation through related stories functionality in social media. Journal of Communication, 68(4), 619-638. Link: https://doi.org/10.1093/joc/jqy044