Bij gesloten vragen moet je rekening houden met de gokkans of raadkans: de kans dat studenten het goede antwoord kunnen raden zonder kennis van de stof. Bij een vraag met 4 antwoordalternatieven, raadt een student zonder enige kennis gemiddeld 25% van de antwoorden goed. Die punten heeft de student als het ware cadeau gekregen, en zeggen dus niets over in hoeverre hij/zij de stof beheerst. Dit veroorzaakt ruis in de meting van je leerdoelen. Om een betrouwbaar beeld te krijgen van de mate waarin de student de stof beheerst, moet je daarom bij gesloten vragen twee dingen doen: voldoende vragen stellen, en de cijfers corrigeren voor de gokkans.

Hoeveel gesloten vragen is voldoende?

Je moet na het corrigeren voor de gokkans genoeg ‘zuivere’ antwoorden overhouden om een betrouwbaar beeld te krijgen van of de student de stof beheerst. Over het algemeen geldt, hoe meer vragen, hoe beter, maar er zijn ook richtlijnen om de betrouwbaarheid te borgen. Die gaan uit van een minimum van 160 antwoordopties:

Vraagsoort	Minimumaantal vragen
Vierkeuzevraag	40
Driekeuzevraag	54
Tweekeuzevraag	80

Een meerkeuzetoets met minder vragen dan deze minimumaantallen geeft geen betrouwbaar beeld van de mate waarin de student de stof beheerst.

NB: van deze aantallen wordt soms beredeneerd afgeweken als de betreffende leerdoelen ook op andere manieren wordt getoetst binnen het vak, bijvoorbeeld bij meerdere deeltoetsen of als er ook enkele open vragen in het tentamen zitten. Controleer de specifieke richtlijnen van jouw opleiding bij de examencommissie.

Hoe pas je gokkanscorrectie toe?

Digitale toetsprogramma’s zoals ANS Exam kunnen automatisch een gokkanscorrectie toepassen. De gokkanscorrectie zorgt ervoor dat de score wordt berekend op basis van aantoonbare kennis boven toeval. Bij een toets met 40 vierkeuzevragen is de gokkans 25% en worden dus gemiddeld 10 vragen goed gegokt. Je berekent het cijfer daarom over de overgebleven 30 vragen. Voor een cesuur van 55% (gebruikelijk bij de meeste faculteiten) is dat 16,5 vragen. De student moet dan 10 + 16,5 = 26,5 van de 40 vragen goed beantwoorden om een 5,5 te halen.

Een ander voorbeeld: bij een toets met 100 twee-keuzevragen is de gokkans 50%. De cijfers bereken je dus over de overblijvende 50 vragen. Voor een voldoende moet je dan 50 + 27,5 = 77,5 van de 100 vragen juist beantwoorden.

In de praktijk wordt bij digitale toetsen de exacte berekening uitgevoerd door Ans Exam, waarbij rekening wordt gehouden met het type vragen en de geldende cesuur binnen de opleiding.

Het kan bewerkelijk zijn om de cijfers handmatig te berekenen als je bijvoorbeeld de toets op papier hebt afgenomen. Het TLC heeft een Exceldocument gemaakt waarmee je de scores van studenten kunt omzetten in cijfers, waarbij de gokkans automatisch berekend en gecorrigeerd wordt. Hiervoor heb je een overzicht van studentnummers en scores op de toets nodig, maar je kunt natuurlijk ook een lijst van alle mogelijke scores maken zodat je een score-cijfertabel krijgt. Bovenin het document staan invulinstructies.

Voorbeeld (screenshot)

Alternatieve methoden

Vereiste kennispercentage (cesuur) verhogen

Soms wordt aangeraden om in plaats van een gokkanscorrectie uit te voeren, de cesuur van de toets standaard te verhogen om een hoger kennispercentage te vragen. Bij een toets met 40 vierkeuzevragen zou je bijvoorbeeld voor een cesuur van 70% kunnen hanteren in plaats van de gebruikelijke 55% (zonder gokkanscorrectie). Studenten moeten dan 70% van de 40 punten = 28 punten halen voor een 5,5. Dit komt neer op een iets ‘strengere’ cesuur dan het rekenvoorbeeld met gokkanscorrectie hierboven (26,5 punten = 5,5).

Bij toetsen die alleen dezelfde vraagsoort bevatten (bijvoorbeeld alleen vierkeuzevragen), kan dit een handzaam alternatief bieden, maar als je tentamen allerlei verschillende vraagsoorten bevat (bijvoorbeeld een mix van 2-, 3- en 4-keuzevragen, of complexere vraagsoorten), dan houdt de berekening daar geen rekening mee. Bij rangschik-, matching- of hotspotvragen in ANS is de gokkans bijvoorbeeld bijna nul. Bij invulvragen (waar studenten een ontbrekend woord moeten invullen) is er helemaal geen gokkans. Je kunt het voor de zekerheid narekenen, maar vaak benadeel je studenten als je een vaste hogere cesuur hanteert die geen rekening houdt met de specifieke gokkans van de verschillende vragen.

Het is eerlijker om per toets de gokkanscorrectie toe te passen dan gestandardiseerd de cesuur te verhogen, omdat je op deze manier bij elke toets een gelijk kennispercentage nastreeft. Dit vermindert de kans op verschillen tussen vakken binnen een opleiding, wat voor studenten verwarrend kan zijn.

‘Negative marking’

Een veelvoorkomend misverstand bij studenten is dat de gokkanscorrectie zoals die in Nederland wordt toegepast, hetzelfde is als ‘negative marking’, een strategie om gokken te voorkomen die in onder andere België en de V.S. wordt gebruikt. Dat is nadrukkelijk niet het geval: bij gokkanscorrectie zoals we die in Nederland kennen worden studenten niet ‘gestraft’ voor gokken door puntenaftrek

Bij de ‘negative marking’ strategie moeten studenten bij elke vraag bepalen hoe zeker ze zijn van het antwoord. Als ze het niet zeker weten, kunnen ze kiezen om bij die vraag niks in te vullen. Ze krijgen 1 punt voor een juist antwoord, 0 punten als er niets is ingevuld, en -1 punt bij een fout antwoord. Dit stimuleert studenten om gegokte antwoorden niet in te vullen (dit staat meestal ook expliciet vermeld in de invulinstructies).

Het effect hiervan is echter twijfelachtig omdat dit stress veroorzaakt en hoe studenten ermee omgaan wordt bepaald door persoonlijkheid en zelfs ook gender: mannelijke studenten gokken vaker, ook bij gedeeltelijke kennis, waardoor je niet (alleen) de beoogde kennis meet, maar ook irrelevante factoren. Hierdoor geeft het cijfer een minder betrouwbaar beeld van wat de student kan. (Zie bijvoorbeeld Betts et al., (2009). Does correction for guessing reduce students’ performance on multiple‐choice examinations? Yes? No? Sometimes? Assessment & Evaluation in Higher Education, 34(1), 1–15. https://doi.org/10.1080/02602930701773091)

Kun je ook kiezen om geen rekening houden met de gokkans bij gesloten vragen?

De cijfers zijn dan geen betrouwbare indicatie van wat een student daadwerkelijk weet of kan. Waarschijnlijk zullen nagenoeg alle studenten slagen, waarvan een deel onterecht.

Wat is het beleid rondom gokkanscorrectie?

De meeste opleidingen stellen gokkanscorrectie verplicht, bijvoorbeeld via de rekenmethode van ANS Exam of met een eigen formule. Het verhogen van het kennispercentage door middel van een hogere cesuur wordt minder vaak toegepast. Voor zover bekend, wordt ‘negative marking’ niet gebruikt aan de UvA.

Raadpleeg hier de Regels en Richtlijnen van de examencommissie van jouw opleiding om te controleren wat voor jou van toepassing is.

De bannerfoto van dit artikel is gemaakt met hulp van generatieve A.I.