Tentamenanalyse in TestVision: wat kun je daarmee?

Start met de individuele vragen

“Het viel mij meteen op dat de Gauss-curve [normaalverdeling] scheef was, hij bevond zich te sterk naar links.” Dit betekent dat een te groot aantal studenten onvoldoende heeft gescoord: een eerste signaal om het tentamen en de losse vragen (items) verder te analyseren. Hiervoor nam Jan contact op met de toetsdeskundigen die met hem naar de toetsresultaten keken. Samen keken zij als eerste naar de individuele vragen. In TestVision kun je met behulp van bepaalde waarden onderzoeken (p-, Rit- en Rir-waarden) hoe moeilijk studenten een specifieke vraag vonden en wat het onderscheidend vermogen van deze vraag is. Dit vermogen geeft aan hoe ‘goed’ de vraag onderscheid kan maken tussen sterkere en zwakkere studenten: hebben studenten met relatief weinig fouten deze vraag ook goed of is juist het tegenovergestelde het geval? Dan is de vraag misschien onduidelijk geformuleerd of is er overlap in de antwoordopties. Door te kijken naar deze waarden is besloten om enkele vragen niet mee te laten tellen en bepaalde antwoorden ook goed te rekenen.

Focus daarna op de cesuur

Hierna keek Jan met de toetsdeskundigen pas naar de cesuur: wat is voor deze toets een passende zak-/slaaggrens? Voor het bepalen van de cesuur bestaan verschillende methoden, voor Jans toets vonden de deskundigen de compromismethode ‘Cohen-Schotanus’ het meest passend. Bij deze methode is de gemiddelde score van de 5% beste studenten de hoogst haalbare score. Studenten die op of boven dit gemiddelde scoren krijgen een 10; de rest van de schaal wordt aangepast. Hier kozen de deskundigen voor omdat dit de hoogst realistisch haalbare scores waren onder de omstandigheden. De scores kunnen immers door veel factoren worden beïnvloed: het onderwijs, de kwaliteit van de toets, de vragen, etc.

Inzicht in toetsontwerp

Wat Jan de grootste voordelen van deze toetsanalyse vindt? “Je krijgt echt inzicht in wat de studenten moeilijk vinden, welke vragen goed of minder goed zijn geformuleerd. Waarom kiezen bepaalde studenten voor bepaalde antwoordopties? Hier leer je van voor de volgende toets die je maakt.” Jan raadt het collega’s aan om deze analyse samen met de toetsdeskundigen op te pakken. Dit vindt hij dan ook het enige nadeel: als je nog geen ervaring hebt met toetsanalyses, dan ben je afhankelijk van deze deskundigen. Vanuit het TLC FGw willen we in dat kader graag goed nieuws delen: de toetsdeskundigen zijn namelijk druk bezig om een e-learning te ontwikkelen voor het analyseren van toetsen. Hiermee leer je om zelfstandig toetsen te analyseren in TestVision. Houd onze Toetsing-pagina in de gaten voor ontwikkelingen!