Bekijk hier het format van de FdR toetsmatrijs  Format Toetsmatrijs 2024

Hier is een voorbeeld van een toetsmatrijs voor een schriftelijke toets (download hier een leeg template).

Het formuleren van eenduidige gesloten vragen, en vooral plausibele afleiders (= foute antwoorden), kost veel tijd. Hieronder een aantal tips:

• Splits de vraag op in een informatiegedeelte en een vraaggedeelte: ook visueel, bijvoorbeeld met een witregel ertussen.
• Bij vierkeuzevragen is de derde afleider vaak het lastigst om te bedenken. Meestal is het daarom makkelijker om driekeuzevragen te maken. Let op: dan heb je wel meer vragen nodig voor een betrouwbaar tentamen.

Zorg dat…

• er geen overlap is in de antwoordalternatieven. Als ze van elkaar afhankelijk zijn, moeten ze beide juist, ofwel beide onjuist zijn. Dit kan voor verwarring zorgen.
• de afleiders ook echt fout zijn, anders meet je vraag niet nauwkeurig. Bovendien kan dit na afloop van de toets tot discussie leiden.
• de afleiders plausibel zijn. Als geen enkele student een bepaald antwoord kiest, dan is dat blijkbaar geen plausibel antwoord op de vraag, en kan het net zo goed worden weggelaten. Veelgemaakte fouten van studenten zijn een goede bron voor afleiders.
• elke vraag niet meer dan één duidelijk probleem bevat. Studenten raken in de war als ze moeten kiezen uit opties als “Stelling 1 is juist en stelling 2 is onjuist” en “Stelling 1 is onjuist en stelling 2 is juist”, want daarmee stel je eigenlijk twee juist/onjuistvragen tegelijk. Bovendien bestaat de kans dat de student de ene helft van de vraag wel kan beantwoorden en de andere helft niet. Hierdoor meet je de kennis van de student niet nauwkeurig.
• de vraag geen strikvraag is of overbodige informatie bevat: dit maakt de vraag onnodig moeilijk en kan de student op het verkeerde been zetten. Hiermee meet je niet de kennis van de student, maar bijvoorbeeld de leesvaardigheid.
• de vraag geen onnodige herhalingen bevat. Woordherhalingen die in alle antwoordopties terugkomen kan je beter in de vraagstam zetten.
• er geen aanwijzingen in de vraag of afleiders zijn die sturen naar het juiste antwoord, bijvoorbeeld door de grammatica, lengte, layout of woordkeus.
• de antwoordopties door elkaar worden aangeboden, of juist op alfabetische volgorde. Zo gaan studenten niet zoeken naar een patroon in de plaats van het juiste antwoord.

Vermijd…

• een negatieve vraagformulering, want dat is moeilijker leesbaar. Vraag dus “welk van deze stellingen is juist?”, in plaats van “onjuist”.
• dubbele ontkenningen. Die zijn onnodig verwarrend, en er is een grote kans dat studenten de vraag verkeerd begrijpen.
• absolute formuleringen zoals “altijd, nooit, allemaal, zeker” (deze alternatieven zijn namelijk zeer waarschijnlijk onjuist), of vage formuleringen zoals “vaak, soms, meestal, nauwelijks” (deze zijn zeer waarschijnlijk juist).
• formuleringen als “alle/geen van bovenstaande”. Die kunnen nooit het directe antwoord op een vraag zijn. Bovendien kunnen studenten het goede antwoord raden als ze één van de opties kunnen wegstrepen. Je kunt dan beter een meer-uit-meervraag gebruiken of meerdere juist/onjuistvragen.

Bij gesloten vragen moet je rekening houden met de gokkans: de kans dat studenten het goede antwoord kunnen raden zonder enige kennis van de stof. Je moet na het compenseren voor de gokkans genoeg ‘zuivere’ antwoorden overhouden om een betrouwbaar beeld te krijgen van of de student de stof beheerst. Over het algemeen geldt, hoe meer vragen, hoe beter, maar er zijn ook richtlijnen om de betrouwbaarheid te borgen:

• Vier antwoordopties: minimaal 40 vragen
• Drie antwoordopties: minimaal 54 vragen
• Twee antwoordopties: minimaal 80 vragen

Een meerkeuzetoets met minder vragen geeft geen betrouwbaar beeld van de mate waarin de student de stof beheerst. Er zijn geen richtlijnen voor het aantal open vragen dat je moet hebben in een tentamen. Wel is het van belang dat alle leerdoelen die in de toets aan bod zouden moeten komen voldoende gedekt zijn. Een toetsmatrijs kan je helpen om dit nader te bepalen.

Zie ook het artikel ‘Gokkans en cijfers berekenen’.

De gokkans is de kans dat studenten zonder enige kennis van de stof het goede antwoord raden. Bij een vraag met 4 antwoordalternatieven, gokt een student zonder enige kennis gemiddeld 25% van de antwoorden goed. Die punten heeft de student als het ware cadeau gekregen, en zeggen dus niets over in hoeverre hij/zij de stof beheerst.

Digitale toetsprogramma’s kunnen automatisch een gokkanscorrectie toepassen, anders moet je het handmatig doen. De gokkanscorrectie werkt als volgt. Bij een toets met 40 vierkeuzevragen is de gokkans 25% en worden dus gemiddeld 10 vragen goed gegokt. Je berekent het cijfer daarom over de overgebleven 30 vragen. Voor een cesuur van 55% is dat 17 vragen. De student moet dan 10 + 17 = 27 van de 40 vragen goed beantwoorden om een 5,5 te halen.

Een ander voorbeeld: bij een toets met 100 twee-keuzevragen is de gokkans 50%. De cijfers bereken je dus over de overblijvende 50 vragen. Voor een voldoende moet je dan 50 + 28 = 78 van de 100 vragen juist beantwoorden.

Bekijk voor meer informatie het artikel ‘gokkans en cijfers berekenen‘.

• Splits de vraag op in een informatiegedeelte en een vraaggedeelte: ook visueel, bijvoorbeeld met een witregel ertussen.
• Gebruik korte zinnen met duidelijke instructies om misverstanden te voorkomen. Zorg dat vragen niet op meerdere manieren te interpreteren zijn.
• Zorg dat de vraag alleen kan worden beantwoord als je de tentamenstof goed kent (vraag geen algemene kennis).
• Zorg dat de vraag geen overbodige informatie bevat of onnodig moeilijk is geformuleerd. Daardoor is de vraag moeilijk leesbaar, en dan toets je wellicht ook onbedoeld de leesvaardigheid van de student.
• Bij vragen met een casus of situatiebeschrijving: de informatie die je geeft moet ook echt nodig zijn om te vraag te kunnen beantwoorden. Anders kun je deze beter weglaten.
• Vermijd vage aanwijzingen zoals ‘motiveer je antwoord’. Gebruik in plaats daarvan concrete antwoordrestricties, zoals “Gebruik niet meer dan vier zinnen”, of “noem drie aspecten van…”, “Geef twee redenen waarom…”, etc. Hierdoor voorkom je dat studenten totaal onvergelijkbare antwoorden geven, waardoor objectief nakijken moeilijk wordt. Eventueel kun je ook vermelden dat je alleen de eerste twee redenen zult beoordelen, om te voorkomen dat studenten alles over een bepaald onderwerp opschrijven in de hoop dat er iets goeds tussen staat (het zogenaamde ‘schot hagel’ antwoord).
• Geef aan hoeveel punten elke vraag waard is. Dit helpt studenten hun tijd te budgetteren.
• Formuleer meteen ook het modelantwoord. Vaak kom je hierdoor onduidelijkheden in de vraagformulering op het spoor.
• Formuleer de vraag op zo’n manier dat beoordelaars zoveel mogelijk op hetzelfde antwoord uitkomen. Het modelantwoord moet niet tot discussie tussen beoordelaars leiden.
• Gebruik een beperkt aantal vraagformuleringen (bijvoorbeeld leg uit, beredeneer, licht je antwoord toe) waar studenten al eerder mee geoefend hebben om te voorkomen dat ze een ander soort, niet-beoogd antwoord geven.
• Zorg dat de situatie die in de vraag wordt beschreven representatief/veelvoorkomend is (niet uitzonderlijk of ingewikkeld). Dit verhoogt de authenticiteit van de toets.
• Zorg dat de situatie of het voorbeeld in de vraag zo algemeen mogelijk is, zodat studenten geen voor- of nadeel ondervinden door hun leeftijd, gender, cultuur, geloof, etc. Als een vraag bijvoorbeeld over een niche onderwerp gaat, is er kans dat niet alle studenten hier bekend mee zijn.

Met het oog op de transparantie is het goed om je opdrachtbeschrijving voor een paper, essay, presentatie of creatieve opdracht zo duidelijk mogelijk te maken:

• Verplaats je in de student: wat moet deze precies doen, en hoe? Is er een proces met een aantal te onderscheiden stappen? Maak die stappen dan expliciet.
• Schrijf helder en bondig. Neem alleen informatie op die relevant is voor het uitvoeren van de opdracht. Algemene informatie en tips kun je beter elders opnemen.
• Verwijs naar de informatie die de student nodig heeft om de opdracht te maken, bijvoorbeeld secundaire literatuur of een handboek voor het schrijven van werkstukken.
• Zorg dat studenten weten wat er van ze verwacht wordt: geef ze een voorbeeld van een goed beoordeelde opdracht, maak de beoordelingscriteria (eventueel ook het beoordelingsformulier of rubric) van tevoren beschikbaar, en bespreek de opdracht tijdens het college of een vragenuur.
• Geef aan hoe het cijfer tot stand zal komen: welke criteria wegen mee, wat is belangrijk of juist minder belangrijk?
• Indien dit niet expliciet wordt genoemd tijdens het vak, verwijs dan naar de fraude- en plagiaatregeling van de UvA.
• Leg uit wat de consequenties zijn als studenten hun werk niet (op tijd) inleveren.
• Leg je opdrachtbeschrijving voor aan een collega; zo kom je onduidelijkheden op het spoor.

De docent bepaalt vooraf hoeveel van de te behalen punten minimaal gescoord moeten worden voor een voldoende. De rest van de normering wordt vervolgens afgeleid van deze cesuur in relatie tot het maximaal te behalen aantal punten. Het voordeel van deze methode is dat het van tevoren duidelijk is hoeveel punten studenten moeten behalen voor een voldoende, maar het nadeel is dat geen rekening wordt gehouden met de kwaliteit van het tentamen en het onderwijs.

Bij de relatieve methode gaat men uit van de scores van alle studenten om de cesuur te bepalen. De maximale en minimale scores in een studentengroep bepalen in dit geval de uiteinden van de beoordelingsschaal. De scores van de overige studenten worden hiertegen afgezet. Het cijfer geeft daarmee aan wat de relatieve positie van een student is ten opzichte van de andere studenten, en niet ten opzichte van de leerstof. De cesuur wordt bij deze methode pas na afloop van de toets bepaald. De methode is ongeschikt voor kleine groepen studenten (minder dan 50) en het percentage gezakten/geslaagden ligt vast – ongeacht de feitelijke toetsresultaten. Zo’n uitgangspunt is in het Nederlandse academische onderwijs niet erg gebruikelijk.

Zowel de absolute als de relatieve methode hebben voor- en nadelen. Daarom zijn er verschillende compromismethoden ontwikkeld. Meestal wordt daarbij uitgegaan van een absolute norm, maar deze wordt bijgesteld als bepaalde omstandigheden dat vragen. (bijvoorbeeld een te moeilijk tentamen dat leidt tot te veel gezakte studenten). Een interessante compromis methode is die van Cohen-Schotanus. Deze gaat er van uit dat een maximale score op een tentamen -dus alle vragen goed beantwoord- in de praktijk vaak niet behaald wordt. De gemiddelde score op een tentamen van (bijvoorbeeld) de 5% beste studenten (die dus eigenlijk een 10 zouden moeten krijgen) wordt daarom beschouwd als maximum te behalen punten. Op grond hiervan wordt de cesuur afgeleid. Vraag de toetsdeskundige van jouw faculteit om hulp bij deze methode.

Bij gesloten vragen is het antwoordmodel simpel: daarin staat wat de juiste antwoorden zijn en hoeveel punten er per goed antwoord te verdienen zijn. Bij digitale tentamens (bijvoorbeed in TestVision of Ans), moet je zo’n antwoordmodel meteen maken bij het construeren van de toets.

Bij open vragen is het antwoordmodel uitgebreider, en neemt het de vorm van een correctievoorschrift, mede om verschillen tussen beoordelaars te beperken. Het helpt ook om bij de inzage aan studenten uit te leggen hoe het cijfer tot stand is gekomen. In het correctievoorschrift staan voorbeeldantwoorden, maar ook hoe de puntenverdeling per vraag werkt. Voor de beoordelaar moet duidelijk zijn hoe om te gaan met gedeeltelijk juiste antwoorden of antwoorden die niet in het antwoordmodel voorkomen. Het correctievoorschrift kan tijdens het nakijken nog worden aangepast als bijvoorbeeld blijkt dat een niet voorzien antwoord ook goed gerekend moet worden. Eerder nagekeken werk dient dan opnieuw te worden beoordeeld aan de hand van het aangepaste antwoordmodel. Achteraf moet een student op basis van het antwoordmodel inzicht kunnen krijgen in de beoordeling.

Een beoordelingsinstrument kan worden gebruikt voor het beoordelen van mondelinge en schriftelijke vaardigheden (zoals papers of presentaties), groepswerk en portfolio’s. Daarnaast is het een handvat om de beoordelingen objectief, consistent en transparant te maken. Een beoordelingsinstrument kan verschillende vormen aannemen, zoals een checklist, beoordelingsschaal of -formulier.

Bij een checklist formuleer je een lijst met punten waarop het werk moet worden gecontroleerd. Dit is bijvoorbeeld geschikt als je met AVV/NAV beoordeelt. Als je ook een cijfer wilt toekennen is een beoordelingsschaal of –formulier beter. Een minimaal model bevat de criteria en de schaal waarop beoordeeld gaat worden (bijvoorbeeld een vijf- of tienpuntsschaal). Je kan hierbij ook aangeven hoe de verschillende criteria meewegen in het eindcijfer, en of er bepaalde minimumeisen zijn voor een voldoende. Een uitgebreidere vorm hiervan is een rubric: hierbij zijn ook de tussenniveaus gedefinieerd.

Zie hier een voorbeeld beoordelingsformulier van BA Scriptie Kunst- en Cultuurwetenschappen (download, pdf)

Een rubric is een tabel waarmee je beoordelingen objectief, consistent en transparant kan maken. In dit artikel lees je meer over rubrics.

Deze rubric biedt handvatten voor de beoordeling van schrijfopdrachten binnen de masters/mastertracks van de FdR en kan als voorbeeld of format worden gebruikt bij ieder vak waarin wordt gewerkt aan de schrijfvaardigheid.

De rubric kan naar behoeven ongewijzigd worden gebruikt of op onderdelen worden aangevuld of aangepast, zodat de beoordeling van de schrijfopdracht optimaal aansluit op de inhoud van het vak, het type opdracht en de plaats in het toetsprogramma.

Rubric schrijfvaardigheid mastertracks NL en ENG

Op zoek naar rubrics voor van specifieke vakken binnen de rechtenfaculteit? Je vindt meer voorbeelden van Rubrics op de ALP canvaspagina.