Rubrics

Bij holistische rubrics kijk je naar het werk als geheel: je beoordeelt dus niet op verschillende criteria, maar op één holistisch criterium. Je kunt zoveel niveaus onderscheiden als je wilt. Ze zijn snel en eenvoudig in te vullen. Een nadeel is dat ze minder specifieke feedback bieden; het is onduidelijk welke aspecten het meest hebben meegewogen. Voor complexere of zwaarwegende opdrachten is een holistische rubric dan ook minder geschikt.

Hieronder vind je een voorbeeld van een holistische rubric. De scores in de linkerkolom kun je ook vervangen door niveaus (bijvoorbeeld uitstekend, goed, matig en onvoldoende).

Bij een analytische rubric beoordeel je het werk op meerdere criteria en meerdere niveaus. Het voordeel is dat de beoordeling verschillende aspecten belicht, wat het eindcijfer verduidelijkt en de student specifiekere feedback geeft.

Er zijn ook nadelen: het kost veel tijd om zo’n rubric te maken omdat je voor ieder criterium meerdere niveaus moet beschrijven, die in de praktijk vaak niet altijd volledig aansluiten. Ook zijn de verschillen tussen die niveaus vaak subtiel en voor meerdere interpretaties vatbaar, waardoor de bruikbaarheid in de praktijk afneemt hoe meer criteria en niveaus je hanteert. Ook voor studenten is meer niet altijd beter: ze kunnen minder geneigd zijn om een rubric met veel criteria en niveaus zorgvuldig te bestuderen. Anderzijds kunnen ze zich bij nabesprekingen te veel op details  richten om hun cijfer te  verhogen. Ze kunnen ook in de weg zitten  als studenten gedetailleerd hun werk onderling vergelijken.

Hieronder vind je een voorbeeld van een analytische rubric. Ook hier kun je de niveaus anders inrichten (bijvoorbeeld uitstekend, goed, matig en onvoldoende). Scores toekennen is optioneel

Een single-point rubric is een handzamer alternatief voor een analytische rubric: er worden wel meerdere criteria onderscheiden, maar je formuleert maar voor één niveau een beschrijving: die van de voldoendegrens. De kolommen aan de linker- en rechterzijde blijven leeg: die vul je alleen bij het beoordelen in om aan te geven waar de student onder of boven het verwachte niveau presteert.

De voordelen van een single-point rubric zijn dat ze snel en eenvoudig te maken zijn: je hoeft immers alleen de voldoendegrens te definiëren. Ze zijn handzamer in het gebruik voor zowel studenten als docenten omdat er minder leeswerk is. Desondanks kunnen docenten het eindcijfer er goed mee verantwoorden en kunnen ze dienen als gemeenschappelijk referentiepunt in docententeam. Ook kunnen studenten makkelijk zien hoe ze hun werk kunnen verbeteren. Ze zijn ook flexibeler dan traditionele rubrics: je hoeft niet vooraf te anticiperen op welke manieren studenten onder of boven verwachting presteren. Dit geeft studenten meer ruimte. Een nadeel is dat de docent bij het beoordelen meer moet invullen, wat meer tijd kost.

Hieronder vind je een voorbeeld van een single-point rubric. De linker- en rechterkolom kun je ook anders noemen (bijvoorbeeld onvoldoende/uitstekend, of areas to grow/areas that glow).

1. Bepaal het doel van de opdracht. Denk hierbij aan de volgende vragen:

• Waarom geef je studenten deze opdracht? Wat moeten ze ermee kunnen aantonen?
• Wat zijn de leerdoelen die ermee getoetst worden?

2. Bepaal welk soort rubric je gaat gebruiken: holistisch, analytisch of single-point (zie hierboven).

3. Bepaal de criteria.

• Bekijk hiervoor de opdrachtomschrijving en leerdoelen en, indien beschikbaar, voltooide opdrachten van studenten uit voorgaande jaren.
• Zorg dat je duidelijke, meetbare en essentiële criteria kiest, die niet overlappen met andere criteria.
• Het is aan te raden om het aantal criteria te beperken (3 à 5) ter wille van overzichtelijkheid en leesbaarheid.

4. Bepaal de niveaus.

• De meeste rubrics onderscheiden tussen de 3 en 5 niveaus. Meer is vaak niet handzaam in de praktijk.
• Wil je punten, cijfers of descriptoren gebruiken? Je kunt ook werken met ranges, bijvoorbeeld 0-5,4; 5,5-6,9; 7-8,4 en 8,5-10.
• Het meest motiverend is om van hoog naar laag te gaan, niet andersom.

5. Beschrijf elk niveau per criterium.

• Bepaal de voldoendegrens: hoe ziet een opdracht eruit die op alle criteria een voldoende scoort? Bepaal vervolgens de bovenste en onderste niveaus. Hoe ziet een heel goede opdracht eruit? En als de student aan geen enkel leerdoel voldoet? Vul daarna de tussenniveaus in.
• Tip: Beschrijf voor het voldoendeniveau ook waar de prestatie nog niet aan voldoet. Bijvoorbeeld: er is een selectie gemaakt tussen hoofd- en bijzaken, waarbij enkele hoofdzaken onderbelicht zijn of bijzaken te veel aandacht krijgen.
• Geef aan in welke mate er aan de eisen is voldaan en zorg dat de omschrijvingen specifiek, concreet en meetbaar zijn. Voorkom het gebruik van ‘holle termen’, bijvoorbeeld: de opbouw is voldoende / de opbouw is goed. Hoe ziet een opbouw eruit die voldoende is?
• Gebruik dezelfde formuleringen om de verschillende niveaus te omschrijven om de leesbaarheid te vergroten.
• Zorg dat het taalgebruik is afgestemd op het niveau van de studenten.

6. Bepaal hoe je het eindcijfer berekent.

• Hoe kom je van een beoordeling tot een cijfer?
• Is er een onderlinge weging of tellen alle criteria even zwaar mee?
• Zijn er ‘knock-out’ criteria, oftewel criteria waarop een student voldoende moet scoren voor een voldoende eindbeoordeling (bijv. aan formele eisen voldaan)?
• Mag de student eventuele onvoldoendes compenseren, of mogen zij bijvoorbeeld maar op één of enkele criteria onvoldoende scoren?

7. Test de rubric.

• Leg de rubric voor aan collega’s voor feedback.
• Gebruik de rubric met mededocenten om samen het werk van één of twee studenten ermee te beoordelen (kalibreren). Komt iedereen tot dezelfde beoordeling, of zijn er verschillen? Zijn de beschrijvingen eenduidig, of voor interpretatie vatbaar? Komt de eindbeoordeling overeen met je professionele ‘gevoel’, of leidt de rubric tot een te lage of te hoge beoordeling?

8. Evalueer de rubric na gebruik in de praktijk en pas waar nodig aan.

Vraag een chatbot een rubric te maken voor jouw opdracht. Hierbij is de juiste prompting doorslaggevend. Geef de chatbot de opdrachtomschrijving en vraag bijvoorbeeld welke criteria er in de rubric zouden moeten staan. Specificeer vervolgens welke criteria en niveaus je wilt gebruiken en vraag de chatbot om een rubric in een tabel te maken. Let op dat je geen privacy-gevoelige informatie invoert.

Prompt voorbeeld:
“Ik wil een rubric voor een essay over X. De rubric moet vier criteria bevatten: ‘Kwaliteit van Onderzoek,’ ‘Argumentatie,’ ‘Organisatie,’ en ‘Taal en Stijl.’ Elk criterium moet beoordeeld worden op een schaal van 1 tot 5, met gedetailleerde beschrijvingen voor elk niveau. ‘Kwaliteit van Onderzoek’ en ‘Argumentatie’ zijn belangrijker en moeten elk 40% van het totale cijfer beslaan, terwijl ‘Organisatie’ en ‘Taal en Stijl’ elk 10% wegen. De rubric moet worden gepresenteerd in tabelvorm en een formele, academische toon hebben.”

• Beperk je rubric tot maximaal één pagina.
• Als jouw vak door meerdere docenten wordt gegeven, bespreek dan van tevoren samen de rubric en de wijze waarop deze in de beoordeling wordt gebruikt om beoordelaarsverschillen te beperken. Vaak blijkt het dat de rubric voor meerdere interpretaties vatbaar is (wat betekent ‘goed gebruik van bronnen’, bijvoorbeeld?). Je kan ook een kalibreersessie houden waarin je een paar opdrachten samen beoordeelt met de rubric, om te zorgen dat deze op een consistente manier wordt ingevuld.
• Publiceer de rubric vooraf; zo snappen studenten de verwachtingen en beoordelingscriteria.
• Laat studenten de rubric inzetten voor peerfeedback of zelfbeoordeling. Geef tijdens colleges voorbeeldopdrachten uit eerdere jaren en laat studenten samen de rubric invullen. Dit helpt ze de criteria te begrijpen en hun werk te verbeteren.
• Bij gevorderde studenten (bijvoorbeeld in de master) kun je overwegen om samen een rubric maken voor het vak. Bepaal samen de criteria en het niveau waaraan het werk moet voldoen. Dit helpt om motivatie en betrokkenheid te vergroten.
• Je kunt rubrics ook aanmaken in Canvas en gebruiken bij het beoordelen van een opdracht.