Rubrics: (wanneer) zijn ze nuttig als beoordelingsinstrument?

Kans voor docenten om onderzoek te doen

“Ik werkte als docent bij de opleiding Psychobiologie. Het docentschap aan de UvA beviel me ontzettend goed, maar ergens had ik het onderzoek doen altijd een klein beetje gemist. Toen het netwerk van UvA Teaching & Learning Centres (TLC) docenten de kans te gaf om onderzoek te doen naar een onderwijskundig onderwerp, heb ik direct deze kans aangegrepen.

Ik besloot me te richten op rubrics. Bij Psychobiologie wordt veel gewerkt met rubrics en daarnaast zie ik veel potentie om hiermee een goede aansluiting tussen toetsing en leerdoelen binnen een vak te realiseren. Het viel me echter op dat er niet veel bekend was over de betrouwbaarheid en validiteit van rubrics. Daarnaast blijkt dat beoordelaars die met rubrics werken vaak wisselende ervaringen hebben in de praktijk. Er zijn beoordelaars die dit zeer behulpzame instrumenten vinden. Tegelijkertijd zijn er ook beoordelaars die deze rubrics liever zien verdwijnen en die dus niet als behulpzaam ervaren. De 2 onderwerpen ‘de psychometrische eigenschappen van rubrics’ en ‘de beoordelaarstevredenheid’ vormden de kern van mijn project.”

Beoordelaarstevredenheid over rubrics

“Rubrics kunnen de objectiviteit bij het nakijken verhogen. Echter geven beoordelaars vaak aan dat rubricomschrijvingen afwijken van hun eigen oordeel van studentverslagen. Zulke afwijkingen kunnen de kwaliteit van rubrics verminderen en ook de tevredenheid van de docenten die de rubrics gebruiken. In dit onderzoek is de kwaliteit van rubrics onderzocht onder beoordelaars met ruime ervaring in het gebruik van rubrics. Daarnaast is onderzocht welke beoordelaarskarakteristieken voorspellend zijn voor de beoordelaarstevredenheid over rubrics.

Beoordelaarstevredenheid over rubrics en beoordelaarskarakteristieken (zoals ervaring en betrokkenheid in rubricontwikkeling) zijn vastgesteld met een vragenlijst onder beoordelaars van afstudeerverslagen van studenten Psychobiologie. Vervolgens is er een voorspellingsmodel ontwikkeld om de beoordelaarskarakteristieken te identificeren die het best beoordelaarstevredenheid voorspellen.”

Ontwikkeling van een dashboard

“Om de kwaliteit van rubrics te beoordelen is een computerprogramma ofwel een dashboard ontwikkeld. Met dit programma kunnen de betrouwbaarheid, de interne consistentie en de constructen onderzocht worden die door de rubric worden gemeten. De analyse is gedaan op de rubrics van alle schrijfopdrachten binnen de bachelor Psychobiologie in het academisch jaar 2020-2021, maar kan ook eenvoudig toegepast worden op andere rubrics.”

Structuur en mate van flexibiliteit spelen een grote rol in tevredenheid over rubrics

“Inmiddels is het onderzoeksfellowship afgerond en heeft het project 2 duidelijke uitkomsten opgeleverd. Ten eerste heb ik een dashboard ontwikkeld waarmee beoordelaars psychometrische eigenschappen (zoals validiteit en betrouwbaarheid) van hun rubrics kunnen analyseren. Ten tweede is het onderzoek naar beoordelaarstevredenheid afgerond, wat heeft geresulteerd in een poster.

De belangrijkste conclusie is dat beoordelaars met meer ervaring minder tevreden zijn over rubrics dan beoordelaars met minder ervaring. Hier lijkt de mate van flexibiliteit die de rubric biedt een grote rol te spelen. Beginnende beoordelaars waarderen de duidelijke structuur die rubrics doorgaans bieden. Ervaren beoordelaars lijken die structuur juist als belemmering te ervaren en hechten meer waarde aan ruimte om hun eigen invulling aan het nakijkproces te geven. Overigens bleek uit de vragenlijst dat beoordelaars vaak geen introductie of training kregen bij de rubric. De literatuur geeft aan dat zulke training essentieel is bij het succesvol implementeren van rubrics. Mogelijk kan het invoeren van training in het gebruik van rubrics de beoordelaarstevredenheid verhogen, met name bij meer ervaren beoordelaars.”

Tweejarig onderzoekstraject voor docenten

“Mijn project startte in 2021. Ik werd in de zomer van dat jaar voor 1 dag in de week aangesteld als onderzoeksfellow bij het TLC. De uitvoering van het project deed ik binnen de Faculteit der Natuurwetenschappen, Wiskunde en Informatica (FNWI). Momenteel zit ik een overgangsfase van dit project. Ik ben per 1 september 2023 overgestapt naar de Faculteit Maatschappij en Gedrag (FMG), vakgroep Psychologische Methodenleer. Ook hier zal ik bijdragen aan onderzoek naar hoger onderwijs. Over de exacte invulling van mijn onderzoek aan de FMG zal de komende tijd meer duidelijk worden.”

Begeleiding vanuit TLC

“Vanuit TLC werd sturing gegeven aan het onderzoeksproces. Er werd in het begin bijvoorbeeld veel aandacht geschonken aan een duidelijke formulering van de onderzoeksvraag of -vragen. Ook het belang van een volledig en concreet onderzoeksvoorstel werd steeds benadrukt. Ik ondersteun deze aanpak van harte. Met name door het schrijven van een onderzoeksvoorstel stel je kaders aan je onderzoek en maak je duidelijk wat de nagestreefde uitkomsten van het onderzoek zijn. Dit vergroot uiteindelijk de efficiëntie in de uitvoering van het project. Ik kan toekomstige fellow-onderzoekers dus van harte aanraden om deze werkwijze ook te volgen!

Het contact met de projectleiders was perfect. Er was veel ruimte om individueel af te spreken en te sparren. Het heeft ervoor gezorgd ik eigenlijk voortdurend het overzicht kon behouden zonder dat ik vastliep.”

Professionele ontwikkeling en implementatie van het onderzoek in de onderwijspraktijk

“De meerwaarde van dit traject is voor mij het bevorderen van de professionele ontwikkeling van docenten en docent-onderzoekers. En het stimuleren van een onderzoeksmatige aanpak van onderwijsinnovaties aan de UvA. Hierbij zie ik het fellowship-programma primair als onderwijsinnovatieprogramma. Er worden immers met alle onderzoeksfellows concrete doelen geformuleerd waaraan gewerkt wordt. Wat deze doelen zijn varieert aanzienlijk tussen fellows, maar voorwaarde is dat het concreet het onderwijs aan de UvA dient te verbeteren.

Ik heb op het afsluitende symposium in juli 2023 ook met eigen ogen gezien dat dit doel in alle gevallen is bereikt. Daarmee is wat mij betreft dit programma al een succes. Het is uniek om met docenten van zeer verschillende opleidingen binnen de UvA gelijktijdig aan het onderzoeksproject te werken. Ik heb de discussies en de inhoudelijke uitwisseling van kennis tussen de onderzoeksfellows heel erg gewaardeerd.

Naast de innovatie voor hoger onderwijs, zorgt dit onderzoeksfellowship ook voor een professionele ontwikkeling van de onderzoeksfellows. Concreet zorgt het project ervoor dat je als onderzoeksfellow kennis opdoet en toevoegt aan het onderwerp van het onderzoek. Ook zorgt het programma ervoor dat je je kunt profileren op het onderwerp. Dat biedt vervolgens kansen voor betrokkenheid bij de implementatie van het onderzoek in de onderwijspraktijk. We bekijken nu binnen een groep van docenten hoe we het dashboard kunnen gaan inzetten in de praktijk.”

Meer over het Education Research Fellows Programma