Blog Visuele Interactieve Feedback Online (VIFO)

Blog van Sanjay Bissessur over zijn Grassroot Visuele Interactieve Feedback Online (VIFO).

Het Probleem:

Alle leerlijnen op onze faculteit (Economie & Bedrijfskunde) maken gebruik van de Bloom-taxonomy. In het MSc programma passen we dit toe in wetenschappelijk onderwijs, waarin het Onthouden en Begrijpen van  wetenschappelijke theorieën de basis vormen voor het Toepassen, Analyseren en Evalueren van de leerstof middels kritisch redeneren. Eén praktisch probleem is dat studenten zich soms beperken tot het stampen van feiten, zonder begrip te kweken, oftewel het “memoriseren-zonder-begrijpen” probleem. Dit probleem is vooral evident bij het gebruik van Multiple Choice vragen. Studenten memoriseren goede antwoorden ten einde de antwoorden te herkennen op tentamens, zonder de achter liggende gedachte te begrijpen. Als een tentamenvraag enigszins afwijkt van hetgeen gememoriseerd is, dalen de prestaties. Als gevolg hiervan kan de leeropbrengst van het vak in twijfel worden getrokken, zelfs als de slagingspercentages goed zijn.

Wat heb ik gedaan:

Om het memoriseren-zonder-begrijpen probleem aan te pakken heb ik tijdens colleges interactieve vraag-sessies geïntroduceerd, waarbij studenten via het programma Shakespeak online digitaal stemmen op Multiple-Choice vragen. In real-time is dan te zien hoe goed de groep de vragen kan beantwoorden. Op basis van de responsedata kan ik doorvragen aan studenten hoe ze aan het antwoord zijn gekomen. Tijdens de sessies bespreek ik vervolgens alle mogelijke MC antwoorden, zodat studenten begrijpen hoe en waarom het goede antwoord tot stand komt.

Met de Shakespeak response data, bijvoorbeeld het percentage studenten die de vraag fout hebben, heb ik een pilotproject “Visuele Interactieve Feedback Online” gestart, waarbij ik de response data van de interactieve vraag-sessies gebruik om visuele feedback content te maken dat op maat gemaakt is naar de informatievraag van studenten. In deze korte kennis-clips, welke in de digitale leeromgeving worden geïntegreerd,  wordt visueel toegelicht hoe het antwoord tot stand is gekomen. Door de leerstof, waarop slecht wordt gescoord, in kennisclips te illustreren, en de redenering achter de foute antwoorden toe te lichten, kan de leerstof beter begrepen worden. Hiermee wordt het kritisch redeneren (critical reasoning) visueel gepresenteerd.  Deze content is een derhalve een aanvulling op de leerstof op basis van de informatievraag, en is daarmee een variant van de Flip-the-Classroom methodiek, waarbij nu de content niet vooraf als voorbereiding op het college wordt aangeboden, maar achteraf naar aanleiding van het college op basis van de “live” interactie in het college, om zo de leeropbrengst te verhogen. Omdat deze methode is gebaseerd op de “live” interactie tussen alle belanghebbenden van de gehele leeromgeving, inclusief docenten en studenten, noem ik dit “In VIFO” leren.

De uitkomsten:

Deze nieuwe manier van feedback geven is een combinatie van een alternatieve Flip-the-Classroom (FC) aanpak middels Blended-Learning en Web-Based learning, hetgeen beter werkt dan slechts enkelvoudige methodiek (e.g. Thai et al., 2017). Ten eerste wordt FC verder uitgebreid, door pas na de classroom met digitaal lesmateriaal te komen. (e.g. Van der Kleij et al., 2015). Dit materiaal is tot stand gekomen op basis van de informatievraag van studenten (e.g. Holmes, 2015), om de betrokkenheid te verhogen (e.g. Harbour et al., 2015).  Tevens is het meteen online beschikbaar, zodat het leereffect verhoogd kan worden (e.g. Sinha & Glass, 2015).

Om de leeropbrengst van deze pilot te toetsen, en vast te stellen of studenten effectiever konden leren met behulp van het interactieve lesmateriaal online, heb ik een (mini)survey uitgezet naar alle studenten (response-rate = 18.45%). Studenten geven bijna unaniem aan dat dit een nuttige manier van studeren is, en dat ze graag meer hiervan in het curriculum geïncorporeerd zien. Reden hiervoor zijn dat het gericht is op de relevante kennis. Eén student stelt:

“Also, what I noticed in the papers, there are a lot of things you need to figure out on your own, e.g. when you’re reading the paper you can almost toss the half of it in the bin, because it’s not relevant for the course or subject! [..] I would have loved to see, already, selected pages from those papers to study, which would make it more concrete, since now… I have remembered a lot of additional information while I know it’s not relevant for basically ‘anything’ other then spare time reading material. A good thing of your course is that it either repeats or explains more in details several subjects I had in IFRS 1, which makes it sure I remember some for a longer period and it made it easier to understand. As… just as in reporting, there is a different language spoken when it comes to financial subjects”,

terwijl een andere student stelt:

“I really liked the videos, because it will let you know if you really understand the topics or have to study more.”

Daarnaast zijn dergelijke clips consistent met de wijze waarop studenten, mede onder invloed van social media, tegenwoordig kennis tot zich nemen. Studenten stellen dat:

“videolengte is goed zo. Er zijn bij eerdere vakken weleens links geplaatst van youtube video’s, maar deze werden niet vaak bekeken door de lengte en doordat ze niet concreet waren. En fijn nogmaals de combi tussen beeld en uitleg”

en:

“It is nice to have a variation in studying. Instead of only reading stuff, you can now sit back for a moment and watch the videos while still studying”

En:

“Some people learn better from watching videos “.

Resultaten suggereren dat deze methodiek tot hogere leeropbrengsten leidt. De sample is te klein om conclusies aan te verbinden, maar de resultaten zijn wel positief. In een volgende periode willen we de methodiek uitbreiden, en meer integreren in het onderwijs.

Referenties:

Harbour, Kristin E., Lauren L. Evanovich, Chris A. Sweigart, and Lindsay E. Hughes. “A Brief Review of Effective Teaching Practices That Maximize Student Engagement.” Preventing School Failure: Alternative Education for Children and Youth 59, no. 1 (January 2, 2015): 5–13. https://doi.org/10.1080/1045988X.2014.919136.

Holmes, Naomi. “Student Perceptions of Their Learning and Engagement in Response to the Use of a Continuous E-Assessment in an Undergraduate Module.” Assessment & Evaluation in Higher Education 40, no. 1 (January 2, 2015): 1–14. https://doi.org/10.1080/02602938.2014.881978.

Sinha, Neha, and Arnold Lewis Glass. “Delayed, but Not Immediate, Feedback after Multiple-Choice Questions Increases Performance on a Subsequent Short-Answer, but Not Multiple-Choice, Exam: Evidence for the Dual-Process Theory of Memory.” The Journal of General Psychology 142, no. 2 (2015): 118–134.

Thai, Ngoc Thuy Thi, Bram De Wever, and Martin Valcke. “The Impact of a Flipped Classroom Design on Learning Performance in Higher Education: Looking for the Best ‘Blend’ of Lectures and Guiding Questions with Feedback.” Computers & Education 107 (April 1, 2017): 113–26. https://doi.org/10.1016/j.compedu.2017.01.003.

Van der Kleij, Fabienne M., Remco CW Feskens, and Theo JHM Eggen. “Effects of Feedback in a Computer-Based Learning Environment on Students’ Learning Outcomes: A Meta-Analysis.” Review of Educational Research 85, no. 4 (2015): 475–511.