Implementatie

Niet alleen een goed ontwerp, maar ook de invoering van programmatisch toetsen is van cruciaal belang voor het succes ervan. Hieronder worden geleerde lessen uit onderzoek en praktijkervaringen naar de implementatie van programmatisch toetsen op een rijtje gezet.

Aansluiting op de gedeelde onderwijsvisie

Programmatisch toetsen sluit aan bij een onderwijsvisie waarbij zelfregulatie, leren van narratieve feedback, ruimte voor het maken van fouten en reflectie hoog in het vaandel staan. In een dergelijke onderwijsvisie wordt toetsing gezien als een middel om het leren van studenten te bevorderen (Biemond & Kaijen, 2021). Een van de grootste obstakels bij het implementeren van programmatisch toetsen blijkt de algemene weerstand tegen verandering te zijn, waarbij het lastig is om de verankerde onderwijs- en toetsingsculturen, verwachtingen en attitudes van betrokkenen te veranderen. Doorzettingsvermogen, sterk leiderschap en het betrekken van verschillende stake-holders bij het ontwerpen en uitvoeren van programmatisch toetsen kan helpen om tot een gedeelde visie te komen (Torre et al. (2021)). Wanneer er helemaal geen gedeelde onderwijsvisie is, dan wordt aangeraden eerst samen te werken aan een gedeelde onderwijsvisie, om vervolgens te bepalen of programmatisch toetsen passend is.

Uit onderzoek is gebleken dat het inzetten van participatory action research voor het ontwerpen van programmatisch toetsen kan helpen bij het bevorderen van een gedeelde visie (Jamieson et al. (2017)). Deelnemers ervaarden een verschuiving in hun opvattingen ten opzichte van toetsing, wat de implementatie van programmatisch toetsen ondersteunde. Participatory action research heeft als doel om de praktijk beter te begrijpen en te verbeteren door in samenwerking met verschillende stakeholders en onderzoekers gebruik te maken van de cyclus van actieonderzoek (Baum et al. (2006); Reason & Bradbury (2001)). Het doen van actieonderzoek bestaat uit een iteratief proces, waarbij deelnemers gegevens verzamelen en analyseren en vervolgens bepalen welke actie moet volgen. De resulterende actie wordt vervolgens verder onderzocht, wat weer leidt tot nieuwe acties, et cetera. Een mooi voorbeeld van hoe actieonderzoek toegepast kan worden om programmatisch toetsen te ontwerpen is omschreven door door Jamieson en collega’s (Jamieson et al. (2017)).

Het hebben van een heldere ruggengraat

Om ervoor te zorgen dat het voor iedereen duidelijk is wat er wordt beoogd met het onderwijs en wat de waarde is van wat er geleerd wordt, is het van belang om een heldere ruggengraat te hebben (Bate et al. (2020); Vleuten et al. (2015)). De ruggengraat kan gezien worden als een raamwerk van beoogde competenties, vaardigheden en/of beroepstaken binnen het onderwijsprogramma (baartman2020programmatisch). Als een opleiding nog niet over een dergelijke ‘ruggengraat’ beschikt, wordt aangeraden om deze eerst met de opleiding vast te stellen (Biemond et al. (2021)). Op basis daarvan kan een coherent opleidings- en datapuntenprogramma worden ingericht (Bate et al. (2020); Biemond et al. (2021)). Tips over hoe je dit precies kunt aanpakken zijn te vinden op de ontwerppagina.

Een leer- en feedbackcultuur laten groeien

Uit onderzoek naar programmatisch toetsen is gebleken dat studenten datapunten als “summatief” kunnen ervaren en niet automatisch aan de slag gaan met de feedback die ze hierop ontvangen (Heeneman et al. (2015); Bok et al. (2013)). Het is daarom van belang om een goede leer- en feedbackcultuur neer te zetten. Lees meer over het creeëren van een feedbackcultuur in de blog van Els Roskam-Pelgrim en Martje Köhlen (2021). De wil om zo’n leer- en feedbackcultuur in de opleiding te laten ontstaan moet binnen het docententeam én bij de onderwijsmanager(s) aanwezig zijn. Een gezamenlijke visie en de bereidheid om te veranderen draagt bij aan het ontstaan hiervan. Daarnaast is het van belang om de feedbackgeletterdheid van zowel studenten als docenten te trainen en studenten goed mee te nemen in het concept van programmatisch toetsen en hen doorlopend inzicht te bieden in hoe zij ervoor staan (Bate et al. (2020)). Meer tips en praktische handvatten over hoe je een leer- en feedbackcultuur kunt bevorderen door het ontwerp van programmatisch toetsen worden gegeven op de pagina over het ontwerpproces.

Het hebben van moed

Programmatisch toetsen vergt zowel een andere manier van werken als een andere manier van denken. Veel van de eerder opgedane ideeën en ervaringen over onderwijs en toetsing zullen losgelaten moeten worden om programmatisch toetsen te implementeren. Ook vraagt het andere manieren van werken voor docenten. Zo kijken docenten voortdurend mee met de studenten om zo de ontwikkeling te monitoren en bij te sturen waar nodig. Docenten krijgen een meer coachende rol toebedeeld. Voor zo’n omslag is moed nodig. Moed om te gaan proberen, fouten te maken en weer door te gaan (Biemond et al. (2021)).

Voldoende tijd en middelen

Een andere belangrijke factor voor het implementeren van programmatisch toetsen is de beschikbaarheid van tijd en middelen (Torre et al. (2021)). Zo gaven verschillende opleidingen aan dat er toename ontstond in gewerkte uren en werkdruk voor docenten in het beginstadium van programmatisch toetsen. Daarnaast bleek er behoefte te zijn aan ondersteuning bij het ontwerpen van programmatisch toetsen, het trainen van docenten en studenten in de principes van programmatisch toetsen en het geven en ontvangen van feedback. Ook bleek de aanschaf van een passend e-portfolio een waardevolle investering om de voortgang van de studenten goed te kunnen volgen.

Dashboard voor het implementatieproces

Opleidingen die bezig zijn met programmatisch toetsen kunnen gebruik maken van de dashboard tool om bovengenoemde lessen mee te nemen in het implementatieproces. Op het dashboard staan succesfactoren weergegeven die gaan over sterk leiderschap, regie, een nieuw curriculum, betrokken stakeholders, professionalisering, investeren in software, feedbackgeletterdheid en de ontwikkeling van een coachsysteem. De dashboardtool kan helpen om het gesprek met elkaar aan te gaan en in kaart te brengen op welke factoren de opleiding goed en minder goed “scoort”, om zo meer grip te krijgen op het bevorderen van het implementatieproces.

References

Bate, F., Fyfe, S., Griffiths, D., Russell, K., Skinner, C., & Tor, E. (2020). Does an incremental approach to implementing programmatic assessment work? Reflections on the change process. MedEdPublish, 9(55), 55.
Baum, F., MacDougall, C., & Smith, D. (2006). Participatory action research. Journal of Epidemiology and Community Health, 60(10), 854.
Biemond, I., Kaijen, M., & Peeters, W. (2021). Programmatisch toetsen in het hbo: Dat vraagt moed! – platform leren van toetsen. In Platform Leren van Toetsen! https://lerenvantoetsen.nl/programmatisch-toetsen-in-het-hbo-dat-vraagt-moed/
Bok, H. G., Teunissen, P. W., Favier, R. P., Rietbroek, N. J., Theyse, L. F., Brommer, H., Haarhuis, J., Beukelen, P. van, Vleuten, C. P. van der, & Jaarsma, D. A. (2013). Programmatic assessment of competency-based workplace learning: When theory meets practice. BMC Medical Education, 13(1), 1–9.
Heeneman, S., Oudkerk Pool, A., Schuwirth, L. W., Vleuten, C. P. van der, & Driessen, E. W. (2015). The impact of programmatic assessment on student learning: Theory versus practice. Medical Education, 49(5), 487–498.
Jamieson, J., Jenkins, G., Beatty, S., & Palermo, C. (2017). Designing programmes of assessment: A participatory approach. Medical Teacher, 39(11), 1182–1188.
Reason, P., & Bradbury, H. (2001). Handbook of action research: Participative inquiry and practice. sage.
Torre, D., Rice, N. E., Ryan, A., Bok, H., Dawson, L. J., Bierer, B., Wilkinson, T. J., Tait, G. R., Laughlin, T., Veerapen, K., et al. (2021). Ottawa 2020 consensus statements for programmatic assessment–2. Implementation and practice. Medical Teacher, 43(10), 1149–1160.
Vleuten, C. P. van der, Schuwirth, L., Driessen, E., Govaerts, M., & Heeneman, S. (2015). Twelve tips for programmatic assessment. Medical Teacher, 37(7), 641–646.