Zorgen voor en borgen van toetskwaliteit
Bij opleidingen die (gaan) werken met programmatisch toetsen verandert vaak de manier waarop zij zorgen voor de toetskwaliteit. Ook de manier waarop de examencommissie deze toetskwaliteit borgt, verandert. Dit vraagt nieuwe en aangepaste instrumenten voor het zorgen voor en borgen van toetskwaliteit.
Door: Sylvia Heeneman (Maastricht University) en Irene Biemond (Hogeschool van Hall Larenstein)
Er zijn zes elementen die de kwaliteit van toetsing bepalen, afgeleid van vijf elementen van het toetsweb (Van Schilt-Mol et al, 2020). Het toetsweb bestaat uit de elementen toetsbeleid, toetsprogramma, toetsorganisatie, toetsbekwaamheid en toets(tak)en. Bij programmatisch toetsen spreken we niet in de toetswebtermen toets(tak)en en toetsprogramma, omdat op één of meerdere momenten de informatie uit een groot aantal datapunten gebruikt wordt om een beslissing te nemen over het wel of niet toekennen van studiepunten (high-stakes beslissing). We gebruiken hier daarom de term datapunten in plaats van toets(tak)en, en programma van datapunten en high-stake beslissing in plaats van toetsprogramma.
Voor een toelichting op deze termen en een overzicht van de uitwerking van deze zes elementen, zie deze eerste kennisclip.
Hieronder werken we de zes elementen die de kwaliteit van toetsing bepalen verder uit voor programmatisch toetsen. Ieder element lichten we toe en we geven aandachtspunten mee voor zowel de opleiding (zorgen) als de examencommissie (borgen). Ieder element wordt nader toegelicht in een kennisclip waarin ook steeds wordt ingegaan op een voorbeeld.
1. Toetsbeleid
Het toetsbeleid is het geheel aan vastgestelde afspraken over toetsen en beoordelen, zowel inhoudelijk als procedureel (Bruijns & Kok, 2015). Toetsbeleid kan bestaan op verschillende niveaus, bijvoorbeeld op instellingsniveau en opleidingsniveau. Het toetsbeleid is vaak onderdeel van en opgenomen in meerdere documenten zoals een toetskader, een toetsbeleid, een toetsreglement en een onderwijs- en examenregeling. De afspraken in het toetsbeleid kunnen gaan over alle elementen van het toetsweb. Naast de afspraken die de instelling en opleiding maken, zijn examencommissies in het hoger onderwijs bevoegd eigen richtlijnen en aanwijzingen te geven binnen het kader van de onderwijs- en examenregeling (WHW 7.12b lid 1b).
Zorgen voor toetskwaliteit:
- Stel toetsbeleid op; zorg in ieder geval voor afspraken over:
- de rechtsbescherming van studenten;
- het voorkómen en constateren van fraude in de datapunten;
- de herkansings- en/of remedieermogelijkheden voor studenten.
Borgen van toetskwaliteit
- Wees scherp op de vraag of programmatisch toetsen volgens de bedoeling (zie de uitgangspunten van programmatisch toetsen) wordt ingezet.
- Ga na of het toetsbeleid de examencommissies voldoende mogelijkheden geeft haar borgende taak uit te voeren.
- Ga na of het toetsbeleid bekend is bij alle relevante actoren en wordt nageleefd.
Deze aandachtspunten worden verder toegelicht in deze kennisclip. Ook wordt hier een praktijkvoorbeeld besproken.
2. Programma van datapunten
Een programma van datapunten is een overzicht van (kenmerken van) datapunten en beslismomenten dat bewust tot stand is gekomen op basis van vastgestelde doelen (Biemond & Baartman, 2021). Die doelen zijn bijvoorbeeld validiteit en betrouwbaarheid. Bij een programma van datapunten hoort een verantwoording, waarin ook de uitgangspunten voor het programma staan vermeld. Een uitgangspunt kan bijvoorbeeld zijn dat er wordt gewerkt met een mix van datapunten, bijvoorbeeld in het soort datapunten, in de contexten waarin beroepshandelingen zijn uitgevoerd en in het perspectief van de feedback zoals van een klant/patiënt/ docent/medestudent (Biemond & Baartman, 2021).
Zorgen voor toetskwaliteit
Geef een heldere verantwoording van het programma van datapunten en relateer de keuzes aan de uitgangspunten van programmatisch toetsen. Dit artikel van (Biemond & Baartman, 2021) kan daarbij behulpzaam zijn.
Ontwerp een programma van datapunten dat de leerfunctie versterkt (zie pagina over ontwerpen).
Ontwerp een programma van datapunten dat leidt tot een robuuste beslissing (zie pagina’s over ontwerpen en over de beslisfunctie).
Besteed aandacht aan de kaders die je de studenten meegeeft in hun keuzemogelijkheden (voor bijvoorbeeld datapunten, contexten, perspectief van feedbackgever).
Besteed aandacht aan de wijze waarop saturatie bereikt wordt (zie pagina over beslisfunctie).
Stel vast op welke wijze de informatie van datapunten wordt geaggregeerd tot een high-stakes beslissing.
Borgen van toetskwaliteit
Bekijk het programma van datapunten op papier en ga na of het in de praktijk ook zo wordt uitgevoerd.
Evalueer de verantwoording van het programma van datapunten.
Besteed aandacht aan de kaders die de studenten meekrijgen in hun keuzemogelijkheden.
Bekijk steekproefsgewijs welke datapunten studenten opnemen in hun portfolio en de keuzes die ze maken.
Deze aandachtspunten worden verder toegelicht in deze kennisclip ook wordt er een praktijkvoorbeeld besproken.
3. High-stakes beslissing
De high-stakes beslissing gaat over het wel of niet toekennen van studiepunten. Hierbij wordt de informatie uit een groot aantal datapunten gebruikt om deze beslissing te nemen.
Zorgen voor toetskwaliteit
- Expliciteer de richtlijnen/formulieren/procedures die gevolgd worden bij de aggregatie van informatie.
- Maak duidelijk hoe begeleiders en beslissers kalibreren.
- Leg procedures rondom high- stakes beslissingen vast.
- Leg uit hoe de besliscommissie wordt samengesteld.
- Stel een helder(e) beoordelingsformulier/rubric op met een duidelijke invulinstructie.
- Leg uit op welke wijze de eventuele remediëring tot stand komt.
Borgen van toetskwaliteit
- Evalueer steekproefsgewijs de kwaliteit van de portfolio’s (kwaliteit datapunten, kwaliteit feedback, saturatie).
- Evalueer richtlijnen/formulieren/procedures die gevolgd worden bij de aggregatie van informatie uit de datapunten.
- Bekijk de manier waarop aggregatie van informatie plaatsvindt.
- Evalueer procedures rondom high-stakes beslissingen en woon beslismomenten bij.
- Evalueer de samenstelling van de besliscommissie of geef hiervoor richtlijnen.
- Evalueer de procedures rondom kalibratie en de uitvoering ervan in de praktijk.
- Evalueer de kwaliteit van het beoordelingsformulier/rubric en de invulinstructie.
- Evalueer de procedure rondom de totstandkoming van de remediering.
- Evalueer of de student met het remediëringsprogramma of de remediëringsopdracht aan de eisen kan voldoen.
Deze aandachtspunten worden verder toegelicht in deze kennisclip ook wordt er een praktijkvoorbeeld besproken.
4. Datapunten
Een datapunt geeft een brokje informatie over de student en kan bijvoorbeeld bestaan uit beroepsproducten, kennisproducten, onderbouwingen, reflecties, zelfbeoordelingen, scores op kennistoetsen of feedback van medestudenten, cliënten of opdrachtgevers. Een datapunt kan informatie geven over meerdere beroepscompetenties (Biemond & Baartman, 2021).
Zorgen voor toetskwaliteit
- Besteed aandacht aan de kaders die je de studenten meegeeft in hun keuzemogelijkheden voor datapunten (bijvoorbeeld contexten, perspectief van feedbackgever).
- Maak duidelijk welke eisen worden gesteld aan feedback.
- Stel richtlijnen vast voor de kwaliteit van de datapunten, rekening houdend met zowel de leerfunctie als de beslisfunctie.
Borgen van toetskwaliteit
- Bepaal en beargumenteer hoeveel aandacht de examencommissie wil besteden aan de borgen van de kwaliteit van datapunten.
- Evalueer de richtlijnen voor de kwaliteit van de datapunten.
- Bepaal eventueel in hoeverre deze richtlijnen in de praktijk worden nageleefd.
Deze aandachtspunten worden verder toegelicht in deze kennisclip ook wordt er een praktijkvoorbeeld besproken.
5. Toetsorganisatie
Met de toetsorganisatie wordt verwezen naar de wijze waarop docenten, examencommissie, toetscommissie, management en ondersteunende medewerkers doelgericht met elkaar samenwerken om de gewenste toetskwaliteit te realiseren (Van Deursen & Van Zijl, 2015). Daarbij gaat het om het vaststellen van rollen, taken en verantwoordelijkheden van actoren/betrokkenen bij toetsing, het rolvast met elkaar samenwerken en de logistieke organisatie van toetsing.
Zorgen voor toetskwaliteit
- Regel de logistiek rondom de bijeenkomsten van de besliscommissie.
- Expliciteer taken, verantwoordelijkheden en bevoegdheden van diegenen die een rol spelen in de toetskwaliteit.
- Zorg - zeker als studenten veel keuzemogelijkheden krijgen - voor een goede uitvoering en registratie en pas systemen en procedures hierop zo nodig aan.
Borgen van toetskwaliteit
- Ga na of de logistiek rondom de bijeenkomsten van de besliscommissie goed werkt.
- Evalueer of diegenen die een rol spelen in de toetskwaliteit de juiste taken uitvoeren, de juiste verantwoordelijkheden dragen en bevoegdheden gebruiken.
- Ga na of de uitvoering en registratie - als gevolg van de keuzemogelijkheden van studenten - in systemen en procedures goed verloopt.
Deze aandachtspunten worden verder toegelicht in deze kennisclip ook wordt er een praktijkvoorbeeld besproken.
6. Toetsbekwaamheid
Met toetsbekwaamheid wordt verwezen naar de deskundigheid die bij actoren aanwezig moet zijn om toetskwaliteit te realiseren (Van Berkel, Sluijsmans & Joosten-ten Brinke, 2015). Bij programmatisch toetsen hoort daarbij ook feedbackgeletterdheid van studenten, docenten en begeleiders uit het werkveld; coachingsvaardigheden bij docenten en vaardigheid in holistisch beoordelen bij beslissers. Daarnaast is kennis nodig bij examencommissies, docenten en managers over het doel van en de werkwijze bij programmatisch toetsen. Daarnaast kan het verstandig zijn om ook minder direct betrokkenen, zoals juridisch medewerkers of medewerkers van de cijferadministratie, uit te leggen wat programmatisch toetsen inhoudt.
Zorgen voor toetskwaliteit
- Maak een plan om de toetsbekwaamheid van studenten, docenten, beslissers en andere actoren op peil te krijgen en te houden, voer het plan uit en evalueer de uitvoering.
Borgen van toetskwaliteit
- Stel (nieuwe) criteria vast waaraan examinatoren moeten voldoen.
- Evalueer de uitvoering van het plan rondom de toetsbekwaamheid.
- Signaleer mogelijke tekortkomingen in toetsbekwaamheid van verschillende actoren en vraag de opleiding actie te ondernemen.
Deze aandachtspunten worden verder toegelicht in deze kennisclip ook wordt er een praktijkvoorbeeld besproken.
De rol van de examencommissie
Hoe kunnen examencommissies op een goede manier invulling geven aan hun wettelijke taak (het borgen van de kwaliteit van toetsing) bij opleidingen die werken volgens de principes van programmatisch toetsen? In dit tweeluik wordt eerst ingegaan op de rol van de examencommissie, daarna op concrete instrumenten waarmee de examencommissie invulling kan deze aan deze rol. Deel 2 van dit tweeluik is te vinden bij de praktische handvatten op deze pagina.
Naar gecontroleerd vertrouwen: De rol van de examencommissie bij programmatisch toetsen