Als leek denk je misschien dat een docent aan het eind van de cursus nog eens de literatuur induikt om op basis van de stof wat vragen bij elkaar te scharrelen voor een tentamen. En dat een toets vooral goed is omdat de docent er goed over heeft nagedacht. Welke stof was nou echt belangrijk? Welk niveau moeten de studenten halen? En hoe stel ik een goede toetsvraag?

Je denkt, kortom, dat een toets het sluitstuk is van een cursus. Maar de laatste inzichten op het gebied van toetsen vereisen dat docenten uitgebreid verantwoording afleggen over hun toets – zowel vóór als na het afnemen ervan. Grofweg zou je kunnen zeggen dat docenten van tevoren moeten bewijzen dat een toets valide is en achteraf dat hij betrouwbare uitspraken heeft gedaan over de vermogens van de studenten.

En eigenlijk is dat nog niet genoeg. Want als je het goed wilt doen, moet je al bij het ontwerpen van de opleiding rekening houden met de toetsing. Het beeld van de leek (lees: ondergetekende), van toetsen als sluitstuk van een cursus, zou dus niet moeten kloppen met de realiteit in het hoger onderwijs. Is dat ook zo? En zijn alle docenten zich bewust van de hoge eisen die aan toetsen gesteld worden?

BKE/SKE

‘Nee’, denkt een invloedrijk toetsspecialist uit het zuiden van het land. ‘Veel docenten realiseren zich nog niet voldoende dat toetsen een essentieel onderdeel is van hun vak’, aldus Dominique Sluijsmans, lector Professioneel Beoordelen aan de Zuyd Hogeschool. ‘Je zou denken dat het vanzelfsprekend is dat docenten goede toetsen kunnen maken. En dat ze er genoeg tijd voor en scholing in krijgen. Op basis van toetsen neem je immers de meest vergaande beslissingen die je in het onderwijs kunt nemen. Maar zo vanzelfsprekend is het niet.’

Sluijsmans en haar lectoraat worden overspoeld met verzoeken om de toetsvaardigheden van docenten op te vijzelen. Als voorzitter van een expertgroep van de Vereniging Hogescholen schreef Sluijsmans mee aan een voorstel waarin staat wat docenten moeten leren over toetsing. Het werk van de expertgroep-Sluijsmans vormt de basis voor een grootscheepse operatie om het niveau van de examinering in het hbo op te krikken. Dit is het BKE- of SKE-programma.

‘Alle ruim 1.500 HR-docenten moeten beter leren toetsen.’

Ook op de Hogeschool Rotterdam moet, vóór eind 2021, iedere docent de ‘basiskwalificatie’ of ‘seniorkwalificatie examinering’ halen. Hier gaat het om ruim vijftienhonderd docenten. Zij moeten zich verdiepen in de laatste toetsinzichten. Aan de hand daarvan moeten ze een bestaande toets vernieuwen, opnieuw afnemen en evalueren. Dat kan in de vorm van zelfstudie en, zoals veel docenten doen, met begeleiding op maat in kleine werkgroepen, over specifieke onderwerpen. Uiteindelijk moeten docenten in een assessment bewijzen dat ze het hele toetsproces onder de knie hebben.

De docent moet laten zien hoe valide, betrouwbaar en transparant de toets is, maar ook hoe hij samenhangt met (de andere toetsen in) het curriculum. Deze criteria zijn op zich al genoeg voor een stevige studie. Erachter gaat een wereld van ‘toetsdenken’ schuil. Zijn toetsen rechtvaardig? Sluiten ze echt aan bij de gevraagde competenties van de opleiding? Waar slaat het cijfer op dat we studenten geven, waarop baseer je het verschil tussen voldoende en onvoldoende?

Valide

Sommige criteria voor een goede toets spreken voor zich. Zo moet een docent in de toets vragen stellen over de belangrijkste stof. Dat is wat een toets valide maakt. Daarbij hoort ook dat de toets het gevraagde niveau van de student weerspiegelt. Als je studenten opdracht geeft definities te stampen, moet je op het tentamen niet met begripsvragen komen; een cursus communicatieve vaardigheden toets je niet op papier.

Een student moet van tevoren weten wat belangrijk is en wat hij op de toets kan verwachten. En, achteraf, hoe de docent tot zijn oordeel is gekomen. Dat maakt de toets transparant. Verder is het natuurlijk belangrijk dat de getoetste stof actueel is en gerelateerd aan de beroepspraktijk.

Diplomafraude

Het BKE/SKE-bijscholingsprogramma is nog een staartje van de diplomafraude uit 2010 bij Inholland. Naar aanleiding hiervan oordeelde de commissie-Bruijn in 2012 dat er meer waarborgen in het toetsproces moeten komen. Die conclusie werd breed gedeeld, ook al deed de commissie nadrukkelijk géén uitspraak over de kwaliteit van toetsen in het hbo.

De expertgroep-Sluijsmans doet dat ook niet. In het rapport van Sluijsmans staat wel dat de examinering in het hbo ‘een flinke kwaliteitsimpuls’ zal krijgen als alle docenten zich laten bijscholen.

Voor de Hogeschool Rotterdam is niet duidelijk wat de kwaliteit van toetsen in het algemeen is. De organisator van de BKE- en SKE-cursus alhier, Eric Entken, heeft er ook geen direct zicht op. Maar: ‘Als docenten hun bestaande toetsen vergelijken met de laatste inzichten erover, is er vaak meer werk aan de winkel om de toets te verbeteren dan ze aanvankelijk dachten.’

Zijn toetsen op de HR dan onder de maat? ‘Uit de accreditaties blijkt in ieder geval van niet’, reageert Entken. ‘We halen overal standaard 3’. We mogen van de NVAO zeggen dat alle geaccrediteerde opleidingen een ‘adequaat toetssysteem’ hebben. Maar, vervolgt Entken, ‘als ik op detailniveau naar de toetsen kijk, zie ik altijd wel dingen die verbeterd kunnen worden.’

Uit de accreditaties blijkt niet dat de toetsen onder de maat zijn. ‘We halen overal standaard 3.’

Als voorbeeld noemt hij assessments, waarbij het belangrijk is dat docenten onderling veel met elkaar praten over hoe ze studenten precies beoordelen. ‘Kalibreren’, zo heet dit onderlinge afstemmen. ‘Als je dat niet doet, krijg je het probleem dat beoordelaars verschillende meetlatten kunnen hanteren en daarmee bevorder je geen valide en betrouwbare beoordeling.’ Helaas maken niet alle opleidingen tijd en geld vrij voor docenten om regelmatig kalibreersessies te houden, ziet Entken.

Betrouwbaarheid

Ook de HR-afdeling auditing, monitoring en control (amc) kan geen algemene uitspraken doen over de kwaliteit van toetsen op de hogeschool. Wel ziet Cor Spee van amc in het algemeen dat toetscommissies steeds meer middelen krijgen en dat ze steeds grondiger werk verrichten. ‘Toetscommissies kijken niet alleen vooraf, wat standaard is, maar ook achteraf naar toetsen’, zegt Spee.

Een toets moet discrimineren tussen goede en slechte studenten. Hebben de goede een voldoende gekregen en de slechte een onvoldoende? Daarover kun je alleen achteraf iets zinnigs zeggen. Er zijn bijvoorbeeld statistische trucjes om uit te rekenen hoe stabiel het resultaat van een student over alle vragen van de toets is geweest. Als een toets uit veel vragen bestaat, deelt deze methode de toets als het ware in twee delen, waardoor je een toets met een controletoets krijgt. Haal je voor beide helften hetzelfde cijfer, dan wordt het oordeel van de toets redelijk betrouwbaar geacht.

Helaas geeft deze statistische methode alleen een indicatie van de betrouwbaarheid. Je weet nooit zeker of de juiste studenten zijn gezakt en geslaagd, anders had je niet hoeven toetsen. Het BKE- en SKE-traject gaat daarom niet alleen over betrouwbare toetsen, maar ook over een betrouwbaar toetsprogramma. Wat lector Dominique Sluijsmans betreft is ‘toetskwaliteit’ niet alleen een kwestie van één toets, maar van een serie samenhangende toetsen. ‘Elke toets heeft een zwakke schakel’, legt Sluijsmans uit. ‘Een toets is nooit perfect valide én volledig transparant én helemaal authentiek (aansluitend bij de beroepspraktijk, red.). Als een toets authentieker is, omdat je bijvoorbeeld op de werkplek toetst, zijn de omstandigheden weer niet controleerbaar en herhaalbaar. De perfecte toets is écht een illusie, dus moet je vaker toetsen voor een betrouwbaar oordeel.’

‘Elke toets heeft een zwakke schakel.’

BKE’ers en vooral SKE’ers moeten ook laten zien dat ze zich een beeld kunnen vormen van de validiteit van het toetsprogramma. De SKE is daarom typisch iets voor docenten die in een toets-, curriculum- of examencommissie zitten. Zij moeten onderzoeken of alle opleidingscompetenties regelmatig en op verschillende niveaus worden getoetst.

Niet moeilijk

Is het moeilijk om een BKE-certificaat te halen? Niet per se, zegt Entken. Voor beginners kan het bestuderen van de literatuur misschien een flinke kluif zijn, maar voor een ervaren docent, verwacht Entken, is het vooral méér. Zo moeten BKE-docenten ook collega’s om feedback op hun toetsen vragen en verbeteringen in de toets verantwoorden op basis van de literatuur.

Sinds de start van het programma een jaar geleden hebben nog maar heel weinig mensen daadwerkelijk hun certificaat gehaald. Dat zit, los van de persoonlijke omstandigheden van docenten, voor een deel ook in het lange wachten dat bij de BKE hoort. Entken: ‘We werken in de cursus met échte toetsen. Dat is namelijk de dagelijkse praktijk van de docenten. Die echte toetsen moeten, eenmaal vernieuwd, ook afgenomen worden. En als die toets pas in het laatste blok plaatsvindt, moet je daar gewoon op wachten.’ Al met al zijn er afgelopen schooljaar pas drie van de ruim tweehonderd BKE’ers die hun certificaat hebben gehaald. (De SKE-cursus is pas net begonnen.) Om de uitstroom te verhogen, is de cursus iets verkleind. ‘Docenten kregen het werk niet af binnen de tijd die ervoor staat’, zegt Entken.

Wat wél in stijl is met de dagelijkse toetspraktijk zoals de leek die kent, is dat de validiteit en betrouwbaarheid van het BKE- en SKE-programma nog niet helemaal uitgewerkt zijn. Eigenlijk zou er nog een nulmeting komen over de toetskwaliteit van opleidingen op de HR, zodat we na een nieuwe meting een betrouwbare uitspraak over de vooruitgang zouden kunnen doen. Wat moeten docenten nog leren over dit onderwerp? Maar die nulmeting is er niet gekomen, zegt Eric Entken enigszins schuldbewust. ‘Daar raak je ons op een zwakke plek. We hebben er wel aan gewerkt, bij enkele gezondheidszorgopleidingen. Maar het kost een heel docententeam al snel meerdere dagen om de kwaliteit van alle toetsing in beeld te brengen.’

Tekst: Olmo Linthorst
Illustratie: Fernando Leon