Bestuurders die hun onderwijs willen verbeteren, bellen Janke. En daar doen ze goed aan. Janke Cohen spreekt uit haar hoofd, betrekt haar publiek en kent de feiten. Ze plaagt graag een beetje, maar meestal onschuldig. Hoogstens zou je kunnen zeggen dat ze wat streng is. Iets te streng, soms, denkt Cohen zelf. Maar ja, ze is inmiddels ‘een ouwe rot in het vak’. Ze kent de argumenten door en door, tegen compensatie of tegen een bindend studieadvies (bsa) van zestig punten. Met één zin maakt ze daar tijdens het interview korte metten mee. Inhoudelijk compenseert Cohen niet.

‘Ik laat tijdens presentaties vaak de propedeuserendementscijfers van de acht faculteiten geneeskunde van de afgelopen twintig jaar zien. Omdat ze dezelfde eindtermen hebben, is het onderwijs vergelijkbaar en dat geldt ook voor de populatie. Na één jaar zijn er gigantische verschillen. En dat verschil kun je niet aan de studenten toeschrijven, die komen allemaal uit dezelfde lotingspoule en hebben hetzelfde landelijke eindexamen gedaan. Dat verschil ligt dus aan de opleiding.’

‘We steken veel energie in het faciliteren van zakken en niet zo veel in het faciliteren van slagen.’

Gemeten over een periode van een paar jaar, vallen de verschillen in P-rendement tussen de acht geneeskundefaculteiten weg. Kennelijk maakt het niet uit of je één jaar over je propedeuse doet of meer.

Maar als je het omdraait, kun je ook zeggen dat het niet uitmaakt als je studenten dwingt hun P in één jaar te halen. Je selecteert dan niet méér studenten weg.

Die bevinding komt overeen met de ervaring van de Erasmus Universiteit Rotterdam. Na het invoeren van ‘Nominaal is normaal’ (met een bsa van zestig punten) haalden evenveel studenten hun propedeuse als voorheen, maar dan in één jaar, in plaats van twee. De EUR voerde echter ook compensatie in. Misschien zijn ze op de EUR niet strenger, maar juist soepeler geworden?

Cohen heeft diezelfde vraag onderzocht bij de medische faculteiten en daaruit blijkt dat studenten die er twee jaar over doen niet meer weten dan de studenten die hun P in één jaar halen. In haar oratie uit 2010 aan de Rijksuniversiteit Groningen concludeert Cohen dan ook dat sneller studeren misschien tegenintuïtief is, maar dat helemaal nergens uit blijkt dat het slecht is voor de (kennis van de) studenten.

Als medici een nieuw medicijn onderzoeken en het blijkt veel beter te werken dan de placebo die de controlegroep krijgt, dan wordt het onderzoek stilgezet. We vinden het onethisch om de controlegroep het werkende middel te onthouden. Ziet u het lage eerstejaarsrendement van sommige opleidingen ook als een ethisch probleem?
‘Je kunt je afvragen of het fair is naar studenten dat we ons niets aantrekken van wat we uit onderzoek weten.’

‘Als we veel herkansingen aanbieden, maken studenten daar gebruik van.’

Wat weten we uit onderzoek? Dat zit hem wat Cohen betreft vooral in studentgedrag. ‘Als psycholoog ben ik geïnteresseerd in hoe toetsing het gedrag van studenten beïnvloedt. Als we veel herkansingen aanbieden, maken studenten daar gebruik van. Ze gaan naar de toets om de vragen te verkennen en maken vervolgens de herkansing. Studentgedrag is simpelweg een afgeleide van wat je organiseert. Zo is het ook met het bsa. Studenten beginnen een voltijdopleiding, maar het eerste wat ze horen is dat ze maar 48 punten hoeven te halen. Daar gaan ze zich natuurlijk naar richten.’

Die verkenners zijn toch geen probleem als ze gewoon de herkansing halen?
‘Stel dat de toets slecht gemaakt wordt. Was het dan een moeilijke toets of waren er gewoon veel verkenners? Die maken de analyse van de toets en het bepalen van de cesuur erg lastig.’

De toetsmoeilijkheid is een groot probleem, zegt Janke Cohen. ‘We laten veel mensen onterecht zakken.’ Dat heeft te maken met de onbetrouwbaarheid van toetsen. ‘De toets is een steekproef. Had je andere vragen gesteld uit de lijst met mogelijke vragen, dan zou je willen dat dezelfde studenten zakken en slagen. In dat geval is de betrouwbaarheid 1. We vinden een toets echter al heel betrouwbaar als dat 0,8 is. Dat betekent, een beetje afhankelijk van de cesuur, dat 20 procent foute beslissingen worden gemaakt. Zo veel studenten slagen of zakken onterecht. Dat zijn veel fouten. En dat is op zich al reden om te gaan compenseren.

‘Als een student in een jaar meer dan zes toetsen maakt, is de kans dat hij onterecht een vijf haalt al groter dan vijftig procent. En met iedere extra toets neemt de kans op fouten voor een student toe. Tenzij je altijd achten scoort, dan haal je hoogstens onterecht een zesje. Maar veel studenten zitten juist rond die vijf-zes, omdat we vinden dat we zesjes moeten geven.’

In het hbo zijn twintig of meer toetsen per jaar niet ongebruikelijk…
‘Dan schat ik in dat je een laag rendement hebt en een heel actief herkansingsbeleid om daar nog iets van te maken.’ (Op de HR ligt het P-rendement nu op 26 procent. Nog eens 30 procent doet er twee jaar over (of langer); ruim 40 procent stroomt uit.)

Maar als je gaat compenseren, zijn het natuurlijk de moeilijke struikelvakken…
‘…als je struikelvakken hebt, moet je daar iets aan doen. Dan is je programma niet studeerbaar. Maar we hebben ook onderzocht welke vakken studenten compenseren. Zijn dat stelselmatig de moeilijke tegenover de makkelijke vakken? Nee, de onvoldoendes komen overal voor en ieder jaar zitten ze bij een ander vak. Dat duidt niet op strategisch gedrag, maar eerder op een probleem met een moeilijke toets.’

‘Nergens blijkt dat sneller studeren slecht is voor de (kennis van de) studenten.’

Uw onderzoek laat ook zien dat na het invoeren van compensatie ieder jaar steeds meer studenten er gebruik van maken.
‘Studenten zullen regels altijd strategisch gebruiken. Dat moet je dus permanent tegengaan.’

Maar compenseren was toch juist een manier om strategisch gedrag tegen te gaan?
‘In dat onderzoek volgden studenten nog negen losse vakken per jaar. Geïntegreerd toetsen was de oplossing: het invoeren van één alomvattende toets voor het afsluiten van een periode. Deze toets wordt echter niet aan het eind van een blok afgenomen, maar steeds na drie weken. Studenten moeten dan regelmatig zelf aan de bak en kunnen niet eerst een hele onderwijsperiode lang colleges consumeren.’

De eerste toets bestaat uit twintig procent van de vragen, de tweede uit dertig procent en aan het eind van het blok volgt de resterende vijftig procent. Daarna krijgen de studenten pas een cijfer; tussendoor horen ze alleen hoeveel fouten ze maken. Ze kunnen een eerste slechte score nog verbeteren en veel studenten doen dat ook. Cohen: ‘Studenten met een slechte score verbeteren zich meer dan dat studenten met een goede score verslechteren.’

Onderwijs is toch meer dan rendement? Het gaat toch ook om een bredere vorming van studenten?
‘Als je dat zo belangrijk vindt, moet je het gewoon in je curriculum stoppen. Dat hebben we in Groningen ook gedaan. Maar vaak is het ook een excuusargument om niets te doen. Gaan we dan door met meer dan de helft van de studenten laten zakken? Dan doe je iets niet goed. Maar in ons land zijn we daar trots op.’

‘De toets is een steekproef. Eén waarbij zo’n 20 procent foute beslissingen worden gemaakt.’

De HR maakte voor de vakantie bekend dat mbo’ers het steeds slechter doen op het hbo. Misschien hebben zij gewoon iets meer tijd en begeleiding nodig?
‘Misschien is dat zo, maar dat is moeilijk te zeggen als we het onderwijs niet goed geregeld hebben. Uit de cijfers van de EUR blijkt dat studenten het nu beter doen dan in twee jaar, met al die extra herkansingen. Iedereen, ook de mbo’er, gaat harder werken als je de regels aanscherpt. Nu steken we veel energie in het faciliteren van zakken en niet zo veel in het faciliteren van slagen. We kijken niet naar de moeilijkheid van toetsen. We willen niet compenseren. En we kijken niet naar de planning van tentamens. Terwijl uit al dat onderzoek van de afgelopen dertig jaar blijkt dat dat helpt. Moeten we extra begeleiding geven? Misschien, maar om in aanmerking te komen voor extra begeleiding moet je eerst gezakt zijn. Geef die begeleiding dan gewoon vanaf het begin.

‘We vinden tot in onze tenen dat er iets fout gaat als honderd procent slaagt voor de toets. Dan deugt de toets niet! Maar slagen is toch het doel? Zeker in de hogere studiejaren. Waarom moet dan nog steeds twintig, dertig procent van de studenten zakken? Degenen die het echt niet kunnen, zijn dan al lang weg… Als de studenten niet genoeg gedaan hebben, dan heb je het onderwijs niet goed geprogrammeerd. Ik breng het altijd terug naar de verantwoordelijkheid van de opleiding. Aan de studenten kan het niet liggen. Die willen gewoon slagen. Daarom zitten ze hier.’

Tekst: Olmo Linthorst
Fotografie: Levien Willemse