Een slechte afstudeerscriptie moet geen voldoende krijgen. Dat is niet eerlijk naar andere studenten en tast bij herhaling de waarde van het diploma aan. Maar hoe garandeer je dat een voldoende ook echt een voldoende is?

Deze vraag moeten opleidingen iedere zes jaar beantwoorden bij de wettelijke onderwijskeuring, de accreditatie. Blijkt tijdens de accreditatie dat een afgestudeerde student eigenlijk een onvoldoende had moeten krijgen, dan kan een opleiding in de problemen komen. Zo kregen fysiotherapie en international business and languages (ibl) tijdens hun accreditatie een onvoldoende voor de afstudeerkwaliteit, ook wel ‘standaard 4’ genoemd. Het visitatiepanel vond dat te veel studenten onterecht een voldoende hadden gekregen voor hun afstudeerwerk. Het gebeurt vrijwel nooit, maar als deze opleidingen niet binnen twee jaar de kwaliteit herstellen, verliezen ze hun overheidsbekostiging.

Studenten leren vast van alles en nog wat, maar of ze ook aan het hbo-niveau voldoen?

Gevonden risico ‘moet verbeterd worden’

De dienst amc (auditoring, monitoring en control), die bijdraagt aan de borging van de onderwijskwaliteit en zo accreditatie-onvoldoendes kan helpen voorkomen, ziet nog veel meer opleidingen die problemen hebben met het garanderen van de afstudeerkwaliteit. Uit een analyse van de laatste 25 auditrapporten van amc blijkt dat de auditdienst bij 20 opleidingen ‘risico’s voor de accreditatie’ vindt, die volgens amc ‘verbeterd moeten worden’. Het gaat om alle auditrapporten vanaf oktober 2015, toen er een nieuwe beoordelingsmethode werd ingevoerd met vier in plaats van drie accreditatiestandaarden. De rapporten staan op het intranet van de hogeschool.

Amc ziet in deze periode dat veel opleidingen niet goed kunnen aantonen dat studenten aan de eindkwalificaties voldoen. Bij sommige opleidingen betwijfelt amc zelfs of de opleiding überhaupt alle eindkwalificaties op afstudeerniveau (bachelor- of masterniveau) bij de afstudeerders heeft getoetst. Daarnaast ontbreekt het bij veel opleidingen aan de waarborgen die ervoor moeten zorgen dat een voldoende ook echt een voldoende is.

‘Opleidingen hebben structureel moeite om standaard 4 op orde te krijgen’

De ‘risico’s’ zijn divers en soms relatief makkelijk op te lossen. Maar door de onvoldoendes van fysiotherapie en ibl is duidelijk geworden dat het ook echt risico’s zijn. Bovendien blijkt hieruit dat niet iedere opleiding de gesignaleerde problemen op tijd oplost. Ook deze twee opleidingen waren namelijk gewaarschuwd door amc, zeggen de manager van amc, Inge de Jong, en een senior auditor, José Westerman. Bij de laatste audit van ibl en fysio, respectievelijk in 2015 en 2016, constateerde de auditdienst risico’s in de borging van de afstudeerkwaliteit van deze opleidingen.

Onderzoekers van amc komen drie jaar vóór de zesjaarlijkse wettelijke accreditatie bij een opleiding langs om een audit te doen. Ze kijken dan naar dezelfde normen, of ‘standaarden’, als de échte panels. Het enige verschil is dat amc geen inhoudsdeskundigen in dienst heeft. In het echte visitatiepanel voor de opleiding fysiotherapie zitten bijvoorbeeld fysiotherapeuten en bewegingswetenschappers van een andere hogeschool of universiteit. Zij kunnen de scripties of ander afstudeerwerk inhoudelijk beoordelen. Amc kijkt daarentegen vooral naar de processen rondom het afstuderen, minder naar de scripties zelf. Opleidingen worden zelf geacht externe deskundigen te raadplegen over de kwaliteit van het afstudeerwerk van hun studenten. Dat is een van de waarborgen voor het op peil houden van het hbo-niveau.

Meest gevonden: gat tussen plan en realiteit

Het meest voorkomende probleem dat amc ziet, is het gat tussen de plannen van de opleiding (neergelegd in bijvoorbeeld een modulehandleidingen of de Onderwijs- en Examenregeling) en de realiteit, zeggen Westerman en De Jong. Het gaat dan om allerlei soorten inconsistenties tussen de beoogde eindkwalificaties van een opleiding en het leveren van bewijzen dat studenten die eindkwalificaties daadwerkelijk op hbo-niveau behaald hebben.

‘Het eindniveau van de opleiding is op dit moment onvoldoende geborgd’

Zo staan in beoordelingsformulieren bijvoorbeeld dikwijls andere afstudeereisen dan in de afstudeerhandleiding. Of het hele afstudeerproces wordt op verschillende plekken anders omschreven.

In de Onderwijs- en Examenregeling (OER) van een creatieve bachelor wordt bijvoorbeeld gesproken over een assessment als eindtoets, terwijl dat in de afstudeerhandleiding ineens een ‘vragenronde van tien minuten’ is geworden, blijkt uit één van de 25 amc-rapporten.

Bij een economische bachelor zijn de beoordelingscriteria afgeleid van de Dublin-descriptoren (een Europese, algemene omschrijving van het hbo-niveau), terwijl ze aan de meer specifieke eindcompetenties van de opleiding zelf gekoppeld zouden moeten zijn.

Van een technische bachelor zegt amc in haar auditrapport uit juni 2016 dat ‘de beoordeling van het afstudeerprogramma onvoldoende gebaseerd is op de eindkwalificaties van de opleiding. Dit betekent dat het eindniveau van de opleiding op dit moment onvoldoende geborgd is’.

Bewijzen dat je doet wat je belooft

Deze inconsistenties ‘lijken misschien puur administratieve problemen’, zegt José Westerman, ‘maar een student kan rechten ontlenen aan de OER, dus we zijn hier altijd redelijk strikt op’.

Het fundamentele probleem van deze inconsistenties is bovendien dat het voor opleidingen lastig is om te bewijzen dat hun studenten aan de eindtermen voldoen als die eindtermen op verschillende plekken op verschillende manieren zijn omschreven.

Soms worden bepaalde eindkwalificaties helemaal niet getoetst.

Bij accreditaties is dit een risico omdat een opleiding daar moet aantonen dat ze ‘doet wat ze belooft’, zoals specialisten standaard 4 wel omschrijven (standaard 4, de laatste standaard, gaat over de afstudeerkwaliteit). Letterlijk behelst standaard 4 deze ene vraag: ‘De opleiding toont aan dat de beoogde leerresultaten zijn gerealiseerd.’ Zo staat het in het beoordelingskader van de NVAO (Nederlands-Vlaamse Accreditatieorganisatie).

Eindcompetenties soms niet getoetst

Amc ziet nog een andere variant op het inconsistentieprobleem met regelmaat terugkomen. Dat is wanneer opleidingen sommige eindcompetenties helemaal niet toetsen of niet duidelijk maken waar dat dan gebeurt.

In het afstudeerprogramma van een economische bachelor mist amc bijvoorbeeld de toetsing van ‘competenties 1,4,5,6 en 7 op eindniveau’. Welke competenties dit zijn, wordt niet duidelijk, alleen dat de opleiding van deze vijf competenties niet kan bewijzen dat afgestudeerde studenten ze op hbo-niveau beheersen.

Bij een zorgbachelor constateert amc dat onduidelijk is in welk afstudeeronderdeel de eindcompetenties precies behaald worden. Net als bij andere opleidingen, ziet amc dit probleem bij deze ene opleiding op meerdere plekken in het afstudeerprogramma. In het auditrapport over deze zorgbachelor geeft de dienst echter ook een voorbeeld: ‘In de Handleiding Afstuderen staat dat de competentie ‘organiseren en beheren’ wordt afgetoetst bij de afstudeeropdracht. De beoordelingscriteria van de afstudeeropdracht zijn echter niet gerelateerd aan deze competentie.’ Het is daardoor ‘niet vast te stellen’ of studenten de door de opleiding vastgestelde eindkwalificaties halen.

Met vier waarborgen is onvoldoende onwaarschijnlijk

Opleidingen hebben allerlei manieren om ervoor te zorgen dat de kwaliteit op orde blijft. Het inhuren van externe deskundigen is er daar één van. Zij kunnen bij de beoordeling van afstudeerzittingen aanschuiven, maar het gebeurt ook dat een opleiding om de zoveel tijd een stapel afstudeerwerk met de daarbij behorende beoordelingen opstuurt naar een aantal externe deskundigen, zodat zij de beoordelingen kunnen beoordelen. Was een scriptie die een zeven kreeg volgens hen ook een zeven waard? Dit wordt ook wel ‘externe validatie’ genoemd.

Een tweede waarborg is om ervoor te zorgen dat al het afstudeerwerk een onafhankelijke beoordeling krijgt. Het betekent dat de begeleider van een student niet ook de eerste beoordelaar mag zijn, om de invloed van eventueel opgebouwde persoonlijk vooroordelen tegen te gaan.

Een derde methode die opleidingen kunnen inbouwen, is ‘kalibratie’ waarbij beoordelaars om de zoveel tijd samen naar dezelfde scripties kijken om het niveau van hun oordelen op elkaar af te stemmen. Zijn ze het met elkaar eens over wat voldoende en onvoldoende is? Op die manier voorkom je dat een student ‘geluk’ of ‘pech’ kan hebben met een strenge of milde beoordelaar.

Een onvoldoende terwijl waarborgen functioneren? ‘Lijkt me zeer onwaarschijnlijk.’

De examencommissie, ten slotte, heeft de taak om de kwaliteit van toetsen en examens te borgen, dus ook de kwaliteit van afstudeerexamens. In het laatste geval neemt de commissie doorgaans een steekproef van afstudeerwerken om te beoordelen of die ook echt hbo-waardig zijn. De commissie kan die taak ook uitbesteden aan een toetscommissie.

Als aan al deze waarborgen is voldaan, kan een opleiding volgens amc eigenlijk geen onvoldoende meer halen bij de accreditatie. ‘Dat lijkt me heel onwaarschijnlijk’, zegt José Westerman. Ook Inge de Jong zegt geen voorbeelden te kennen van opleidingen die een onvoldoende halen terwijl de vier hierboven genoemde waarborgen functioneren.

Waarborgen bieden soms schijnzekerheid

Het probleem bij veel opleidingen is dat niet alle waarborgen even goed werken. Zelfs met bovengenoemde vier waarborgen is het niet altijd zo dat ook alle inconsistenties uit het afstudeerprogramma gehaald worden. Stel dat onafhankelijke beoordelaars na gedegen kalibratie een scriptie beoordelen, de examencommissie die scripties achteraf bekijkt en een panel van externe deskundigen die scripties en beoordelingen intensief beoordeelt. Dat klinkt goed, maar wat als een van de eindcompetenties ‘mondelinge vaardigheden’ is? Die toets je niet met een scriptie. Dus al is die scriptie nog zo goed, dan nog garanderen alle waarborgen om die scriptie heen niet dat een student voldoet aan alle eindkwalificaties.

Daarom is het wat amc betreft niet genoeg om alleen waarborgen in te bouwen bij de scriptie, maar moeten die over alle afstudeerwerken gaan. Ook een afstudeerassessment moet onafhankelijk beoordeeld en extern gevalideerd worden, bijvoorbeeld. ‘Als eindcompetenties ook op andere manieren worden getoetst dan met een scriptie, dan moet die toetsing aan dezelfde eisen voldoen als de scriptie’, zegt Westerman.

Bij een zorgmaster functioneerde in feite geen enkele waarborg naar behoren.

Volgens Westerman zou een goed functionerende examencommissie of toetscommissie de inconsistenties uit het afstudeerproces moeten kunnen halen. Maar aangezien bij 19 van de 20 opleidingen met risico’s op standaard 4 inconsistenties zijn gevonden, lijkt het er niet op dat de examencommissie daar overal even alert op is.

Als alles faalt

Bovendien krijgen deze commissies soms kritiek van amc op hun functioneren. Bij drie opleidingen leidt dat tot de situatie dat amc serieuze inconsistenties vindt én er een examencommissie is die niet kan bewijzen dat ze de afstudeerkwaliteit in de gaten houdt. Bij twee van deze drie opleidingen functioneerde de toetscommissie niet of nauwelijks, terwijl amc ziet dat bij deze opleidingen ook niet alle eindkwalificaties op hbo-niveau getoetst worden. Zelfs als studenten van deze opleidingen fantastische afstudeerwerken afleveren, kan niemand bewijzen dat ze alle competenties op hbo-niveau behaald hebben.

Bij een van deze twee opleidingen, een zorgmaster, functioneerde ten tijde van de audit in feite geen enkele waarborg naar behoren. De toetscommissie had geen plan en kwam op het moment van de audit, in 2016, niet langer bij elkaar. Er was toen ook geen onafhankelijke beoordeling van afstudeerwerk, er was in het verleden slechts één kalibratiesessie geweest en van externe validatie was ook geen sprake. Daarnaast zag amc verschillende beoogde eindkwalificaties niet terug in het afstudeerproces. Studenten leren vast van alles en misschien gaan ze als volleerde masters de deur uit, maar of ze ook leren wat de opleiding ze had willen leren, kan niemand op deze manier bewijzen.

José Westerman benadrukt dat inconsistenties en een gebrek aan waarborgen nog niet hoeven betekenen dat studenten een slechte opleiding volgen. ‘Je kunt dan niet bewijzen dat alle competenties op hbo-niveau zijn gehaald, maar omdat wij niet naar de inhoud kijken kun je ook niet zeggen dat we studenten de deur uitsturen met een diploma dat niet hbo-waardig is.’

Toch, zegt Westerman, ben je het ‘aan studenten verplicht om de kwaliteit van een opleiding te borgen’. Bovendien, zegt Inge de Jong, ‘zijn we een publieke organisatie, dus je hebt je ook gewoon te verantwoorden’. ‘En het gaat erom dat je je eigen kritiek organiseert’, zegt Westerman. ‘Als ik een auditrapport schrijf, laat ik dat ook door een ander tegenlezen. En amc laat zichzelf weer door een externe partij auditen. Anderen kunnen veel beter de zwakke plekken in je eigen werk blootleggen.’

Nog meer onvoldoendes op komst?

Vreest amc, na ibl en fysiotherapie, voor meer accreditatie-onvoldoendes? Westerman: ‘Je kunt aan onze verslagen zien dat we bij behoorlijk wat opleidingen meerdere risico’s zien op standaard 4. In die zin is het risico op onvoldoendes er. Maar ik voorzie niet dat we nu ineens massaal onvoldoendes gaan krijgen, nee.’

Voor een deel komt dat omdat de meeste opleidingen de waarschuwingen van amc serieus nemen, denken Westerman en De Jong. ‘Bij de meeste opleidingen heeft de waarschuwing wel effect’, zegt de laatste. ‘Niet altijd evenveel, en niet altijd genoeg om van rood (een ‘risico: moet verbeterd worden’, red.) naar geel (‘verbetering aanbevolen’, red.) te gaan, maar er is bijna altijd wel vooruitgang te zien.’

Amc ziet die vooruitgang als het een tot twee jaar na de audit terugkomt bij de opleiding voor een ‘monitor’. Daarbij onderzoekt amc of de eerder gevonden problemen verholpen zijn. Het is aan de opleidingen om met de opmerkingen van auditoren aan de slag te gaan.

‘Structureel probleem’

Sinds een halfjaar experimenteert amc met een nieuwe werkwijze, waarbij opleidingen voordat ze geaccrediteerd worden een gesprek aangaan met het college van bestuur. Amc bereidt dat gesprek voor. De dienst besprak deze nieuwe werkwijze met het college van bestuur kort nadat ibl haar onvoldoende had gekregen. In eerste instantie is het gesprek tussen opleiding en cvb vooral bedoeld als een mogelijkheid voor opleidingen om kritisch op het eigen functioneren te reflecteren, ‘maar mede naar aanleiding van de onvoldoende voor ibl is de focus op de accreditatierisico’s nadrukkelijker aanwezig’, vertelt Westerman.

Onvoldoendes vallen vrijwel altijd op standaard 4 en ook de kritiek van amc gaat veelal over standaard 4. Op standaard 3 (over toetsing en de examencommissie) is de kritiek in auditrapporten milder, laat staan op standaard 2 (kwaliteit van het onderwijsprogramma en de docenten) of 1 (de beoogde leerresultaten).

‘Opleidingen hebben structureel moeite om standaard 4 op orde te krijgen’, constateert José Westerman. Waarom is het zo moeilijk om te bewijzen dat je doet wat je belooft? Westerman: ‘Ik denk dat dat aan de aard van het onderwijs ligt. Het zit in de natuur van docenten om les te geven. Hoe breng je de stof over op de studenten, hoe begeleid je ze? Dat zit vooral in standaard 2. Dat gaat eerder goed, want daar zullen docenten veel meer door gemotiveerd worden.’ Standaard 4 daarentegen… ‘Ik denk dat het consistent inrichten, uitvoeren én verantwoorden van afstudeerprocessen vaak een sluitstuk is. Vergelijk het maar met de aandacht voor de begroting op Prinsjesdag. Allemaal groot nieuws. Maar wat lees je over verantwoordingsdag? Een kort artikeltje.’

Tekst: Olmo Linthorst
Illustraties: Katja Hermann