Op zoek naar de essentie #6: Leerdoelenjungle en rubrics-terreur, wie snapt het nog?
28 June 2023
Maak van beoordelen geen priegelwerk. Gebruik liever goeie voorbeelden en praat met collega’s over de standaarden die je als docent hanteert, betoogt Mark Smit in zijn zesde blog over de essentie van goed onderwijs. Kwaliteit meten is geen invuloefening.
Nog niet zo lang geleden geloofden we dat we de beoordeling van onderwijsonderdelen, vooral het afstuderen, konden dichttimmeren met zo gedetailleerd en uitgebreid mogelijke leerdoelen- en criterialijsten, beoordelingsrubrics en toetsmatrijzen. Het is een beetje een cultus geworden: de onderwijskwaliteit wordt afgemeten aan het detailniveau van de rubrics en de nauwkeurigheid van de formuleringen. Vaak wordt ook beweerd dat studenten recht zouden hebben op zo precies mogelijke informatie over waarop zij beoordeeld gaan worden.
Dat laatste is op zich terecht. Je mag studenten bij de toets niet verrassen. Ook wil je dat het een student vanaf het begin duidelijk is waar het naartoe gaat. Het is alleen de vraag of je dat doel bereikt met een vijf-punts rubric van drie pagina’s. Ook is het de vraag of de beoordeling er betrouwbaarder van wordt.
Dat denk ik niet. Lange, gedetailleerde rubrics zijn niet hanteerbaar voor studenten. En ze leiden af van de essentie van wat ze moeten kunnen: het in de praktijk integreren van kennis, vaardigheid en competentie.
Hooguit een enkele calculerende student gebruikt ‘m als een checklist, om het werk nog vlug op details aan te passen en zo een hoger cijfer binnen te slepen. Voor docenten is het beoordelen op zo’n waslijst veel te veel werk. Uiteindelijk ga je intuïtief vakjes in de rubric omcirkelen. En ja hoor … met een handig excelletje ernaast rolt het cijfer er op een tiende achter de komma uit. Het heeft de schijn van betrouwbaarheid en nauwkeurigheid, maar het is in de praktijk niet betrouwbaarder dan holistisch oordelen op je eigen professionele gevoel. Je beoordeelt met een gedetailleerde rubric namelijk niet het bovenliggende begrip, maar alleen de onderdelen. Het kost alleen veel meer tijd en de student leert er niet meer of beter van. Weg dus met die priegel-rubrics.
Maar hoe geef je een student dan wel bruikbare informatie over wat je verwacht? En hoe baseer je daar dan je oordeel op?
Het toverwoord is hier ‘voorbeelden’. Laat zien wat je vraagt. Het helpt om zowel een voorbeeld te geven van nét voldoende en zeer goed werk. Doe dat samen met collega’s. Zo slijp je je eigen kwaliteitsstandaard en behoed je elkaar voor het stellen van onrealistische eisen. Je ontdekt dan ook waarop je impliciet beoordeelt; vaak zijn dat niet veel meer dan drie punten. Die kun je als leidraad voor studenten zo algemeen mogelijk opstellen.
Nog mooier is het om studenten die zelf te laten ontdekken, of hen zelf aan te laten geven waarin het verschil tussen het goede werk en het net voldoende werk zit. Zo kweek je kwaliteitsbesef, bij studenten en bij jezelf. Dat is een veel productievere manier om studenten duidelijk te maken wat er verwacht wordt. Met een rubric als ‘instructie’ gaat je dat nooit lukken, hoe gedetailleerd en zorgvuldig geformuleerd ook.
Een andere weg naar doordachte eenvoud in het beoordelen, is handig gebruikmaken van het gegeven dat studenten met een voldoende of goed resultaat over het algemeen niet geïnteresseerd zijn in een uitgebreide onderbouwing.
Behaald is behaald, en dat is een plausibele gedachte die iedereen tijd en moeite bespaart. Dat geldt ook voor studenten die duidelijk te weinig hebben gedaan. Zij zullen niet verrast zijn met een onvoldoende. Het heeft geen enkele zin om uitgebreid terug te geven wat er allemaal ontbreekt en welke lichtpuntjes er misschien nog zijn. Daarmee feedback je de student alleen maar verder de put in. Het enige nuttige gesprek moet gaan over het studiegedrag: hoe voorkom je dit in de toekomst?
Een zorgvuldiger aanpak is alleen van belang wanneer het gaat om een zak-slaagbeslissing. Is het een 5 of een 6? Een O of een V? Je kunt jezelf veel tijd besparen door de inspanning op díe studenten te richten. En daarbij (alleen daarbij!) een collega mee te laten kijken.
Voor een student is een ‘net-onvoldoende’ veel beter te verkroppen als-ie weet dat er zorgvuldig naar is gekeken, en dat de vergelijking met een student die een ‘net-voldoende’ haalt eerlijk is gemaakt en helder uitgelegd wordt waarin dat verschil zat. Een drie-pagina rubric waar net een 5,4 uitkomt, eventueel op gevoel wat gecorrigeerd waardoor het ‘duidelijk’ een 5,3 is, heeft dat effect niet.
Al die inspanning om het verschil tussen een 7,7 of een 8,1 uit te leggen … het is de moeite echt niet waard.
‘Een holistische beoordeling (in plaats van het zetten van vinkjes aan de hand van een “analytische” rubric) vraagt echt iets anders van een docent/examinator. Die moet in een helder betoog en met bewijs het eigen oordeel onderbouwen. Dat is relevanter, leerzamer, rechtvaardiger. En het is zeker ook te doen als je je onderwijs goed inricht. Maar de docent moet ook een goed beeld hebben van wat er integraal getoetst moet worden. Een holistische beoordeling vraagt om oordeelsvermogen en doet (een veel heftigere) aanspraak op je integriteit als beoordelaar. “Eenvoudiger” toetsen vraag dus meer van de professionaliteit van docenten.’
Ernst Phaff, hoofddocent HRBS
‘Ik pleit voor toetsen als een zogenaamde masterchef. Ervan uitgaande dat wij, de ‘masters’, degenen zijn die het vak kennen en beheersen. Samen met een collega kijk je: hoe smaakt het, hoe ziet het eruit, welke ingrediënten heeft de student gebruikt, hoe heeft die gewerkt? En dan in gesprek met de student. Bij voorkeur vertelt zij waarom zij vindt dat zij een diploma verdient. Vanuit zelfvertrouwen en trots, en niet vanuit onzekerheid.’
Monique van den Heuvel, hoofddocent IvG
Meer blogs van Mark Smit
- Op zoek naar de essentie #1 – Te veel studenten zakken door onze angst dat ze onterecht slagen
- Op zoek naar de essentie #2 – Als een vak niet past, moet je het schrappen
- Op zoek naar de essentie #3 – Mag onderwijs soms ook leuk zijn?
- Op zoek naar de essentie #4 – Kan het een onsje minder met die volgepropte programma’s?
- Op zoek naar de essentie #5 – Waarom laten we studenten van die lange verslagen schrijven?
- Op zoek naar de essentie #6: Leerdoelenjungle en rubrics-terreur, wie snapt het nog?
- Op zoek naar de essentie #7: Hoeveel dwangmatige feedback kan een mens verwerken?
- Op zoek naar de essentie #8: Wie leest die giga-cursuswijzers eigenlijk?
- Op zoek naar de essentie #9: Laat roostersysteem en LMS niet het onderwijs dicteren
- Op zoek naar de essentie #10: Vind je het gek dat studenten zoveel moeten herkansen?
- Op zoek naar de essentie #11: Hoe zou je het zelf vinden om op al je werk schriftelijk te reflecteren?
- Op zoek naar de essentie #12: Je mag meer dan je denkt!
- Op zoek naar de essentie #13: Blind volgen van methodes is garantie voor tegenvaller
- Op zoek naar de essentie #14: Overbodige centralisatie – kunnen we niet beter zelf leren sturen?
- Op zoek naar de essentie #15: Grote cursussen maken het onderwijs ingewikkelder
- Op zoek naar de essentie #16: Hoe kwetsbaar kun je een programma maken?
Tekst: Mark Smit
Redactie: Olmo Linthorst
Illustratie: Marit Breuker
Vergeet daarbij niet dat het aantal vlieguren meespeelt in beoordelingswerk. Hoe meer uitwerkingen je gezien hebt, hoe beter je in staat bent kaf van koren te scheiden. Veel uitwerkingen gezien hebben, leidt tot het zien van de essentie. Je moet als het ware beoordelingsogen ontwikkelen. Die ogen krijg je pas als je veel uitwerkingen taxeert. Niet met perfecte beoordelingsformulieren (als die al bestaan). Criteria moet je je eigen maken. En kunnen lezen in gemaakt werk. Dus nieuwe docenten, gun jezelf de tijd om afstudeerwerkstukken, beroepsproducten, presentaties, e.d……te beoordelen.
Leestip: Feedback in de klas, van Stijn Vanhoof en Geert Speltincx (Lannoo Campus)
Eens met Rene! En daarnaast: bij de flexibele deeltijd verpleegkunde werken we met leeruitkomsten (luk) i.p.v. toetsen, waar formatieve feedback aan voorafgaat, gericht op de concrete vraag van de student. Voor we overgaan tot een assessment (eenmaal per OP) waarin de student bevraagd wordt op onderdelen van het met luk gevulde portfolio.
Arbeidsintensief? Ja. Interessant en prettig voor docent en student? Ja. Moeilijk? Nee. Vaag? Nee.
Als je vragen hebt over het werken met luk, laat ik je graag meekijken in onze flexkeuken 🙂
Tja. Waar ligt de lat?
Volgens BDB, BKE en SKE is dat constructive alignment, constructieve afstemming. Afstemming met wat? Andere opleidingen? Dezelfde opleidingen op andere hogescholen? Leeruitkomsten? Het werkveld? Of voelen we zelf wel aan, met enkele zinnen in rubrics als onderbouwing dat het wel goed zit met de competenties.
Eigenlijk is het gemakkelijker. Een hogeschool is een university of applied sciences. Dat wil zeggen dat op het eindniveau de student wetenschap moet kunnen toepassen (in het eigen domein).
Kan de student dat? Op een juiste manier. Heeft de student aangetoond dat de wetenschap is begrepen en onderbouwde afwegingen heeft gemaakt welke wetenschappelijke artikelen in dat specifieke geval toepasbaar zijn. Klaar als eens klontje: dat is de lat. En voor een ingenieursopleiding: is het ontwerp, onderbouwt, goed: dat is de lat.
– Je pleidooi voor voorbeelden vind ik sterk, maar misschien kan dit juist mooi gecombineerd worden ìn de rubric.
– Wat vind je van onderling beoordelen? Ik heb ervaren dat peer beoordelingen best betrouwbaar kunnen zijn en in ieder geval leerzaam.
– Dat studenten bij een voldoende geen interesse hebben in inhoudelijke feedback moeten we niet als uitgangspunt nemen maar bestrijden. Bijvoorbeeld door betrekken van frisse gebruikers, of externe opdrachtgever.
Hoi Erik, leuk dat je reageert!
– Een compacte rubric kan best helpen / is misschien wel onmisbaar, ook (juist) voor peer-feedback. Maar het is een balanceer-act waar we hier ook nog niet uit zijn: niet verzanden in details, wel duidelijk maken wat er in essentie begrepen moet worden. Ik denk dat het allerbelangrijkst is: Alle beoordelaars oordelen vanuit dezelfde intentie en kwaliteitsopvatting. Maar ja.. dat kost wel wat meer afstemming/kalibratie dan alleen het met elkaar eens worden over tekstjes in een rubric.
– Onderling summatief beoordelen heb ik geen goede ervaringen mee. Vergt heel veel – ik denk te veel – van onderling vertrouwen, openheid, veiligheid, belangeloosheid, etc. Wel goede ervaringen met peer-feedback, mits goed begeleid en zeker niet ‘meetellend’.
– Mijn ervaring is dat studenten eerder dan aan feedback (= ik vertel wat ik van jouw werk vind) behoefte hebben aan een prettig, leerzaam gesprek. Hoe heb je het ervaren, zie je zelf al wat je de volgende keer gaat doen, wat neem je mee, hoe zou ik het hebben gedaan als ‘deskundige’, etc.) Zodat je als student zelf tot verdiepende inzichten komt. Net zoals wijzelf eigenlijk als we ‘beoordeeld’ worden…
@Rene van Kralingen: bedoel je met ‘kaf van koren scheiden’ dat sommige studenten ‘koren’ zijn en andere ‘kaf’, of doel je op dat sommige resultaten al koren zijn en andere nog kaf? Ik hoop natuurlijk van harte dat laatste 😉