Ik wil hier enkele opmerkingen over maken. Voor een glashelder startpunt begin ik met de stelling dat meerkeuzevragen (MC) even subjectief zijn als kortantwoordvragen. Ik verdedigde deze stelling in 1977 tegenover een zaal met vooral stafleden van het Cito. Directeur Solberg van het Cito was dan wel heel verontwaardigd over deze aanval op het Cito-verdienmodel, maar had geen weerwoord. Het paper: https://benwilbrink.nl/publicaties/77KeuzevragenORD.htm
Het gangbare idee is dat MC objectief is omdat een machine het kan nakijken. Dat mag dan zo zijn, maar dat feilbare oordeel zit bij MC in de ontwerpfase, waar de ontwerper ‘goede’ en ‘foute’ alternatieven kiest. Een ‘eyeopener’ noemde mijn zaalvoorzitter Wim Hofstee dat, in direct antwoord op de verontwaardigde Solberg—ik stond zelf even met de mond vol tanden bij de Cito-agressie. En zo is dat. Het subjectieve oordeel van de ontwerper zit bevroren in de aangeboden alternatieven met bijbehorende scoresleutel. In de VS spreekt men bij multiple choice vragen dan ook wel over ‘frozen subjectivity’.
‘Eerlijk corrigeren’ bestaat o.a. uit bescherming tegen subjectiviteit. Zou je denken. Het CvTE denkt zo, want het CvTE perkt de ruimte voor een eigen oordeel maximaal in met modelantwoorden / correctievoorschriften (CV’s) waar je als leraar eigenlijk niet van af mag wijken. Het CvTE beschouwt CV’s als algemeen verbindende voorschriften in de juridische zin—tjonge jonge. Maar uit het MC-casus hierboven leren we dat een scoringssleutel niet objectief is, maar gestandaardiseerde (‘frozen’) subjectiviteit. En dat is bovendien tamelijk ernstig, omdat leerlingen bij MC niet de gelegenheid hebben om hun overweging te vermelden bij het aangekruiste, maar als ‘fout’ gesleutelde, alternatief. *) Nu biedt de wetgeving wel een uitweg bij evident juiste antwoorden die niet sporen met het CV, maar leraren zijn te beducht om daarvan gewoon gebruik te maken. Ook mondige leraren kunnen geïntimideerd zijn door dwingende CV’s, en goede antwoorden dan met ongelooflijke tegenzin fout rekenen. Over oneerlijk gesproken: het CvTE dwingt tot oneerlijkheid. [Leraar Ton van Haperen over het examen vwo-economie: https://twitter.com/tonvanhaperen/status/1671482490526085122 ]
*) Het boek ‘Studietoetsen’ van De Groot en Van Naerssen (1969) beschouwt ieder antwoord anders dan het als juist gesleutelde alternatief als zijnde geraden. Tamelijk bizar, niet? Maar dat is bij het CV van het CvTE niet anders: alles wat daar niet in past, is een gok van de leerling die maar wat opschrijft—0 punten.
standaardiseren
Het algemene principe is hier, evenals in artikel 1 van de Grondwet, dat standaardiseren eerlijk is bij gelijke gevallen, maar oneerlijk is in de mate waarin gevallen niet gelijk zijn: waarin relevante persoonlijke omstandigheden niet aan bod kunnen komen. Zo’n relevante persoonlijke omstandigheid kan het creatieve maar wel degelijk correcte antwoord zijn dat niet spoort met het CV of met de MC-scoringssleutel. We mogen vermoeden dat standaardiseren ten koste gaat van studenten die juist méér kennis van het betreffende onderwerp hebben en daardoor tot een ander dan het beoogde antwoord komen. ‘Is de baan van de Aarde om de Zon cirkelvormig?’
leraar expert-beoordelaar
De vakleerkracht die examens corrigeert is expert-beoordelaar. Het CvTE vergeet dat wel eens, hè! Dan gaat het om het oordeel of een gegeven antwoord correct is, of niet. De vakleerkracht kan dat, moet dat ook beoordelen, en moet daarbij niet gehinderd zijn door een dwingend CV. Of een antwoord 1 danwel 2 punten waard is: daar gaat het schuiven. Over eerlijkheid van een eindoordeel voldoende/onvoldoende, slagen/zakken, wil ik het in dit stuk niet hebben.
Vanwege de eerlijkheid, of om fraude tegen te gaan, is er bij ieder CE een tweede beoordelaar. Idealiter zou de tweede beoordelaar onafhankelijk van de eerste beoordelaar moeten werken, maar dit terzijde. Wat nu is eerlijk, in het geval dat de beide oordelen verschillen? Ik heb deze vraag aan de staf van het Cito voorgelegd, in 1994, in deze vorm:
Don Mellenbergh en Wim van der Linden kijken onafhankelijk van elkaar een tentamen psychometrie na en geven daar een cijfer voor. Het juiste eindcijfer uit de twee gegeven cijfers is het
- laagste
- hoogste
- gemiddelde.
NB: Don en Wim zijn hoogleraren psychometrie. Zie voor discussie: https://benwilbrink.nl/publicaties/94AlgemeenToetsmodelCITO.htm
Ik roep het doeltreffendheidsbeginsel van A.D. de Groot (1970) in: de belangrijkste kwaliteitseis voor toetsen en examens is dat zij door leerlingen doeltreffend zijn voor te bereiden [https://benwilbrink.nl/publicaties/70degroot.htm]. Het is een beginsel met krachtige consequenties. Zo ook in dit geval: leerlingen kunnen zich onmogelijk doeltreffend voorbereiden op verschillen van inzicht tussen hun beoordelaars. Daarom hebben zij recht op het meest gunstige expert-oordeel: alternatief b. Zij hebben het recht om niet afgescheept te worden met het gemiddelde. De leerling het voordeel van het verschil geven, dat is toch is toch niet zo gek? In het onderwijs kennelijk wel, al is er een belangrijk precedent waarin dit beginsel in een iets andere vorm gehuldigd is: de 12 jarige met een hogere eindtoetsscore dan overeenkomt met het advies van de school, mag om herbeoordeling vragen. Maar is dit niet gewoon de mening van Wilbrink over wat eerlijk is?
abbb
Als we onder ‘eerlijk’ verstaan wat in het algemeen rechtsbewustzijn als rechtvaardig wordt gezien, dan is het de bestuursrechter die zich over die eerlijkheid in specifieke situaties zal uitspreken. Job Cohen heeft het uitgebreid behandeld in zijn proefschrift ‘Studierechten’ van 1981, dat nog steeds de bron bij uitstek is. (scans zijn op mijn website beschikbaar https://benwilbrink.nl/projecten/toetsvragen.8.htm). Over algemene beginselen van behoorlijk bestuur [abvbb], die hij wist te vertalen naar algemene beginselen van behoorlijk onderwijs, een paraplu waaronder ook eerlijk nakijken valt. Voorbeelden zijn: fair play, vertrouwen, redelijkheid, proportionaliteit.
Cohen besprak situaties in het WO, waar studenten zich met hun bezwaren konden en kunnen wenden tot een Commissie van Beroep voor de Examens (CBE). Voor examens in het VO is de situatie een iets andere: daar is geen behoorlijke beroepsregeling van kracht, eerder het tegendeel. Maar de gang naar de rechter valt toch te proberen. Maar welke rechter, de civiele of de besuursrechter? In een recent casus sprak de Hoge Raad uit dat bij problemen met de correctie (of ander examenongerief) de leerling zich kan/moet wenden tot de directeur van de school, en eventueel daarna de burgerlijke rechter. https://uitspraken.rechtspraak.nl/#!/details?id=ECLI:NL:PHR:2019:509 In dit bijzzonder interessante arrest beschrijft de Hoge Raad ook uitvoerig de besluitvorming over examenuitslagen, heel handig, bekijk dat eens. Maar overigens is dit arrest gekmakend van de juristerij. Dat ligt niet aan de Hoge Raad, maar aan de wet (Algemene Wet Bestuursrecht [Awb, in het arrest]) die verbiedt dat ‘oordelen over kennen en kunnen’ aan de bestuursrechter worden voorgelegd. Betreed hier het Rijk van Kafka. In het kader van ons onderwerp: de Awb schrijft voor dat de leerlingen voor hun examens GEEN bescherming hebben van de bestuursrechter. Terwijl de burgerlijke rechter niet zo van die abbb’s is, en je daar een advocaat moet meenemen.
Hoe bizar is dit? Ik heb net besproken dat studenten in het HO met hun toets- en examenproblemen WEL toegang hebben tot het bestuursrecht, bij het CBE van de instelling, (Verpaalen 1978 ‘Beroep tegen examen en tentamen’; Cohen 1981 ‘Studierechten’; Van Berkel 2019 ‘Juridisch correct examineren’). Het uitsluiten van ‘beoordelen van kennen en kunnen’ berust, als ik het goed heb begrepen, op de gedachte dat rechters geen inhoudelijk expert zijn over geëxamineerde stof. Ik zie niet in waarom dit voor examens ineens een enorm probleem zou zijn: de rechter kan experts raadplegen, zoals te doen gebruikelijk. Maar goed, voor studenten in het HO levert deze beperking in de Awb geen probleem op, omdat hun toegang tot het recht via de specialistische CBE’s is gegarandeerd.
Een vergelijkbaar alternatief is er voor leerlingen in het VO echter niet, zij bungelen tussen welwillendheid van het CvTE en de grilligheid van de burgerlijke rechter. De wetgever heeft een gat in de wetgeving laten vallen.
Ik ben wat langer op dit arrest doorgegaan, omdat het nog eens duidelijk maakt dat het corrigeren van examens ook oneerlijk kan zijn omdat er geen behoorlijke regeling voor beroep is. Hoe vervelend dat kan uitpakken, laat het casus ‘En effet’ zien (waar het arrest van de HR deel vanuit maakt), dat ik veel uitvoeriger behandel in deze blog https://benwilbrink.wordpress.com/2017/09/20/examenonrecht-en-effet/. Een sterke regeling voor beroep, zoals in het HO wel bestaat, is als vorm van tegenmacht ook van belang voor de kwaliteit van de examens zoals door Cito en CvTE verzorgd.
meting, of steekproef?
Een examen is geen meting, maar een steekproef. De toevalligheden inherent aan de steekproef van examenvragen zijn echt aanzienlijk, en in beginsel ook kwantificeerbaar. **) Dit inzicht helpt om wat meer ontspannen tegenover subjectieve verschillen tussen beoordelaars te staan: die zijn waarschijnlijk altijd (veel) kleiner dan de mogelijke steekproefverschillen (zeg maar: stel dat deze leerlingen het examen van voorgaand jaar hadden afgelegd, hoe anders zouden hun scores zijn?).
**) kwantificeerbaar: Stel je ieder examen wiskunde voor als getrokken uit een enorme verzameling mogelijke examenopgaven. Veronderstel de stofbeheersing van de leerling als gedefinieerd op die verzameling: bijvoorbeeld 80% van die vragen zullen goed gemaakt worden. De voorspellende kansverdeling voor wat de score op het aankomende examen van 20 vragen zal zijn is onder dit eenvoudige model de binomiaalverdeling (0,8; 20). Die verdeling geeft zelfs een geflatteerd gunstig beeld, want in werkelijkheid kent niemand de ware beheersing, en zit ook daar een onzekerheidsmarge omheen. Meer info: https://benwilbrink.nl/projecten/spa_project.htm
Het is mogelijk om steeds meer tijd en middelen in de ‘eerlijkheid’ van een examen te steken: door het examen te verlengen en dan ook meer vragen te kunnen stellen; door een tweede corrector het werk nog eens te laten beoordelen; door MC te vervangen door open vragen. Bedenk wel dat de kosten behoorlijk kunnen oplopen: uiteindelijk moet dan de afweging zijn of die extra tijd niet beter aan onderwijs zelf kan worden besteed. Want onderwijs is het directe belang, ook van de leerlingen zelf. Steel geen onderwijstijd van leerlingen. [Hoeveel tijd besteden leraren: https://nl.teachertapp.com/examens-2023/ tot wel 2 uur per leerling.] Deze overweging is ook voor het examen zelf van belang: wanneer dat examen een groot deel van de onderwijstijd in de laatste schooljaren opslokt, zijn we er niet goed mee bezig. ***)
De beoordeling van examenwerk kan mogelijk doeltreffender en doelmatiger door minder nauwkeurig te werken: bij een globale blik constateren dat een gegeven antwoord oké is, of evident niet oké, dat kan aanvaardbaar zijn. Zeker in combinatie met een fatsoenlijke regeling voor inzage in het beoordeelde examenwerk, die er onder alle omstandigheden toch al dient te zijn. En een eenvoudige regeling voor bezwaar voordat het bevoegd gezag de uitslag van het examen vaststelt. Beoordeel altijd in het voordeel van de leerling, ook al omdat de leerling er zelf niet bij is om toelichting te kunnen geven.
Eerlijk corrigeren is onderdeel van eerlijk toetsen is onderdeel van eerlijk onderwijs. Er is nog veel te doen om onderwijs eerlijker te maken. ‘Eerlijk’ is meer dan ‘gelijke kansen’. Een uitdaging dus ook.
Fair schooling & assessment 