Examenonrecht ‘en effet’

• Het te bespreken probleem ligt besloten in het correctievoorschrift voor vraag 15 in het examen Frans vwo 2017 (eerste termijn) https://www.examenblad.nl/examen/frans-vwo/2017/vwo
• Bij deze blog. Dit stuk vooronderstelt kennis van het wereldje rond onze eindexamens. Zo ga ik hier niet uitleggen wat een N-term is. Wie daar meer over wil weten: zoek hier: http://www.wiskundebrief.nl/, of het rapport van Hoijtink & Sijtsma uit 2009, hierbeneden. De voorzieningenrechter heeft het kort samengevat in zijn vonnis in de zaak ‘en effet’, de aanleiding voor al dit rumoer: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBMNE:2017:4334
• Een eigenaardigheid in het volgende is dat ik graag verwijs naar eigen publicaties uit een ver verleden. Toch zijn die verwijzingen strak functioneel in het betoog, sla ze er dus vooral ook op na.

Ameling Algra, oud medewerker van het College voor Toetsen en Examens (CvTE),  geeft in de WiskundE-brief http://www.wiskundebrief.nl/785.htm#2 uitleg over de zorgvuldige, eerlijke en rechtmatige procedures van het CvTE bij achteraf gebleken problemen met bepaalde examenvragen. Het is een belangrijk stuk, want het CvTE is nogal gesloten over de eigen werkwijzen. Alle dank voor deze bijdrage aan het debat over het CvTE en zijn methoden. Een contra-expertise kan natuurlijk niet uitblijven, al was het maar omdat het vonnis van 28 augustus in de zaak ‘en effet’ veel vragen heeft opgeroepen. https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBMNE:2017:4334  Redactioneel commentaar van de NRC: “Het [CvTE] blaast zichzelf op als het moddert met examens en examinandi.” https://www.nrc.nl/nieuws/2017/08/28/gezakt-met-het-eindexamen-frans-kan-de-rechter-niet-uit-de-voeten-12710748-a1571352 Sterker contrast met Algra is nauwelijks denkbaar, dus hoe zit dat?

‘Het recht van de examenkandidaat van vlees en bloed als uitgangspunt’, schrijft Algra. Maar wat is dat recht? Algra zwijgt erover. Laat ik iedereen meteen uit de droom helpen: de examenkandidaat die haar recht wil halen, moet met een advocaat naar de burgerlijke rechter stappen. Dat is in het ho echt anders, de wetgever heeft daar voorzien in colleges van beroep voor de examens.

De burger in conflict met een overheid kan in beroep volgens de ‘Wet administratieve rechtspraak BES’. Je zou denken dat de examenkandidaat in conflict met het CvTE daar dus ook beroepsrecht heeft, maar helaas, de wetgever sluit dat uit (art 7 lid j). http://wetten.overheid.nl/BWBR0028455/2015-01-01   Mijns inziens berust die uitsluiting op misvattingen over examens en hun mogelijke problemen; laat de politiek eindexamenkandidaten dezelfde rechten op bezwaar en beroep geven als in het ho bij wet geregeld, kwestie van gelijke behandeling toch?

• Nota Bene. Het Hof Arnhem heeft in februari 2018 uitspraak gedaan in de bodemprocedure https://www.recht.nl/rechtspraak/uitspraak/?ecli=ECLI:NL:GHARL:2018:1817 Voor mij, en velen met mij, was de uitspraak een stevige verrassing omdat het Hof oordeelde dat in dit conflict de gang naar de bestuursrechter openstond. Dus in weerwil van wat de wet stelt, omdat in de wet slechts sprake is van uitsluiting bij conflicten over inhoudelijke beoordeling. In een casus als het onderhavige kan de leerling zich wenden tot de directeur, die dan weer doorverwijst naar de bestuursrechter, of zoiets. Zie ook de regeling die het CvTE en minister Slob in mei 2018 vaststelden voor gevallen waarin er correctie achteraf nodig is, en dat dan volgens het CvTE kan gebeuren door aanpassing van de N-term. Over de onderbouwing van die regeling is begin juni 2018 grote onrust ontstaan. Overigens stelde Roelof Bisschop in maart al kamervragen naar aanleiding van de uitspraak van het Hof Arnhem, antwoorden mei 2018.

Wat volgt hieruit? Dat het recht van eindexamenkandidaten een zwart gat is, maar dat het, wanneer het geregeld zou worden, onder enige systematiek van het administratief recht zal vallen: volgens art. 9 lid 1b in die wet, kan beroep worden ingesteld ‘ter zake dat de beschikking in strijd is met: een algemeen rechtsbeginsel’. Aha. Hier betreden we een terrein dat het CvTE onbekend lijkt te zijn, maar dat wel de kern is van bijvoorbeeld de studierechten (in het wo) zoals door Job Cohen in zijn proefschrift beschreven, anno 2017 nog steeds hèt handboek voor onderwijsrecht bij toetsen en examens. Volledige tekst:  http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981.

Algemene rechtsbeginselen zijn geen wetten, maar beginselen zoals die in het algemeen rechtsbewustzijn van u en ik leven. Ik noteerde ze 40 jaar geleden al eens, met dank aan Peter Nicolai (bestuursrecht): http://benwilbrink.nl/publicaties/77CesuurbepalingCOWO.htm#6.1. Cohen droeg het verder: het recht krijgt hier immers vorm in de jurisprudentie, en die behandelt hij in zijn proefschrift (gescand): http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981. Dat gaat weliswaar maar tot 1980, maar de aard van het beestje is dat die rechtsbeginselen nog steeds dezelfde zijn: zoals fair play, rechtszekerheid, motivering, verbod van willekeur, gelijkheid, geen misbruik van bevoegdheden.

Oké, wat we nu gewonnen hebben is een taal, een juridisch kader bovendien, waarin  examenkwesties zinvol te plaatsen en te analyseren zijn. Dus ook de praktijk van het CvTE zoals Algra die schetst. Ik geef mijn analyse in de vorm van vier stellingen; ik ben tenslotte geen jurist, maar een eenvoudige examenexpert. Of zoiets. Hoewel: het is prima om eerst op het eigen rechtsgevoel af te gaan, en dat dan thuis te brengen bij deze algemene beginselen van behoorlijk bestuur.

Stelling 1. De N-term gebruiken om achteraf gebleken scoringsproblemen te corrigeren is misbruik van de bevoegdheid om te equaten.

Toelichting: De wetgever maakt in http://wetten.overheid.nl/BWBR0025364/2014-08-01 helder onderscheid tussen de taak om antwoorden te beoordelen (scoren) in art. 2.2d en de taak om voor van jaar tot jaar vergelijkbare cijfers te zorgen (equaten, CvTE doet dat met vasstellen van een N-term) in art. 2.2e. Het CvTE gooit de systematiek van de wetgever door elkaar door bevoegdheid 2.2e te gebruiken voor problemen die met de bevoegdheid 2.2d aangepakt moeten worden. Anders gezegd: het CvTE handelt met zijn N-term-beleid in strijd met de wet.

NB (2020). Ik heb iets over het hoofd gezien waarvan de consequenties nog niet in deze blog zijn verwerkt, namelijk een uitwerking van de taak van 2.2.d, uit de koker van het CvTE zelf maar dus wel als wet vastgelegd (ik vind het maar niks, vanuit democratisch oogpunt; toch eens een keer uitzoeken hoe dit soort dingen dan gaan): Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015 https://wetten.overheid.nl/BWBR0036359/2020-03-17 Het gaat om art. 7.4, waarin het CvTE wettelijk vastlegt dat zijn gekluns met cijfergeven en tegelijk equaten helemaal oké is.  Bizar.  Afijn: “Het is niet toegestaan zelfstandig af te wijken van het beoordelingsmodel. Met een eventuele fout wordt bij de bepaling van het cijfer voor het centraal examen zoals bedoeld in artikel 2, tweede lid onder e, van de wet College voor Toetsen en Examens, rekening gehouden.” Het absurdistische van de laatste zin is dat het CvTE de correcte scoring (2.2.d) gewoon overslaat, en evenmin het correctievoorchrift corrigeert (check dat maar op Examenblad, ha ha). Volstrekte miskenning ook van de professionaliteit van leraren. Vergeet art. 10 niet: “Het College voor Toetsen en Examens of de voorzitter, kan, de voorzitter van de betreffende vakcommissie gehoord, beslissen dat voor een of meer opdrachten aan alle kandidaten het maximale aantal scorepunten of ten minste een aantal kleiner dan het maximum aantal scorepunten wordt toegekend.”

Zie: Het CvTE (13 juni 2017). “Voor de duidelijkheid: leerlingen maak je geen zorgen. Als er fouten worden geconstateerd in examens, dan repareren we dat met de N-term”. https://twitter.com/hetcvte/status/874675232921067520 Ik schreef in antwoord daarop: https://twitter.com/benwilbrink/status/874753094659317761 “Pieter, repareren met N-term doet geen recht aan het ontstane onrecht. Download hier het proefschrift van Job Cohen:” http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981  Het bleef stil.

Stelling 2. Opnieuw vaststellen van de N-term na de N-term-aanpassing wegens compensatie is willekeur, immers zie stelling 1.

Stelling 3.  Op zich is compensatie van scores/cijfers (tja, het is een warboel) via de N-term in strijd met het gelijkheidsbeginsel: ongelijke gevallen worden ten onrechte gelijk behandeld.

Toelichting. Een aanpassing van de N-term geeft ALLE examenkandidaten extra/minder punten, ook al zijn deze gevallen evident ongelijk. De strekking van het beginsel is gelijke gevallen gelijk te behandelen, en ongelijke gevallen naar de mate van hun ongelijkheid. Dat is een nuance anders dan de formulering in artikel 1 van de Grondwet, maar daar gaat het dan ook om uitsluiten van discriminatie.

Anders gezegd: als bij een beroep van een enkele kandidaat geen andere kandidaten zijn betrokken, laat die er dan ook buiten. Ook al heeft de helft van de kandidaten ‘en effet’ als antwoord gegeven: neem daar een op zich passende maatregel voor, nodig kandidaten die daardoor net zijn gezakt uit om zich te melden (hooguit een handvol?).

Stelling 4.  In een individueel geval compensatie voor een erkende fout weigeren is puur onrecht. Weigeren wegens die N-term-correcties, zoals in het casus ‘en effet’ is bovendien  willekeur (want zie stelling 1. & 2.).

Een probleem van andere orde, want lastig door examenkandidaten aan te klagen, is de manier waarop het CvTE zich van zijn taken kwijt. Ik kan dat hier niet verder behandelen, maar de stelling is dat het door het CvTE najagen van ‘objectiviteit’ bij het scoren van examens   over de top is, schadelijk voor de kwaliteit van de examens, en dus ook van het onderwijs. En vernederend voor de leraren. CvTE-voorzitter Pieter Hendrikse (1-9-2017): ”Betrokken docenten en toetsexperts dienen unisono tot conclusies te komen.” In https://www.cvte.nl/actueel/weblog/weblogberichten/2017/unisono-kanttekeningen-bij-een-kort-geding Dat is echt niet realistisch. Gelukkig geeft Hendrikse hier ook aan over deze problematiek het gesprek aan te zullen gaan.

Dit stemt allemaal niet vrolijk. De voorzieningenrechter heeft het gerommel van het CvTE voorlopig gedekt. Het zou een goede zaak zijn wanneer er een hoger beroep komt waarin de schijnwerpers op de door formalistische regels afgedekte willekeur van het CvTE zijn gericht. Misschien kan het LAKS hier een initiatief in nemen, en zich verstaan met advocaat Brussee. Ondertussen kan het CvTE zijn knopen tellen, en zorgen dat de eigen expertise op behoorlijk peil komt.

Stelling 5. Het door het CvTE najagen van ‘objectiviteit’ bij het scoren van examens   is  over de top, schadelijk voor de kwaliteit van de examens, en dus ook van het onderwijs.

In het onderwijs is perfecte overeenstemming tussen onafhankelijke beoordelaars een illusie. Tegen beter weten in jagen velen dat toch als een ideaal doel na, door de leerstof in kinderachtige kleine brokjes op te knippen, open vragen te vervangen door meerkeuzevragen, en zelfs door beoordelaars te trainen in het consequent toepassen van bepaalde beoordelingscriteria. Allemaal kunstgrepen die het onderwijs en zijn leraren in procrustesbedden persen/hakken/rekken.

Voor meerkeuzevragen is het, na even nadenken, toch evident dat ze niet objectief zijn. De Amerikanen zeggen dat het hier om frozen subjectivity gaat. Herken dat maar als willekeur.   Ik heb het al in 1977 uit mogen leggen aan een zaal waarin vrijwel de hele staf van het Cito zat te popelen om mij van weerwoord te dienen:  http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm Is het inderdaad willekeur? Ja, want vooral betere kandidaten bedenken nogal eens originele interpretaties en oplossingen, om er genadeloos (want ‘objectief’) op afgestraft te worden.

Het grappige is nu dat bij keuzevragen het goede alternatief is te zien als het modelantwoord, door CvTE scoringsvoorschrift genoemd.

Bij de meerkeuzevraag staat dat modelantwoord afgedrukt naast foute alternatieven, terwijl bij eindexamens de kandidaten het scoringsvoorschrift pas achteraf te zien krijgen. Examenopgaven zijn dus nog minder eerlijk dan de keuzetoetsvragen, zeker wanneer dat scoringsvoorschrift in de regelgeverij van het CvTE een algemeen verbindend voorschrift is: de docent die ervan afwijkt kan met loeiende sirenes worden afgevoerd naar de plaatselijke lik. Ik overdrijf, maar deze formalistische gekkigheid moet onmiddellijk stoppen. Alles staat op gespannen voet met het beginsel van fair play: achteraf pas te zien krijgen langs welke pseudo-objectieve meetlat je antwoord is gelegd; leraren de mond gesnoerd en in hun professionaliteit beknot.

Toch blijft er het probleem dat professionals in hun oordelen vaak verschillen, hoe kun je daarmee eerlijk omgaan? Zie het begin van mijn presentatie in het Cito, 1994, waar ene Don en ene Wim, superexperts, examenwerk onafhankelijk van elkaar verschillend beoordelen — u verwachtte het al: http://benwilbrink.nl/publicaties/94AlgemeenToetsmodelCITO.htm  Omdat van examenkandidaten niet verwacht mag worden dat zij verschillen in expert-oordelen kunnen voorspellen, is een gouden regel de kandidaten het voordeel van het verschil te geven: hoogst gegeven oordeel telt. Dat is fair play.

Het CvTE heeft hiermee te maken, het zou mooi zijn wanneer het CvTE de kwaliteit van examens verder helpt, in plaats van een unieke eigen wijs te fluiten zoals door Algra en Hendrikse beschreven.

nieuws

Ingrid van Engelshoven (21 december 2017). Aanbieding onderzoekskader van de Inspectie van het onderwijs. pdf

• Hierbij bied ik u aan, mede namens de Minister voor Basis- en Voortgezet
  Onderwijs en Media, het vernieuwde onderzoekskader voor het toezicht op het
  College voor toetsen en examens (CvTE). Het onderzoekskader zal op 1 januari
  2018 in werking treden.

meer nieuws

Uitspraak in beroep, door het gerechtshof Arnhem-Leeuwarden 27 februari 2018 http://deeplink.rechtspraak.nl/uitspraak?id=ECLI:NL:GHARL:2018:1817

• Het bijzondere van ons bestuursrecht is dat het beoordelen van de kennis van leerlingen expliciet is uitgesloten van beroep [Algemene Wet Bestuursrecht artikel 8:4 lid 3]. Ik heb dat altijd zo begrepen dat er bij wet dus helemaal geen behoorlijke beroepsprocedure is, maar daar heeft het hof een heel ander inzicht bij. Het hof legt in 3.17 uit dat dit bovendien ‘vaste jurisprudentie van de Afdeling bestuursrechtspraak van de Raad van State’ is. Prachtig, weer iets geleerd.
  • 8.4 lid 3 Geen beroep kan worden ingesteld tegen een besluit:

    b. inhoudende een beoordeling van het kennen of kunnen van een kandidaat of leerling die ter zake is geëxamineerd of op enigerlei andere wijze is getoetst, dan wel inhoudende de vaststelling van opgaven, beoordelingsnormen of nadere regels voor die examinering of toetsing

  Het hof maakt een onderscheid tussen inhoudelijk oordeel, en cijfergeving etcetera. [Dat zijn ook afzonderlijke bevoegdheden van het CvTE: respectievelijk artikel 2.2d en 2.2e, zie hierboven in de blog] Het conflict gaat over het handelen van het CvTE bij het corrigeren van een door het CvTE gemaakte fout, niet over een inhoudelijk oordeel (partijen zijn het eens dat ‘en effet’ een goed antwoord is).
  De voorzieningenrechter had dit ook kunnen zien, dat zou voor iedereen wel zo prettig zijn geweest. Voor mij (en anderen) sensationeel: in de praktijk kunnen veel examenklachten, ondanks art 8:4 lid 3, aan de bestuursrechter worden voorgelegd. Benieuwd of die er ook zo over denkt. Ha, we gaan het weten: de Hoge Raad buigt zich over deze zaak.
  Het gaat er dus op lijken dat voor examenkandidaten dezelfde beroepsmogelijkheden bij de bestuursrechter openstaan, die studenten in ho en wo hebben bij hun College van Beroep voor de Examens CoBEx (er is ook een landeijk college van beroep hoger onderwijs https://www.cbho.nl). Die colleges verklaren zich evenmin ontvankelijk voor inhoudelijke meningsverschillen. [Het moet niet te gek worden, in uitzonderlijke gevallen kan een CoBEx wel degelijk een hoogleraar opdragen opnieuw te beoordelen; aan de UvA heeft Heertje in een dergelijk casus de zaak op de spits gedreven. Lang geleden, dat wel.]
  Met andere woorden: voor hun rechten van beroep bij examens kunnen leerlingen te rade gaan bij jurisprudentie van die CoBEx-instanties, zoals bijv. uitvoerig besproken in het proefschrift van Job Cohen scans en in de vaste rubriek examenjurisprudentie in ‘Examens, Tijdschrift voor de Toetspraktijk’ (website). En natuurlijk ook de uitspraken die iedere CoBEx publiceert.

  Het onderscheid tussen inhoudelijk beoordelen en andere zaken (cijfertoekenning) zit overigens helder in de wet op het CvTE, als van elkaar onderscheiden bevoegdheden art. 2.2d en 2.2e, zie hierboven in de blog. De enige partij die dat niet scherp op het netvlies heeft staan: het CvTE.

  Van groot belang is 3.21 waar het hof constateert dat bij de examenuitslag ten onrechte niet is aangegeven dat beroep op de beslissing openstaat bij de directeur van de school (en dan verder naar de bestuursrechter, want de directeur is met handen en voeten gebonden aan de voorschriften van het CvTE). Voortaan zal deze mogelijkheid van beroep dus bij iedere examenuitslag vermeld moeten worden. En als ik het goed begrijp dus ook bij beslissingen zoals zittenblijven (zie immers de tekst van AWB 8.4 lid 3b).

nieuws september 2019

Arrest Hoge Raad: ECLI:NL:HR:2019:1243 hier Parket bij de Hoge Raad, 19-04-2019, Datum publicatie 17-05-2019, Zaaknummer 18/01668

• Inhoudsindicatie
  Onrechtmatige overheidsdaad. Onderwijsrecht. Bevoegdheidsverdeling burgerlijke rechter en bestuursrechter. Vordering tot verandering cijfer eindexamen. Beoordeling aan de hand van normen College voor Toetsen en Examens en de mogelijkheid om deze normen te laten toetsen door de bestuursrechter. Art. 8:4 lid 3, onder b, Awb.

nieuws juni 2018

Er is commotie ontstaan (zie referenties hierbeneden) rond nieuwe regelgeving van het CvTE waarin de omstreden procedure om via de N-term ongelukken met vragen en correctievoorschriften in het beton van de Staatscourant is gegoten. Het CvTE reageert 12 juni als volgt.

College voor Toetsen en Examens (12 juni 2018). De hoogte van de ophoging bij een onvolkomen vraag. pdf

Mirjam Remie (12 juni 2018). ‘Examen doen kan vroeger én vaker per jaar’
Pieter Hendrikse: Discussie over normering van de eindexamens zal er altijd zijn, zegt de voorzitter van het College voor Toetsen en Examens. nrc.nl blog

• Als een fout in het correctiemodel van een examen niet meer kan worden aangepast, worden leerlingen via de N-term gecompenseerd. De leerlingen die de vraag niet volgens het correctiemodel invulden, maar naar later bleek toch goed (zoals de scholiere van de rechtszaak) worden dan niet benadeeld. De leerlingen die de vraag wél volgens het correctiemodel invulden, krijgen eigenlijk een iets te hoog cijfer. Critici vinden dit oneerlijk: die eerste groep leerlingen had de vraag immers óók goed. Hendrikse benadrukt dat de compensatieregeling al jaren geldt. „We hebben de formule onlangs alleen uitvoeriger uitgelegd.”

  Leraren en wiskundigen zeggen: technisch gezien is de regeling misschien juist, maar moreel niet.

  „Ons startpunt is dat geen enkele leerling benadeeld mag worden door een onvolkomen vraag. Daaraan voldoet dit beoordelingssysteem. We hebben dat de afgelopen jaren meerdere malen door deskundigen laten beoordelen; ook de rechter heeft vorig jaar vastgesteld dat we onze procedures correct toepassen. Maar dan nog zullen er altijd mensen zijn die de aanpak niet goed vinden. Er zal altijd discussie blijven.”

Ben Meindertsma en Kysia Hekster (9 juni 2018). ‘Compensatie voor fouten in eindexamens deugt al jaren niet’. NOS. blog

• Kneyber (…): “Leerlingen die de vraag goed hadden beantwoord, willen helemaal niet dat die vraag geschrapt wordt. Ze willen dat de vraag goed wordt gerekend, net als bij leerlingen die de vraag goed hadden volgens het correctiemodel.”
• Wiskundige Gerard Koolstra, uitgever van een wiskundenieuwsbrief, schreef vorig jaar al dat “het principe dat geen kandidaat de dupe mag worden van fouten door examinerende instanties met voeten wordt getreden”.

• Het CvTE legt de eigen krankjoreme regeling nog eens helder uit:
• De CvTE zegt in een reactie dat het wil dat “alle leerlingen uiteindelijk een cijfer krijgen dat minstens gelijk is aan het cijfer dat ze zouden hebben gekregen als de onvolkomen vraag niet in het examen had gezeten”.

  Met andere woorden: in de berekening [bedoeld wordt: herberekening van de N-term, niet een herberekening van de puntentelling! b.w.] wordt de vraag waar een fout in zat geschrapt, en iedereen krijgt op basis daarvan een iets hoger cijfer. Hierdoor hebben de mensen die de vraag oorspronkelijk goed hadden geluk, zij krijgen een iets te hoog cijfer. De mensen die hun vraag volgens het correctiemodel fout hadden, maar eigenlijk goed, ondervinden geen nadeel omdat de vraag in de berekening geschrapt is.

Regeling van het College voor Toetsen en Examens van 16 mei 2018, nummer CvTE-18.00853, houdende wijziging van de Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015 en de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 in verband met explicitering van de wijze van compensatie voor fouten of onvolkomenheden via de normeringsterm. Staatscourant 31384. webpagina

Gerald Bruins en Remco van Mulligen (7 juni 2018). Correctieregel helpt leerling niet. Een nieuwe wettelijke regeling voor het afrekenen met fouten in de beoordeling van eindexamens leidt tot onrechtvaardige behandeling van kandidaten. artikel

• Het CvTE is uitstekend op de hoogte van bezwaren die er bestaan tegen het geklungel met gebruik van de N-term om in individuele gevallen zogenaamd eerlijk te corrigeren—ik heb de voorzitter bij herhaling en publiekelijk gewaarschuwd, en ook mijn blog over de zaak ‘en effet’ moet het CvTE hebben bereikt. En toch heeft het CvTE het volgende laten weten
• De organisatie zegt zich niet te herkennen in de kritiek op de compensatieformule. ‘Ons hebben nog geen vragen – van kenners – bereikt, maar als dat wel gebeurt, zullen wij die graag beantwoorden.’

René Kneyber (30 mei 2018). De gang naar de rechter is – opnieuw – niet uitgesloten om voor het Franse examen te slagen. Trouw column

• Op het vwo-examen Frans van vorig jaar was de beruchte vraag 15, waarbij er twee antwoorden goed waren: ‘Il s'(agit)’ en ‘en effet’, maar van het CvTE mocht alleen ‘Il s'(agit)’ goed gerekend worden. In tegenstelling tot de koe-met-de-jurk-vraag hield het college om onbegrijpelijke redenen hier hun poot wél stijf. En toen kwam er media-ophef. De Inspectie begon vragen te stellen. Op de dag van de examenuitslag gaven ze alsnog hun fout toe: ‘en effet’ was toch goed.

  Maar nu komt het. Ze pasten niet het correctiemodel aan, daar was het te laat voor. Ze losten het op in de normering, waardoor een leerling die benadeeld werd door deze fout in het correctievoorschrift er niet 0,2, maar slechts 0,1 punt bij kreeg.

René Kneyber (8 juni 2018). N-term (deel 2): Compensatie via de N-term.
blog

We weten nu dus ook hoe het kan dat de rekentoets, de ‘Fyra van het onderwijs’ (Ronald Buitelaar), zo jammerlijk is mislukt: het CvTE is niet in staat een context behoorlijk te vertalen naar een model. Excuus, ik kon het niet laten 😉
Ik heb hierboven geschreven dat de CvTE-regeling krankjorum is. En dat is hij. Wanneer achteraf blijkt dat fout gerekende antwoorden toch goed zijn, zit er niets anders op voor de instantie die verantwoordelijk is voor de examens dan de score te corrigeren, zonder mist te blazen met herberekeningen van de N-term. Ik heb hierboven al uitgelegd dat deze werkwijze van het CvTE in strijd is met de bevoegdheden die het College bij wet zijn toebedeeld. In hoeverre met de publicatie in de Staatscourant van deze bizarre regeling daarin verandering is gekomen, is mij niet duidelijk. Bij wettelijke regeling bepalen dat 2 + 2 = 5 lijkt mij toch vatbaar voor onmiddellijke vernietiging door de rechter. Een flagrant ondeugdelijke procedure correct uitvoeren is wat onder ons gezegd en gezwegen een oxymoron heet — helaas dacht de voorzieningrechter daar anders over, die vond het wel oké zo, en daar doet het CvTE dan weer zijn eigen bedrieglijke voordeel mee. In wat voor land leven wij? Ik zal een paar voorbeelden geven van hoe men elders met achteraf gebleken fouten omgaat.

Linda Jacobson (September 20, 2004). Scoring Error Clouds Hiring Of Teachers. bericht

• The mistakes made by the Educational Testing Service that led thousands of teacher-candidates to believe they had failed the Praxis II test also have added to the debate over how much reliance educators and policymakers should place on standardized exams to make high-stakes decisions.

ETS to Establish Fund for Damages in Teacher-Licensing-Test Mistake. bericht

• The Educational Testing Service has agreed to create a $11.1 million fund to pay damages to teachers who were given wrong scores on a licensing exam in 2003 and 2004, under the terms of a settlement disclosed last week.

(not dated) ETS Pays $11.1 Million to Settle Teacher Test Lawsuit. Fairtest. The National Center or Fair and Open Testing. page

• According to the terms of the legal agreement, test-takers who received erroneously failing scores can file a short form to receive about $500 each automatically or provide more detailed information to make larger monetary claims. The settlement fund is designed to cover “lost wages, decreased earning capacity, delayed graduation, personal injuries, mental anguish, psychological injury, incidental damages, humiliation and embarrassment, out of pocket losses and other forms of damages.” The settlement pool also makes an updated score report available for free to 23,000 other PRAXIS PLT candidates whose scores were also reported as inaccurately low but whose pass-fail status was not changed by correcting the error.

Kathleen Rhoades & Madaus (2003). Errors in Standardized Tests: A Systemic Problem. artcle

• The nature and extent of human error in educational testing over the past 25 years were studied.
• … well over 1.5 million students and 4,000 schools have been affected.

toevoegingen 26-10-2020

CvTE (14 juni 2017). Frans vwo: bij vraag 15 ‘en effet’ ook goed, compensatie 0,1. Zie: http://bit.ly/2tkAubI https://twitter.com/hetcvte/status/874884375950897157

CvTE (29 juni 2018). Beantwoording vragen uit de blog van Kneyber  https://t.co/EuILlCNEnj  [Word] of https://tinyurl.com/y39grl7l [pdf]

CvTE (12 juni 2018). De hoogte van de ophoging bij een onvolkomen vraag https://www.examenblad.nl/document/cvte-de-hoogte-van-de-ophoging-bij

CvTE (1 juni 2018). presentatie over normering https://www.youtube.com/watch?v=SYYFy1QIJso

Rechtbank Midden Nederland (28-8-2017). [kort geding ‘En effet’] https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBMNE:2017:4334

Ben Wilbrink (12 september 2017). Twitterdraad https://twitter.com/benwilbrink/status/907690964961120258

Hoe zien we Kafka aan de Utrechtse Rijn terug in de uitspraak van de voorzieningenrechter ( je kunt een beroep zo nooit winnen! ): pic.twitter.com/RTHCtHPGnm

— Ben Wilbrink (@benwilbrink) September 13, 2017

Deze blog 20 september 2017 gestuurd aan o.a. het CvTE en Pieter Hendrikse https://twitter.com/benwilbrink/status/910446687990280192 [Katinka Slump wijst erop dat het examen wordt afgenomen onder verantwoordelijkheid van de school! En dat blijkt in het verdere procesverloop ook van belang voor wie in beroep wil gaan: eerst bij de directeur van de school.]

Ben Wilbrink (23 augustus 2017). Tweets aan oa voorzitter CvTE: laat de voorzitter ingrijpen en dat punt toekennen. Het was natuurlijk wijs geweest voor de voorzitter om zijn discretionaire bevoegdheid te gebruiken, ipv het op een proces aan te laten komen. Heeft de voorzitter geen discretionaire bevoegdheid in complexe zaken zoals deze? Hoezo niet? Doe alsof die bevoegdheid vanzelfsprekend is. https://twitter.com/benwilbrink/status/900394079409799178

NOS (14 juni 2017). Kleine compensatie voor probleem bij eindexamen Frans https://nos.nl/artikel/2178153-kleine-compensatie-voor-probleem-bij-eindexamen-frans-vwo.html “De normeringsterm voor Frans op het vwo is 0,5. Dat betekent dat het examen relatief gemakkelijk was in vergelijking met andere jaren. Zonder de compensatie voor vraag 15, waar meerdere antwoorden mogelijk waren, zou het 0,4 zijn geweest.”

NOS (13 juni 2017) Inspectie wil uitleg over fouten examen Frans https://nos.nl/artikel/2178064-inspectie-wil-uitleg-over-fouten-eindexamen-frans.html

NOS (23 juni 2017). Koe met jurk in herexamen Frans: ‘erger dan echte examen’ https://nos.nl/artikel/2179600-koe-met-jurk-in-herexamen-frans-erger-dan-echte-examen.html “Een ander voorbeeld is een vraag uit het havo-herexamen, die ging over La vache qui rit, de lachende koe. “Charlotte Goulmy: Het College voor Toetsen en Examens (CvTE) wilde maar niet toegeven dat robe rouge in dit geval niet rode jurk, maar rode vacht betekende. De CvTE heeft toch 24 uur volgehouden dat de koe een jurk aanhad. Ze snapten de kritiek niet.”

Kysia Hekster (30 juni 2017 NOS). Boze docenten wijken af van antwoordmodel na ondermaats examen https://nos.nl/artikel/2180776-boze-docenten-wijken-af-van-antwoordmodel-na-ondermaats-examen.html “Adri van der Ven van het CvTE: Als oud-leraar kan ik me het wel voorstellen, je bent natuurlijk nauw betrokken bij je eigen leerlingen. Toch is het niet verstandig om die keuze te maken. Je kan zeggen: ik wil mijn leerlingen niet duperen. Maar over het hele land gezien krijg je wel een effect daarvan. De leerlingen in Nederland worden dan ongelijk beoordeeld, en dat wil je niet bij een landelijk examen.”

Het CvTE (ongedateerd). Veelgestelde vragen over de centrale examens in het voortgezet onderwijs. https://www.cvte.nl/veelgestelde-vragen/veelgestelde-vragen-centrale-examens-voortgezet-onderwijs “Komt een opmerking (die hout snijdt) te laat binnen om er nog een aanvulling over te sturen, dan wordt met de betreffende vraag rekening gehouden tijdens de normering. Doel van dit systeem is dat alle leerlingen zoveel als mogelijk op een gelijke manier worden beoordeeld. Uitgangspunt van het CvTE is dat leerlingen van een eventuele fout niet de dupe mogen worden. Als een fout wordt vastgesteld, beslist het CvTE altijd in het voordeel van de leerling.”

NRC (14 juni 2017). Inspectie stelt vragen over hoe klachten zijn afgehandeld. https://www.nrc.nl/nieuws/2017/06/14/eindexamen-frans-inspectie-stelt-vragen-over-hoe-klachten-zijn-afgehandeld-11073927-a1562918 “De Onderwijsinspectie heeft het College voor Toetsen en Examens (CvTE) vragen gesteld over wat het heeft gedaan met de klachten over het vwo-examen Frans. Er is veel ophef over dat examen. Docenten zijn kritisch over de kwaliteit ervan en sommige foute antwoorden zouden goed gerekend moeten worden. Het is zeldzaam dat hierover vragen worden gesteld, zegt een woordvoerder van de Onderwijsinspectie na berichtgeving van de NOS. De woordvoerder: „Uitgangspunt van het CvTE is dat geen enkele leerling de dupe wordt van mogelijke fouten in examens.” (NRC)”

Het CvTE (14 juni 2017). Frans vwo: bij vraag 15 ‘en effet’ ook goed, compensatie 0,1. Zie: http://bit.ly/2tkAubI Twitter https://twitter.com/hetcvte/status/874884375950897157

Steven M. Downing & Thomas M. Haladyna (1996). A model for evaluating high-stakes testing programs: Why the fox should not guard the chicken coop. Educational Measuement: Issues and Practice, spring 5-12. abstract: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1745-3992.1996.tb00801.x pdf: https://sci-hub.se/10.1111/j.1745-3992.1996.tb00801.x [Ik neem deze verwijzing op omdat de auteurs een degelijke uitwerking geven van de eisen die gesteld moeten worden aan onderzoekers (evaluators) van examens zoals die van het CvTE. Het mag onmiddellijk duidelijk zijn dat de toezichthouder van het CvTE, de Inspectie Onderwijs, die expertise waarschijnlijk niet in huis heeft. Hetzelfde geldt voor onderzoekbureau Oberon dat onlangs een evaluatierapport over het CvTE publiceerde.

George F. Madaus (1992). An independent auditing mechanism for testing. Educational Measurement Issues and Practice 11(1):26 – 31 abstract: https://psycnet.apa.org/record/1992-29657-001 & pdf: https://sci-hub.se/10.1111/j.1745-3992.1992.tb00225.x

Neil J. DORANS (1986). The impact of item deletion on equating conversions and reported score distributions. Journal of Educational Measurement, 23(3), 245–264. https://sci-hub.se/10.1111/j.1745-3984.1986.tb00250.x [Laat zien hoe ongelooflijk complex de dingen worden als er na het weglaten van een examenvraag opnieuw een N-term bepaald wordt (N-term bepalen = equating)]

Commissie-Hofstee (1990). Toepasbaarheid van psychologische tests bij allochtonen. Rapport van de testscreeningscommissie ingesteld door het LBR in overleg met het NIP. LBR-reeks #11, Stichting Roodboek   (LBR = Landelijk Bureau Racismebesrijding.)    Rapport met de bevindingen per test.  Hofstee’s rede bij de aanbieding van het rapport is gepubliceerd in De Psycholoog, juni 1990, 291-294 : Toepasbaarheid van psychologische tests bij allochtonen.  Ik geef de conclusie uit zijn rede, en zijn volledige beschouwing over het professiebeginsel. Kijk een beetje door de specifieke context van de problematiek van allochtonen heen (Hofstee zelf zegt erover: dit is niet specifiek voor allochtonen die tests afleggen, het geldt ook voor iedereen die een test aflegt. Ik voeg er dan maar aan toe: of die examen doet).

“Conclusie: 

De functie van de voorgaande algemene beschouwing over het professionaliteitsbeginsel is deze, dat invulling werd gegeven aan de twintig keer weerkerende conclusie van de TSC dat de toepasbaarheid van een psychologische test bij allochtonen ‘sterk beperkt’ is. Die uitdrukking betekent niet eenvoudig ‘minder van hetzelfde’. Hij betekent dat testafname en -interpretatie dienen te zijn ingebed in een proces van professionele oordeelsvorming. De algemene wending van de beschouwing diende om aan te geven dat deze aanbeveling niet uitzonderlijk is, en dat hier geen uitzonderlijke status voor allochtonen ten opzichte van psychologische tests werd bepleit. De noodzaak van verbijzondering geldt in principe bij ieder individu. 

In die zin is het dubieuze gehalte van psychologische tests in verband met allochtonen een geluk bij een ongeluk. Het bevat een aansporing ernst te maken met het elementair beginsel dat mensen recht hebben op een individuele benadering in aangelegenheden die voor hen van groot belang zijn. Het probleem van testgebruik bij allochtonen is geen geïsoleerd of technisch probleem.  Ieder mens bevindt zich van tijd tot tijd in een vergelijkbare situatie.“

Waarom verwijs ik naar deze rede van Hofstee? Merk op dat het CvTE in dit casus ‘en effet’ zich verschanst achter een procedure die het claimt op een juiste manier te hebben uitgevoerd, en bij het resultaat daarvan moeten we ons dan maar neerleggen. Dat gaat dus geheel voorbij aan de bijzonderheden van dit specifieke casus. De menselijke maat is bij dit CvTE nergens te bekennen. Terwijl het niet alleen gaat om een probleempje in het examen Frans, maar om een probleempje waarbij het slagen voor het vwo-examen in zijn geheel op het spel staat. Ik zou hier graag een uitvoerige beschouwing geven over problemen van ‘een puntje tekort’ bij zak-slaagbeslissingen, maar daar zal ik te zijner tijd nog wel een blog aan wijden (zie in tussentijd de sectie ‘Grensscores, cesuren, zak-slaaggrenzen, drempels.’ in mijn blog https://benwilbrink.wordpress.com/2020/09/24/kunnen-eindtoetsen-voorheen-de-citotoets-valide-zijn/) De uiteenzetting van Hofstee over het professiebeginsel is belangrijk genoeg om hem hier in zijn geheel te citeren. Tenslote mogen we van het CvTE verwachten dat het professioneel handelt. Toch?

“Het professiebeginsel 

Voor de nabije toekomst, waarin herzieningen en research niet direct beschikbaar zullen zijn, komt de volle nadruk te liggen op professionaliteit hij testtoepassing en -interpretatie. Dat is in zekere zin een geluk hij een ongeluk. De TSC heeft zich, hoewel dat voorbij haar opdracht ging, uitgebreid beziggehouden met vragen betreffende de omgang met de sollicitant of cliënt en de interpretatie van testuitkomsten. Ik zal er de nadruk op leggen dat de aanbevelingen die daaruit zijn voortgevloeid algemeen van aard zijn. Professionaliteit verwijst naar hooggeschoolde beroepen waarvan de beoefenaar verantwoordelijkheid draagt voor belangrijke aspecten van het welzijn van individuen. Voorbeelden van zulke beroepen zijn de geneeskunst, de advocatuur, de toegepaste psychologie. Professiebeoefenaars hebben te maken met de individuele casus in plaats van het algemene geval, waarop bijvoorbeeld de ambtenaar en de wetenschappelijk onderzoeker zich richten. De professionele werkwijze kan worden beschreven als oordeelsvorming, en onderscheidt zich van regelgeving en regeltoepassing. De uitzondering en de verbijzondering nemen een belangrijke plaats in bij de professionele benadering. 

Incidenten met betrekking tot het testen van allochtonen zijn waarschijnlijk steeds te vatten onder gebrek aan professionaliteit. Het voorleggen van een test voor ruimtelijk inzicht zonder zich ervan te vergewissen dat de persoon de verbale instructie begrijpt, het aanbieden van test-materiaal dat vol zit met verwijzingen naar de dominante cultuur zonder gesprek vooraf, het trekken van consequenties uit testscores zonder rekening te houden met relevante aspecten van de achtergrond van de persoon, de klakkeloze veronderstelling dat de testsituatie voor een bepaalde allochtoon dezelfde betekenis heeft als voor de doorsnee autochtoon, zijn voorbeelden van onprofessioneel gedrag, gebrek aan aandacht voor het bijzondere, gebrek aan besef van het feit dat omgaan met mensen mensenwerk is en niet aan procedures kan worden overgelaten. 

Opgemerkt moet worden dat, zelfs wanneer het testmateriaal aan de hoogste eisen zou voldoen, de eis van professionele behandeling blijft gelden. De reden is dat er zich in individuele gevallen altijd bijzondere situaties zullen blijven voordoen die klakkeloze toepassing van regels en  procedures absurd maken Tegelijkertijd biedt het professiebeginsel een oplossing in de huidige omstandigheden waarin het materiaal onvoldoende passend is voor het testen van allochtonen. Die oplossing bestaat eruit dat allochtonen bij voorbaat als individueel geval worden ge-zien. 

Individuele benadering houdt niet in dat er intussen geen aanbevelingen van algemenere aard kunnen worden geformuleerd. De TSC geeft in haar rapport daar een aantal aanzetten toe. Testleiders dienen ervaring te hebben met allochtone kandidaten; er dienen voorgesprekken met deze kandidaten plaats te vinden waarin de psycholoog zich onder andere een oordeel vormt over de vraag of testen überhaupt zin heeft; allochtonen dienen vaker als informant, en niet louter als onderworpene aan procedures te worden benaderd; de deelname van allochtonen aan testleiding en aan professies dient te worden bevorderd, enzovoort. Individuele benadering houdt ook geenszins in dat tests hij voorbaar als nutteloos worden beschouwd; zo’n conclusie zou evenzeer strijdig zijn met het professioneel principe. Individuele benadering houdt in dat wordt afgezien van automatismen. 

De voorgaande passages dienen niet te worden be-schouwd als kritiek aan het adres van praktizerende psychologen. Ongetwijfeld maken die nu en dan dramatische fouten. Ongetwijfeld zijn er ook onder hen die een hoogst merkwaardige ambtelijke of zuiver-wetenschappelijke opvatting hebben van hun taak, en bijgevolg in professioneel opzicht wanprestaties leveren. Er is echter geen rede om te veronderstellen dat dit in het algemeen zo is. Voor de doorsnee ervaren collega is de nadruk op casuïstiek vanzelfsprekend. Mijn betoog is dan ook veeleer bedoeld om ruimte daarvoor te helpen bewaren, en gericht aan het adres van diegenen die deze ruimte zouden willen inperken. 

Laat ik ter voorkoming van misverstand uitdrukkelijk stellen dat hier geen ongecontroleerde macht van professionals wordt bepleit. Professionele verantwoordelijkheid betekent de bereidheid verantwoording af te leggen, en bij professionele casuïstiek hoort onverbrekelijk repressief toezicht en, eventueel tuchtrecht. recht van beroep, contra-expertise, accreditering, en dergelijke. Met name voor zover psychologen geen lid zijn van het NIP, valt hier nog wel het een en ander te regelen. Ik leg er alleen de nadruk op dat regelingen, krachtens de aard van de professionele werkzaamheden, niet preventief van aard kunnen zijn maar slechts een repressief karakter kunnen hebben.

Die nadruk staat op gespannen voet met het regeldenken dat momenteel onze samenleving lijkt te beheersen. Met name is het gevaar dat de professies bezwijken onder de overmacht van de regeldenkers. Het individu zou daarmee niet zijn gediend, hetgeen inhoudt dat de toekomst van de samenleving er niet mee is gediend. “

Melis Melissen (juni 2006). Equivalering bij centrale examens voortgezet onderwijs. Hoe komt normering tot stand? Examens, Tijdschrift voor de Toetspraktijk https://www.professioneelbegeleiden.nl/equivalering-bij-centrale-examens-voortgezet-onderwijs betaalmuur: €1,95 

Jacqueline Wooning (mei 2017). N-term in werking. Euclides 27-30 https://www.examenblad.nl/document/artikel-de-n-term-in-werking/2018/f=/De_N-term_in_werking.pdf

 

Uitspraak Hof Den Bosch

Het hof: bekrachtigt het vonnis waarvan beroep; wijst af het door

[appellante] in hoger beroep gevorderde;

https://www.uitspraken.nl/uitspraak/gerechtshof-s-hertogenbosch/civiel-recht/civiel-recht-overig/hoger-beroep-kort-geding/ecli-nl-ghshe-2021-1091

Advertisement