Een foute vraag Frans, en hoe CvTE ermee omgaat. 1: Feiten, 2. Duiding.

Makkelijk een van de meest interessante casus van examenvragen-met-een-vlekje in mijn lange loopbaan: vraag 35 havo 2017, ‘is Simon verscheidene keren door de politie gearresteerd’, of niet? Het is ook een overzichtelijk casus, omdat het College voor Toetsen en Examens (CvTE) de fout(en) niet wil toegeven, er dus geen onbegrijpelijke correctie in correctievoorschrift of N-term is geweest. En een kort geding is uitgebleven. Een eitje, zou ik denken. Dan is het toch bizar te ontdekken hoeveel wonderlijke zaken er bij alleen al deze ene eindexamenvraag aan de orde zijn. En we weten dat de eindexamens Frans in 2017, niet voor het eerst trouwens, nog veel meer ongerechtigheden bevatten, waar ook de kortgedingrechter niet goed mee wist om te gaan. Om de zaken overzichtelijk te houden zal ik eerst de feiten zo volledig mogelijk weergeven, met telkens een eenvoudige en vrijwel objectieve analyse. Dat laatste is bijvoorbeeld de weergave van wat er in woordenboeken is te vinden. In het tweede deel van de blog behandel ik de testpsychologisch misgelopen zaken, plus wat er nog meer aan bijzonderheden aan dit casus kleeft. Het is spannend, want het CvTE staat in de schijnwerpers van de belangstelling van het Nederlandse publiek, van zijn toezichthouder de Onderwijsinspectie, en van de politiek.

De examenmaterialen die ik in het volgende volledig citeer zijn afkomstig van www.examenblad.nl eindexamen havo Frans 2017, 1e tijdvak.

Deel 1. De feiten

Vraag 35, hier hoort tekstfragment 10 bij, daarvan de 3e alinea.

• Geef van elke bewering aan of deze wel of niet overeenkomt met de derde alinea.

  1  Tijdens een poging om aan de politie te ontsnappen, is Simon gewond 
geraakt. 

  2  Simon is al verscheidene keren door de politie gearresteerd. 


  Noteer ‘wel’ of ‘niet’ achter elk nummer op het antwoordblad.

Vraag 35 levert 1 punt op, maar alleen als beide deelvragen ‘goed’ zijn beantwoord. Ons casus gaat over de 2e deelvraag. Probeer, voor een goed begrip van waar het in dit casus om gaat, om die deelvraag eerst zelf te beantwoorden, voordat u na de Franse tekst verder leest. Tekst 10 gaat over gevelacrobaat Simon, daarover kan bij kandidaten geen misverstand bestaan, de tekst gaat vergezeld van een foto. Zonder deze context te kennen is de derde alinea nogal onbegrijpelijk (maar is de vraag toch wel te beantwoorden).

De derde alinea van tekst 10.

• Mais ne pensez pas l’y suivre aussi simplement. Il s’entraîne tous les jours à enjamber, bondir et bien tomber pour ne pas se blesser : « Il suffit que je sois en avance à un rendez-vous pour que je m’exerce sur le mur le plus proche de moi. » Il s’est déjà cassé les poignets et il a été arrêté plusieurs fois par la police, alertée qu’un drôle d’individu se promène à 30 mètres du sol : « Les gens peuvent vite imaginer que je suis un voleur. Mais je n’ai jamais fait de garde à vue : les policiers voient tout de suite que je suis totalement inoffensif. » 


Correctievoorschrift vraag 35  maximumscore 1 


• 1 niet
• 2 wel

  
indien twee correct 1 punt, 
indien één of geen correct 0 punt


Volgens het CvTE is Simon verscheidene keren gearresteerd. Is dat inderdaad zo?

• Larousse Lexis (1989) geeft bij arrêter drie lemma’s: 1. staande houden; 2. gevangen nemen; 3. vaststellen.
• Van Dale Groot woordenboek Frans-Nederlands (2e 1990) geeft twee lemma’s: I stilhouden (stoppen, blijven staan, ophouden); II 0.1 tegenhouden (des agents arrêtent la foule: agenten houden de menigte tegen; arrêter un passant pour lui parler: een voorbijganger aanspreken), 0.2 arresteren (aanhouden), 0.3 bepalen, 0.4 in de rede vallen, 0.5 afsluiten.
• Van Dale Groot woordenboek der Nederlandse taal (1984), arresteren: 1. in hechtenis nemen, aanhouden, 2. beslag leggen, 3. bij besluit vaststellen.
• Idem, aanhouden: I.1 vasthouden, verhinderen verder gaan: iemand aanhouden, op straat aanspreken; (als justitiële handeling), hem aangrijpen en vasthouden (zo nodig) om hem eens naar een plaats van verhoor te geleiden, arresteren.

Constateer dat het Franse arrêter zowel de betekenis van staande houden als van in hechtenis nemen kan hebben, en dat de Lexis ‘staande houden’ als eerste noemt.
Constateer dat het Nederlandse ‘arresteren’ zowel de betekenis van aanspreken, als van in hechtenis nemen kan hebben.
Constateer dat het Frans en het Nederlands met deze dubbele betekenissen van arresteren dicht bij elkaar liggen.

De passage il a été arrêté plusieurs fois par la police is op zichzelf dubbelzinnig, de examenvraag kan dus niet op basis van deze informatie alleen worden beantwoord. Dan moet de context dus duidelijk maken of er sprake is van staande houden, danwel van in hechtenis nemen.

• Larousse Lexis (1989) geeft bij garde à vue, I.3: institution qui permet à la police de garder pendant une période limité toute personne suspecte. Zeg maar: een politiecel.
• Van Dale Groot woordenboek Frans-Nederlands (2e 1990) II 6.2 garde à vue: voorlopige hechtenis.

Constateer dat Simon zegt dat hij nooit in voorlopige hechtenis is genomen / nooit in een politiecel is beland.
Constateer dat vertalen van garde à vue niet echt nodig is, want de laatste passage les policiers voient tout de suite que je suis totalement inoffensif is voldoende aanwijzing dat agenten hem nooit in hechtenis hebben genomen.
Constateer dat de kandidaat bij vraag 35 moet gokken wat de vragensteller heeft bedoeld met ‘arresteren’, want als het simpel staande houden is dan is Simon verscheidene keren door de politie staande gehouden, maar als het in hechtenis nemen is, dan is Simon nooit in hechtenis genomen.
Wat zou de kandidaat kunnen helpen bij het maken van zijn gok? Als de kandidaat zou weten dat gevelacrobaten eigenlijk nooit in hechtenis worden genomen, dan helpt dat niet om het gokje te maken. Als de kandidaat zou weten of vermoeden dat in het Nederlands met ‘arresteren’ meestal in hechtenis nemen wordt bedoeld, zeker als er in de context tevens sprake is van politie die dat arresteren doet, dan geeft het nooit in hechtenis genomen zijn van Simon uitsluitsel: het antwoord moet ‘niet’ zijn.

Constateer dat het bij vraag 35 van tweeën een is: ofwel het correctievoorschrift is fout, ofwel het is goed maar dan hinkt de vraag op twee verschillende betekenissen van arresteren tegelijk, is dus dubbelzinnig en daardoor niet te beantwoorden.

Oké, er komen dus vragen en bezwaren binnen bij het CvTE, mogen we aannemen, waaronder een bezwaar van Charlotte Goulmy, waarop het CvTE per email als volgt heeft gereageerd.

Antwoord van het CvTE op bezwaar tegen het correctievoorschrift

• [CvTE E-mail Kenmerk: 10345 , in antwoord op mevrouw Goulmy]
  tekst 10, vraag 35: Naar onze mening is er geen aanleiding om de tweede stelling als foutief te bestempelen. Het Franse woord ‘arrêter’ kent een paar verschillende verwante betekenissen in het Frans (alsook in het Nederlands), en de vertaling arresteren is een simpele die tevens voor leerlingen makkelijk te begrijpen is zonder dat hij/zij zich zorgen hoeft te maken over juridische details. In de tekst staat overigens wel een juridisch detail, namelijk garde à vue, wat niet van toepassing is op Simon, maar, mocht een leerling dit in detail uitgeplozen hebben (wat wij niet verwachten van de leerlingen en dat ook niet nodig is om de bewering te bekijken) dan is dat compatibel met wat wij Nederlanders onder arresteren verstaan (het Franse politie-systeem werkt niet altijd op dezelfde manier als het Nederlandse).

• Dictionnaire des Termes Juridiques: Garde à vue (dr. pén.): Maintien dans les locaux de la police pendant une durée légalement déterminée de toute personne devant rester à la disposition de la justice pour répondre aux nécessités de l’enquête.

Constateer: Hier is echt niet iets aan de hand dat juridisch ingewikkeld is, het is voorlopige hechtenis in een politiecel.

Constateer dat wat het CvTE in zijn antwoord allemaal beweert nogal willekeurig, slordig, en onjuist is. Het springende punt is echter dat het CvTE hier geen fouten toegeeft, en dus niet met een wijziging op het correctievoorschrift komt. Voor het beoordelen van het examenwerk op vraag 35 komen leraren dan voor een dilemma te staan, want het CvTE waarschuwt ze nadrukkelijk voor het volgende.

• Status: regelgeving
  Het CvTE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift.
  Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat, neemt hij contact op met het Examenloket (examenloket@duo.nl).

Constateer dat de leraar hier door het CvTE wordt gedwongen om valsheid in geschrifte te plegen, namelijk om kandidaten die ‘niet’ hebben geantwoord, nul punten voor vraag 35 toe te kennen omdat zij het goede antwoord hebben gegeven.
Hoeveel leraren hun integriteit als leraar laten prevaleren boven de regelzucht van het CvTE is niet bekend. Ik heb begrepen dat bij reguliere analyse op een fractie van de examens blijkt dat bijna 80% van de kandidaten een punt voor vraag 35 heeft gekregen. Maar onbekend is voor hoeveel kandidaten het antwoord ‘niet’ volgens CvTE-voorschrift met nul punten is beloond, hoeveel van hen desondanks het punt wel hebben gekregen (afhankelijk van het antwoord op de eerste deelvraag). Door de ongelukkige combinatie van twee vragen voor 1 punt weten we ook niet voldoende over hoe iedere deelvraag het afzonderlijk heeft gedaan. Daarmee is ook niet bekend of de rekenmeesters van het Cito deze vraag 35 er op basis van pilot-gegevens al uit hadden kunnen vissen als waarschijnlijk verkeerd gesleuteld.

Het bovenstaande zijn feiten en eenvoudige constateringen rond vraag 35 havo 1e tijdvak 2017. Hoe kijkt een onafhankelijk examenspecialist naar dit dossier, en wat weten we hiermee over de kwaliteit van het functioneren van het CvTE? Dat wordt deel 2 Wat leren we ervan?

Deel 2. Duiding. Wat leren we ervan?

Is het uitgebreid behandelen van examenvragen-met-een-vlekje zinvol?

Als er met examenvragen dingen misgaan, en we laten na om dat tot op de bodem uit te zoeken, dan zullen er dingen blijven misgaan. Dat kan Nederland zich niet veroorloven. Het is daarom echt van de gekke dat we een examenautoriteit hebben die vrijelijk zijn autoritaire gang kan gaan zonder checks and balances. Immers, in het hoger onderwijs kennen we wel degelijk een behoorlijke beroepsgang bij examencalamiteiten. Niet alleen ontbreekt zoiets voor de eindexamens vo, bovendien wijzen alle instanties in de examenketen hun verantwoordelijkheid af: er is niemand echt aanspreekbaar, de politiek, de minister, de Inspectie, het Cito, het CvTE zelf, ze laten het allemaal afweten. De correspondentie die Charlotte Goulmy al jaren voert, getuigt ervan (bijlagen bij blog). Het meest ongelooflijke afschuiven van verantwoordelijkheid: de CEO van het Cito, destijds Marten Roorda, verklaart openlijk dat het Cito niet verantwoordelijk is voor de inhoudelijke kwaliteit van de examens die het voor het CvTE maakt. Zoiets als: directeur ziekenhuis verklaart dat het ziekenhuis niet verantwoordelijk is voor de kwaliteit van de zorg. Dat was een dieptepunt van jewelste in de geschiedenis van de testpsychologie. O ja, en daarna is de ramp van de rekentoets gewoon doorgegaan: kosten een half miljard, en weer een decennium dat er niet is ingegrepen in het verrommelde rekenonderwijs zelf.

• twitter 12:08 AM 9 Oct 13 Marten Roorda: “Voor alle duidelijkheid: #Cito is geen partij bij vaststelling van inhoud Rekentoets en typen opgaven. Cito voert de richtlijnen van CvE uit.”

Ja, het is van belang om aandacht te schenken aan examenvragen-met-een-vlekje. We moeten ervan leren. Dat besef is in de wereld van psychologen die verantwoordelijkheid dragen voor tests en voor examens sterk aanwezig, maar daarbuiten kennelijk een paar onsjes minder. Voor meer info zie mijn hoofdstuk over kwaliteit van toetsvragen, met onder andere verwijzingen naar richtlijnen en jurisprudentie.

Behoren onjuiste uitspraken wel tot de stof voor het examen?

• Geef van elke bewering aan of deze wel of niet overeenkomt met de derde alinea.

Kandidaten mogelijk onjuiste uitspraken voorleggen, in een examen, is dat eigenlijk wel normaal (vrij naar een bekend politicus)? Misschien ook voor u een verrassende vraag, maar het is toch evident dat de meeste leerstof weinig of geen valse uitspraken bevat, en als die er al zijn dan zijn ze er met goede reden. Hoe kunnen mogelijk onjuiste uitspraken dan toch in een examen terecht komen? Dat kan, omdat we in eigen land al sinds de zestiger jaren de weg een beetje zijn kwijtgeraakt als het op toetsen aankomt: De Groot & Van Naerssen, ondanks hun grote verdiensten op ander gebied, maakten ons toen (1969) wijs dat keuzetoetsen de enig juiste vorm van toetsen zijn. Hoewel veel keuzen best authentiek zijn, zijn de meeste keuzen in keuzevragen kunstmatig, gefabriceerd, omdat het onjuiste uitspraken, alternatieve feiten, of foute data zijn. Allemaal zaken die onmogelijk tot de examenstof kunnen behoren. Dat mag alleen al duidelijk zijn uit de onbegrensdheid van het universum van mogelijk onjuiste uitspraken.
Wat niet tot de examenstof behoort, en toch wordt gevraagd, is verwarrend voor de examenkandidaat. Erger nog, door leerlingen onjuiste informatie voor te houden, is er alle kans dat zij deze onjuiste informatie leren — dat kan voor onderwijs toch niet de bedoeling zijn. Bij het toetsen op tekstbegrip kan de leerling of examenkandidaat in de war worden gebracht door uitspraken die onjuist zijn, of zouden kunnen zijn. Waar zijn we helemaal mee bezig als we denken dat dit allemaal maar kan? Denkt u ook dat dit geen goede psychologie kan zijn? Join the club. Goed, ik moest dit even kwijt.
Ter zake. De kandidaat moet ‘wel’ of ‘niet’ antwoorden. Merk op dat dit absolute oordelen zijn. Verwant aan universele quantoren zoals in ‘Alle zwanen zijn wit’. In de werkelijke wereld zijn zaken zelden absoluut. Wie vraagt naar het juist of onjuist zijn van uitspraak, en geen ruimte geeft voor een eventuele toelichting op de gemaakte keuze, is niet professioneel bezig.

• De baan van de aarde om de zon is cirkelvormig. ja / nee
  zie ook keuzevragen

Er moet ruimte zijn voor de leerling die ‘nee’ antwoordt omdat die baan ellipsvormig is. De kandidaat moet ruimte hebben om te schrijven dat zij ‘arresteren’ opvat als staande houden.

Bij dubbelzinnige vragen moet de kandidaat, ter bewaring van zijn recht, aan kunnen geven hoe hij de dubbelzinnigheid heeft gezien en aangepakt.

Dubbelzinnige vragen moeten tijdig worden afgevangen

Het CvTE had de dubbelzinnigheid in vraag 35 eenvoudig kunnen voorkomen door niet te vragen naar verscheidene keren gearresteerd zijn, maar naar in hechtenis genomen zijn, danwel staande gehouden zijn, al naar gelang wat precies speelde in de gedachten van de ontwerpers. Waarom is dat niet gebeurd? Willens en wetens een dubbelzinnigheid laten bestaan is een kunstfout, dus de ontwerpers zijn zich er helemaal niet van bewust geweest?

Veel ontwerpers van toetsvragen zijn zich onvoldoende bewust van de mate van dubbelzinnigheid in teksten, toetsvragen en bijgaande illustraties. Tekst is eigenlijk altijd voor meerdere uitleg vatbaar, en daar hoeft de lezer zich niet eens van bewust te zijn. De duiding van tekst verloopt volautomatisch door autonome hersenprocessen, buiten ons bewustzijn. Hetzelfde geldt voor afbeeldingen bij examenopgaven. In de rekentoets (ja, die rekentoets) is het van meet af aan vaste prik geweest dat de gebruikte contexten vaak dubbelzinnig waren. De stelling laat zich verdedigen dat voor contextopgaven rekenen en wiskunde geldt dat deze in principe altijd dubbelzinnig, meerduidig, zijn. En dat gaat niet goed samen met het absoluut eenduidige karakter van wiskunde. In de rekentoetsramp is de Nederlandse jeugd daar massaal het slachtoffer van gemaakt, tegen alle waarschuwingen van meet af aan in.

Dubbelzinnige vragen zijn lastig af te vangen, maar wie er niet zijn best voor doet vangt nooit wat. Wanneer ontwerpers gezellig samen de nieuw ontworpen vragen doornemen is de kans op het vinden van rare dingen klein. De juiste procedure is om nieuw ontworpen vragen onafhankelijk van elkaar te beoordelen, en wel zo kritisch mogelijk: probeer ze af te branden. Dit schijnt een werkwijze te zijn die Cito en CvTE volkomen onbekend is, en als het anders is dan hoor ik dat wel.

Examenstrategie bij vragen naar tekstbegrip

Zo’n examen gaat vergezeld van enorme lappen tekst, met telkens heel veel informatie, die onmogelijk door de kandidaten in een keer opgenomen en onthouden kan worden. Telkens moet de kandidaat strategisch kiezen: hoe goed moet ik hoeveel van de betreffende tekst bestuderen? Welke rol kan dat spelen bij dit casus ‘arresteren’? De kandidaat die alleen naar het deel van de zin met ‘arrêter’ kijkt, kan makkelijk nat gaan. Waarschijnlijk, maar zeker weten kunnen we dat niet, is zoiets hier gebeurd: de meeste havisten hebben niet verder gekeken dan dit deel van de zin. En het CvTE vind dat prima, afgaande op de geciteerde CvTE-email!
Deze examens die vooral mikken op tekstbegrip zijn behoorlijk kwetsbaar voor examentrucjes die zomaar een of twee cijferpunten extra op kunnen leveren. Wat toetsen ze dan? Dat is ook bij ons casus de vraag: wat toetst die vraag naar verscheidene keren in hechtenis genomen zijn eigenlijk? Grappig is dat alinea 3 uit tekst 10, de tekst over gevelacrobaat Simon, op zich al demonstreert dat achtergrondkennis belangrijker kan zijn dan tekstbegrip (als zoiets al bestaat in psychologische zin): zonder de context van gevelacrobatiek te hebben, is de alinea deels abracadabra. Als u weet wat een examen vreemde taal zoals dit examen Frans eigenlijk examineert, dan mag u het mij zeggen; ik weet het al enige tijd niet meer. Het heeft nog wel met Frans te maken, maar dat is dan ook het enig positieve dat ik kan bedenken.

De fijne nuances, moet de kandidaat daar nu wel of niet rekening mee houden?

Het CvTE vindt dat de kandidaat niet hoeft te weten wat garde à vue betekent om de gestelde vraag te kunnen beantwoorden. Maar ja, hoe gaat dat vaak bij examens: het genuanceerde denken dat bij de ene vraag bepaald niet de bedoeling is, is dat bij andere vragen dan toch weer wel. Gestoord zou je er als kandidaat van worden.
Bij een graag naar zichzelf toe rekenend instituut als het CvTE laten de fijne nuances zich makkelijk misbruiken: in het ene geval komt het goed uit om te verklaren dat het natuurlijk niet om fijne nuances gaat, zoals bij deze vraag 35; in andere gevallen komt het juist goed uit om uit te leggen dat de kandidaten de fijne nuance hadden moeten opmerken. Het probleem zit dus aan twee kanten: zowel examenvragen zelf die niet consistent zijn op het punt van fijne nuances, als de verdediging van het CvTE tegen bezwaren tegen examenvragen.
Waar hem de kneep ook zit, de kandidaten zijn de dupe van onvermogen van Cito en CvTE om fijne nuances in examenvragen te beheersen.
Wie mijn uitvoerige oefeningen in het kritiseren van rekentoetsopgaven wel eens heeft gezien, weet dat ik grossier in kritiek op fijne nuances. De reden daarvoor is allereerst dat landelijke examens gewoon perfecte vragen moeten hebben, daar moeten geen smetten aan kleven, hoe klein ook. Een tweede reden is dat kleine smetten zelden alleen komen. En dat ze in vele andere vragen terug plegen te komen. Kleine smetten zijn al gauw een plaag, en dan hebben we het over examens die voor kandidaten een hel kunnen zijn om ze te maken. Als hoogleraar didactiek van de wiskunde Jan van de Craats misselijk wordt van het achter elkaar maken van de contextopgaven van een enkele rekentoets (zie hier), dan geeft dat aardig aan wat ik bedoel.
Terug naar dat toetsen van tekstbegrip. Dit is een gekte die over de hele aardkloot verspreid is. De misvatting is dat het begrijpen van tekst een algemene vaardigheid is die te leren, en dus te onderwijzen valt. Nee hoor, algemene vaardigheden bestaan niet. Trucjes om vragen tekstbegrip te beantwoorden zijn er natuurlijk wel, maar het onderrichten van deze studiestrategieën vergt weken, geen jaren. Zie de publicaties van Daniel Willingham over lezen en tekstbegrip blog, info, vimeo, en pdf. Belangrijk! Doen! Ook jullie, bij Cito en CvTE!

Ontwerp-technisch gezien deugt vraag 35.2 van geen kant

Een woordenboek als de Larousse Lexis als criterium nemen, is dat wel gepast bij een examenvraag op havo-niveau? Of moeten we door de knieën gaan en op het niveau van de havist denken? De vraag stellen is hem beantwoorden. Het is een examen, toch?
In dit geval wijst het raadplegen van professionele woordenboeken uit dat het spreken over ‘arresteren’ leidt tot een fatale dubbelzinnigheid in de vraagstelling van 35.2 omdat het nu eenmaal zowel in het Frans als in het Nederlands allereerst aanspreken of staande houden betekent, daarna ook nog in hechtenis nemen.
Kandidaten moeten niet alleen de passage met ‘arrêter’ zorgvuldig bestuderen, maar ook verband leggen met de beide uitspraken van Simon aan het eind van dezelfde zin. Misschien is dat laatste in het hele ontwerpproces door Cito en CvTE over het hoofd gezien, dat zou dan helemaal van de gekke zijn. Ik vind dat bij deze combinatie van moeilijkheidsfactoren wel de vraag past of dit nog wel havo-niveau is, maar ik heb niet de expertise om dat zelf te beoordelen. Ik constateer dat de vraag in ieder geval voor de ontwerpers zelf, voor de CvTE-vaststellingscommissie, en voor het CvTE in antwoord op bezwaren tegen deze vraag 35 te moeilijk is gebleken: falen om het onderscheid tussen aanspreken en in hechtenis nemen te maken, en falen om het verband met de laatste uitspraken van Simon te leggen (garde à vue, en agenten die onmiddellijk inzien dat het om iets onschuldigs gaat, want gevelacrobatiek en geen inbraak).

Een tekst en een vraag (inclusief het correctievoorschrift!) kunnen te moeilijk zijn of blijken voor de doelgroep, dat zou onder andere bij een pilot vooraf kunnen blijken. Probleempje is dan bij een geval als deze gemankeerde vraag 35 dat een pilot niet hoeft uit te wijzen dat de vraag in feite te moeilijk is. De ontwerpers hebben er kennelijk op gerekend dat de meeste kandidaten ‘wel’ zouden antwoorden, en dat hebben ze ook gedaan. Dat ‘wel’ in feite het foute antwoord is, blijkt dan niet uit een te lage p-waarde (te hoge moeilijkheid) in een pilot. Een pilot is geen waterdicht vangnet voor gebreken in de vraagstelling of het correctievoorschrift.
Een alternatief is: een groep inhoudelijk experts onafhankelijk van elkaar deze vraag 35 laten beantwoorden en van commentaar voorzien. Dat hadden zowel het Cito als het CvTE dus moeten doen.

• [CvTE E-mail Kenmerk: 10345 , in antwoord op mevrouw Goulmy]
  tekst 10, vraag 35: Naar onze mening is er geen aanleiding om de tweede stelling als foutief te bestempelen. Het Franse woord ‘arrêter’ kent een paar verschillende verwante betekenissen in het Frans (alsook in het Nederlands), en de vertaling arresteren is een simpele die tevens voor leerlingen makkelijk te begrijpen is zonder dat hij/zij zich zorgen hoeft te maken over juridische details. In de tekst staat overigens wel een juridisch detail, namelijk garde à vue, wat niet van toepassing is op Simon, maar, mocht een leerling dit in detail uitgeplozen hebben (wat wij niet verwachten van de leerlingen en dat ook niet nodig is om de bewering te bekijken) dan is dat compatibel met wat wij Nederlanders onder arresteren verstaan (het Franse politie-systeem werkt niet altijd op dezelfde manier als het Nederlandse).

Het CvTE zegt dat ‘arrêter’ vertalen met ‘arresteren’ simpel is. Gezien de de dubbele betekenissen van aanspreken en in hechtenis nemen is is deze vertaling allesbehalve simpel, en graaft mogelijk een diepe valkuil.
Deze vertaling zou voor leerlingen ook makkelijk te begrijpen zijn. Maar dat is een onbegrijpelijk uitspraak, want of iets makkelijk te begrijpen is hangt van de context af, en in dit geval plaatste die context (garde à vue, en agenten die onmiddellijk zagen dat deze gevelacrobatiek onschuldig was) de leerlingen juist voor probleem.
Het CvTE: de leerlingen zouden zich zorgen kunnen maken over juridische details maar dat zouden ze bij deze vraag 35 juist niet hoeven doen. Ik weet niet wat het CvTE er hier allemaal bij sleept, de vraag gaat bepaald niet over typisch juridische kennis.
Het CvTE noemt het begrip ‘garde à vue’ een juridisch detail, maar het is gewoon een Franse uitdrukking voor hechtenis of politiecel. Vindt het CvTE echt dat de leerlingen de vertaling van ‘garde à vue’ niet paraat hoeven te hebben? Maar wat betekent het dan nog wanneer een examenvraag gaat over de betekenis van iets in de context van bijlagetekst 10?
Het CvTE zegt hier met zoveel woorden dat ‘garde à vue’ niet van toepassing is op Simon. Dat lijkt dubbelzinnig, maar is het niet, want uit de context is duidelijk dat het CvTE meent dat hier niet staat dat Simon nooit in hechtenis is genomen. Een heterdaadje, want het staat er wel degelijk.
‘… compatibel met wat wij Nederlanders onder arresteren verstaan’ En wat is dat dan, beste CvTE? Arresteren heeft immers meerdere mogelijke betekenissen, evenals het Franse arrêter. Het CvTE geeft zichzelf ook geen enkele kans om dubbelzinnigheden te ontdekken, het blijft maar spreken over arresteren alsof dat een eenduidig woord is.

Stel dat het CvTE de fout had erkend, wat had het kunnen/moeten doen om de schade te beperken?

Tijdig erkennen van de fout zou geleid hebben tot een herzien correctievoorschrift: het goede antwoord moet ‘niet’ zijn. Het antwoord ‘wel’ kan niet goed worden gerekend. Het kan zijn dat dan ook pas blijkt dat de vraag voor te veel havisten te moeilijk was. Achteraf corrigeren voor te moeilijke vragen kan helemaal niet. Het CvTE grijpt dan makkelijk naar een N-term-correctie, maar dat is iets anders dan een correctie voor moeilijkheid van een enkele examenvraag. Zie ook hier.
In andere gevallen (de rode jurk, vwo Frans 1e tijdvak 2017) kiest het CvTE er voor om toch het objectief ‘foute’ ook goed te blijven rekenen. Maar dat kan natuurlijk niet, dat corrumpeert het examen als examen.

Hoe is een vraag zoals dit casus ‘arrestatie’ eigenlijk mogelijk?

Dat zo’n vraag ook maar wordt bedacht, en door alle checks op kwaliteit heen banjert, en dat het CvTE zelfs na protest nog volhoudt dat alles oké is?

Laat ik nu eens kort zijn. Mijn vermoeden is dat het Cito en het CvTE nalaten om bij de ontwikkeling van examenvragen zoveel mogelijk te werken met onafhankelijk van elkaar operende beoordelaars van de voorstellen die op tafel komen. Daarnaast laat de afhandeling van bezwaren bij de examens Frans zien dat er reden is tot gerede twijfel aan de vakkundigheid van de betreffende vakcommissieleden/voorzitters. Een derde zou wel eens kunnen zijn dat statistische controle op individuele examenvragen te veel op de automatische piloot gebeurt (dit is ook wel een lastig puntje, je zou statistische en inhoudelijke deskundigheid graag in één en dezelfde persoon verenigd zien).

En checks en balances van buiten, in overleg met vakverenigingen, voordat examenvragen het drukproces in gaan. Op dit punt heeft het CvTE al eens eerder goede voornemens geuit, en na de examens 2017 in versterkte mate. Laten we blijven hopen.

Een algemeen verbindend voorschrift dat professionals de handen bindt, kan dat eigenlijk wel?

• Status: regelgeving
  Het CvTE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift.
  Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat, neemt hij contact op met het Examenloket (examenloket@duo.nl).

Dit is vooral ook een juridische vraag: een voorschrift dat verplicht om, in gevallen zoals deze vraag 35, valsheid in geschrifte te plegen, dat is toch nietig? info over avv Maar laat het vooral niet alleen aan juristen over, koers op je eigen rechtsbewustzijn en dat van je collega’s.

Wie toch iets meer wil weten over het boeman-argument van het CvTE raadplege ook de Wet College voor toetsen en examens. Begin dan met artikel 8, dat terugverwijst naar artikel 2 en 5 (5 is specifiek voor staatsexamens).

• 8 De regelingen, bedoeld in het tweede lid, onderdelen e en f, en vijfde lid, onderdeel a, treden slechts in werking na goedkeuring door Onze Minister. Onze Minister kan zijn goedkeuring onthouden wegens strijd met het recht of het algemeen belang.
• 2 Het college is belast met de volgende taken op het gebied van de centrale examens, bedoeld in de Wet op het voortgezet onderwijs, de Wet voortgezet onderwijs BES, artikel 7.4.11 van de Wet educatie en beroepsonderwijs en artikel 7.4.13 van de Wet educatie en beroepsonderwijs BES en de daarop berustende bepalingen:
  • a. het vaststellen van het aantal toetsen, de tijdsduur en de aard van de toetsen, overeenkomstig het examenprogramma;
    b. het vaststellen van het tijdstip van de toetsen, de wijze waarop en de vorm waarin de toetsen worden afgenomen;
    c. het tot stand brengen en vaststellen van de opgaven;
    d. het tot stand brengen en bij regeling vaststellen van de beoordelingsnormen en de daarbij behorende scores;
    e. het geven van regels voor de omzetting van de scores in cijfers;
    f. het tot stand brengen en bij regeling vaststellen van syllabi, overeenkomstig het examenprogramma; en
    g. het geven van regels met betrekking tot de hulpmiddelen die gebruikt mogen worden bij het maken van de opgaven.

Constateer dan, met mij, dat artikel 2 lid d gaat over het het regelen van de correctievoorschriften, en dat voor die regeling geen goedkeuring van de minister nodig is. Nu claimt het CvTE dat de regeling voor de correctievoorschriften een algemeen verbindend voorschrift avv is, maar als ik me niet vergis dan is het CvTE geen instantie die zelfstandig avv’s kan uitvaardigen, en die ook nog aan Nederland opleggen zonder dat ze behoorlijk in het Staatsblad zijn gepubliceerd.
Interessant detail is nog dat boeman CvTE wel hard roept dat zijn regeling een algemeen verbindend voorschrift is, wat waarschijnlijk dus niet waar is, maar aan overtreding ervan geen sanctie verbindt. Achteraf sancties bedenken kan natuurlijk niet, dus dit zogenaamde avv van het CvTE kan straffeloos worden overtreden.

Beste mensen, ga af op uw rechtsgevoel als professional, en doe bij het nakijken van examenwerk wat volgens uw expertise nodig is, gezien het correctievoorschrift van het CvTE.

Een CvTE dat broddelwerk aflevert zoals dit casus laat zien, heeft dat wel bestaansrecht?

Het CvTE heeft vele taken. Maar het is ook de waakhond voor de kwaliteit van onze eindexamens (en een eindtoets basisonderwijs). Het is een waakhond van niks, want er bestaat bij het CvTE nog geen begin van enig inzicht wat kwaliteit van examens is. Toch is dit een onderwerp waarover wel eens eerder is nagedacht. Er zijn tal van organisaties die richtlijnen, standaarden en codes hebben opgesteld: het Nederlands Instituut van Psychologen (1988), American Psychological Association / National Council on Measurement in Education / American Educational Research Association (de Standards van deze organisaties zijn wereldwijd toonaangevend). Enzovoort.

• AERA, APA & NCME (1999). The Standards for Educational and Psychological Testing. zie hier
• American Psychological Association. Joint Committee on Testing Practices (2000). Rights & responsibilities of test takers: Guidelines and expectations. Washington, DC. American Psychological Association. webpagina

• M. Job Cohen (1981). Studierechten in het wetenschappelijk onderwijs Proefschrift Rijksuniversiteit Leiden. Zwolle: Tjeenk Willink. deel 1 (t/m blz 100), deel 2 blz 102-149, deel 3 blz 150-197 en deel 4 bijlage, samenvatting, literatuur, index
• L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Model gedragscode toetsen, beoordelen en beslissen in het voortgezet onderwijs. Enschede: OCTO. isbn 9036510899. scan
• Willem K. B. Hofstee (1999). Principes van beoordeling: Methodiek en ethiek van selectie, examinering en evaluatie. Swets & Zeitlinger.
• NIP (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. Toetsgebruik in het onderwijs. pdf

Dat het CvTE hier geheel onkundig van is, blijkt voor de expert uit ongeveer ieder stuk waarin het CvTE reageert op gesignaleerde problemen. Ik zal het uitleggen aan de hand van een specifiek geval. In het tijdschrift Examens geven Wilbrink, Hulshof en Pfaltzgraff pdf een analyse waarom de rekentoets niet valide is. ‘Niet valide’ is een technische term in de testpsychologie, en betekent dat de betreffende toets de kwaliteiten mist die hij zou moeten hebben. Een rekentoets moet rekenen toetsen, bijvoorbeeld. Het CvTE reageert op de kritiek met een betoog (Kastelein pdf) dat voor de ontwikkeling van de rekentoets alle procedures correct zijn gevolgd. Maar zo kan het dus niet, hier geeft het CvTE er blijk van gewoon niet te weten wat validiteit is, een onderwerp waaraan handboeken educational measurement al ongeveer een eeuw op zijn minst een uitgebreid hoofdstuk aan besteden. Het is om te huilen. Het CvTE is als een ziekenhuis waarin geen chirurg is te bekennen.

Het CvTE is een organisatie die draait op leraren. Natuurlijk zijn leraren nodig om examenvragen te ontwerpen. Maar dat kan nimmer voldoende zijn: die examenvragen moeten aan hoge kwaliteitseisen voldoen, en daar zijn leraren niet voor opgeleid. Hebben betrokken leraren dat zelf in de gaten? Ik vermoed van niet, afgaande op reacties van het CvTE (in dit geval voorzitters van vaststellingscommissies, naar ik mag aannemen) op ingebrachte bezwaren tegen specifieke examenvragen. Daar gaat tenslotte heel deze blog over.

Wat zou er met/door het CvTE gedaan moeten worden?

De eerste wederzijdse kennismaking met het CvTE was tijdens een toetscongres in Nieuwegein. CvE-voorzitter Henk Laan besprak het organogram van zijn organisatie. Mijn publieke vraag daarover: waar is een afdeling Research en Development met echte expertise op het terrein van testen en toetsen? Laan was blij met die vraag, hij kon nog eens uitleggen, met ambtenaren van OCW onder zijn toehoorders, dat zo’n afdeling een grote wens van hem was, dat die wens bekend was bij OCW, maar dat de middelen ervoor niet beschikbaar werden gesteld.

Het CvTE moet uiteraard relevante toetspsychologische expertise in huis hebben, niet alleen voor kwaliteitsbewaking, maar ook voor ontwikkeling van het denken over examens en hun plek in het onderwijsgebouw. Het CvTE zou voor dit deel van zijn taak geadopteerd kunnen worden door universitaire vakgroepen testpsychologie (in feite was dat het bestuursmodel van het Cito voordat het verzelfstandigd werd: grote betrokkenheid van methodologen en testexperts zoals Pieter Drenth uit onze faculteiten psychologie).

Ceremoniële eindexamens zijn misschien een betere optie dan onze toch wel bureaucratisch uit de klauwen gelopen centrale schriftelijke eindexamens (o.a. bepleit door Cornelis Verhoeven, als ik het goed heb). De menselijke maat terug in het onderwijs. Voor de bewaking van het niveau van ons vo is het echt niet nodig alle leerlingen aan schriftelijke examens te onderwerpen, dat kan veel en veel eenvoudiger (op basis van een model als de PPON bijvoorbeeld).

referenties

Eindexamens havo Frans 2017, zie voor alle documenten www.examenblad.nl

Charlotte Goulmy (2017). Fouten in examen Frans die niet erkend worden en tot absurde situaties leiden. Stichting Beroepseer blog [op beroepseer.nl meerdere blogs van Goulmy]

Adriaan D. de Groot & Robert F. van Naerssen (Red.) (1969). Studietoetsen construeren, afnemen, analyseren. Mouton.

Karin den Heijer (20 november 2017). Slecht rekenonderwijs mag wat kosten van het ministerie. nrc blog

Gerard Koolstra (20 november 2017). Ontwikkeling beoordelingsvoorschriften centrale examens v.o. 1978-2017 aan de hand van de wiskunde-examens HAVO. pdf

Piet Sanders, Arnold Brouwer, Bernard Veldkamp (1 mei 2017). Onderzoek naar de inhoudsvaliditeit van de centrale examens en de afhandeling van onvolkomenheden bij de centrale examens. RCEC. pdf

• Een teleurstellend rapport, want het is geen onderzoek naar validiteit, maar naar procedures en of die gevolgd worden. In de literatuur is dit toch wel voldoende gekritiseerd als face validity, fake validity dus. Hoe kan dat nou? Om te beginnen: het CvTE was zelf opdrachtgever. Vermoedelijk heeft het CvTE de opdracht in termen van procedures geformuleerd, en heeft het RCEC de opdracht in die termen aanvaard. Zo komen we in Nederland dus nooit uit de examenproblemen. De drie auteurs zijn gepokt en gemazeld in testpsychologie, en weten heel goed dat het CvTE niet over testpsychologische expertise beschikt. Met stip bovenaan hun bevindingen hoort dan ook te staan dat het CvTE de expertise mist om zijn taken wat betreft borging van kwaliteit van de examens naar behoren uit te kunnen voeren. Helaas, die waardering geven de auteurs niet. b.w.

Ben Wilbrink (1986). Toetsen en testen in het onderwijs. S.V.O. Jaarverslag/Jaarboek 1985, 275-288. Den Haag: Stichting voor Onderwijsonderzoek. webpagina

Ben Wilbrink, Joost Hulshof en Henk Pfaltzgraff (augustus 2012). De rekentoetsen zijn niet valide. Dat wordt nog wat, met die rekentoetsen! Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. pdf. Met offiële repliek van het CvTE, door Jan Kastelein (2012). Rekentoetsen vo wel degelijk valide. Examens, Tijdschrift voor de Toetspraktijk, 9 #4, 29-31. pdf. Met op blz. 31 tevens onze dupliek, een korte tekst, dus ook maar hier:

In ons artikel spreken wij het Cito en het CvE aan op hun verantwoordelijkheid voor de validiteit van de rekentoets-3F. De uitleg van het CvE gaat in op hetgeen Wilbrink en Hulshof eerder in dit tijdschrift [Examens, 2011, 8(3), 18-22 pdf) kritiseerden; deze dupliek kon het CvE bekend zijn.
Het CvT geeft blijk het begrip validiteit uit de testpsychologie niet te kennen.
Validiteit is een empirische kwestie, niet een zaak van overleg, fiat, of procedures. Validiteit-bij-fiat is een misvatting. Het CvE blijft het antwoord schldig op onze analyse van de tekortschietende validiteit van de rekentoets-3F.
Wij concluderen dat iedere commissie, instelling, ambtenaar en politicus zijn ding deed, zoals het CvE opnieuw opsomt, maar dat dit geen samenhangend beleid opleverde. De samenhang die het CvE ziet is een bureaucratische samenhang-bij-fiat.

Ben Wilbrink (w.i.u). Kwaliteit van toetsvragen. Hoofdstuk 8 in Toetsvragen ontwerpen, een project in uitvoering. webpagina [herziening van Aula 809, 1983, Toetsvragen schrijven]

Daniel Willingham (March 27, 2017). What happens when you teach children to make inferences while reading?
blog

Daniel T. Willingham (2017). The Reading Mind: A Cognitive Approach to Understanding How the Mind Reads. Jossey-Bass. ISBN: 9781119301370 l info en vimeo

Daniel T. Willingham & Gail Lovette (September 26, 2014). Can Reading Comprehension Be Taught? Teachers College Record. pdf

Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015
webpagina

• Artikel 7. Vermeende fouten
  2. Indien de examinator of de gecommitteerde meent dat in een toets of in het beoordelingsmodel bij die toets een fout of onvolkomenheid zit, beoordeelt hij het werk van de kandidaten alsof toets en beoordelingsmodel juist zijn.
  3. Degene die in de toets of het beoordelingsmodel een fout of onvolkomenheid meent te hebben geconstateerd kan deze fout aan het College voor Toetsen en Examens meedelen.
  4. Deze mededeling wordt voorgelegd aan de desbetreffende vakcommissie, en indien deze de mededeling als juist aanmerkt, kan de vakcommissie de voorzitter adviseren een beslissing op grond van artikel 10 te nemen.
  5. Het is niet toegestaan zelfstandig af te wijken van het beoordelingsmodel. Met een eventuele fout wordt bij de bepaling van het cijfer voor het centraal examen zoals bedoeld in artikel tweede lid onder e, van de wet College voor Toetsen en Examens, rekening gehouden. [bedoeld is artikel 2, tweede lid onder e, b.w.]

Advertisement