Een foute vraag Frans, en hoe CvTE ermee omgaat. 1: Feiten, 2. Duiding.

Makkelijk een van de meest interessante casus van examenvragen-met-een-vlekje in mijn lange loopbaan: vraag 35 havo 2017, ‘is Simon verscheidene keren door de politie gearresteerd’, of niet? Het is ook een overzichtelijk casus, omdat het College voor Toetsen en Examens (CvTE) de fout(en) niet wil toegeven, er dus geen onbegrijpelijke correctie in correctievoorschrift of N-term is geweest. En een kort geding is uitgebleven. Een eitje, zou ik denken. Dan is het toch bizar te ontdekken hoeveel wonderlijke zaken er bij alleen al deze ene eindexamenvraag aan de orde zijn. En we weten dat de eindexamens Frans in 2017, niet voor het eerst trouwens, nog veel meer ongerechtigheden bevatten, waar ook de kortgedingrechter niet goed mee wist om te gaan. Om de zaken overzichtelijk te houden zal ik eerst de feiten zo volledig mogelijk weergeven, met telkens een eenvoudige en vrijwel objectieve analyse. Dat laatste is bijvoorbeeld de weergave van wat er in woordenboeken is te vinden. In het tweede deel van de blog behandel ik de testpsychologisch misgelopen zaken, plus wat er nog meer aan bijzonderheden aan dit casus kleeft. Het is spannend, want het CvTE staat in de schijnwerpers van de belangstelling van het Nederlandse publiek, van zijn toezichthouder de Onderwijsinspectie, en van de politiek.

De examenmaterialen die ik in het volgende volledig citeer zijn afkomstig van www.examenblad.nl eindexamen havo Frans 2017, 1e tijdvak.

Deel 1. De feiten

Vraag 35, hier hoort tekstfragment 10 bij, daarvan de 3e alinea.

  • Geef van elke bewering aan of deze wel of niet overeenkomt met de derde alinea.

    1  Tijdens een poging om aan de politie te ontsnappen, is Simon gewond 
geraakt. 

    2  Simon is al verscheidene keren door de politie gearresteerd. 


    Noteer ‘wel’ of ‘niet’ achter elk nummer op het antwoordblad.

Vraag 35 levert 1 punt op, maar alleen als beide deelvragen ‘goed’ zijn beantwoord. Ons casus gaat over de 2e deelvraag. Probeer, voor een goed begrip van waar het in dit casus om gaat, om die deelvraag eerst zelf te beantwoorden, voordat u na de Franse tekst verder leest. Tekst 10 gaat over gevelacrobaat Simon, daarover kan bij kandidaten geen misverstand bestaan, de tekst gaat vergezeld van een foto. Zonder deze context te kennen is de derde alinea nogal onbegrijpelijk (maar is de vraag toch wel te beantwoorden).

De derde alinea van tekst 10.

  • Mais ne pensez pas l’y suivre aussi simplement. Il s’entraîne tous les jours à enjamber, bondir et bien tomber pour ne pas se blesser : « Il suffit que je sois en avance à un rendez-vous pour que je m’exerce sur le mur le plus proche de moi. » Il s’est déjà cassé les poignets et il a été arrêté plusieurs fois par la police, alertée qu’un drôle d’individu se promène à 30 mètres du sol : « Les gens peuvent vite imaginer que je suis un voleur. Mais je n’ai jamais fait de garde à vue : les policiers voient tout de suite que je suis totalement inoffensif. » 


Correctievoorschrift vraag 35  maximumscore 1

  • 1 niet
  • 2 wel

    
indien twee correct 1 punt, 
indien één of geen correct 0 punt


Volgens het CvTE is Simon verscheidene keren gearresteerd. Is dat inderdaad zo?

  • Larousse Lexis (1989) geeft bij arrêter drie lemma’s: 1. staande houden; 2. gevangen nemen; 3. vaststellen.
  • Van Dale Groot woordenboek Frans-Nederlands (2e 1990) geeft twee lemma’s: I stilhouden (stoppen, blijven staan, ophouden); II 0.1 tegenhouden (des agents arrêtent la foule: agenten houden de menigte tegen; arrêter un passant pour lui parler: een voorbijganger aanspreken), 0.2 arresteren (aanhouden), 0.3 bepalen, 0.4 in de rede vallen, 0.5 afsluiten.
  • Van Dale Groot woordenboek der Nederlandse taal (1984), arresteren: 1. in hechtenis nemen, aanhouden, 2. beslag leggen, 3. bij besluit vaststellen.
  • Idem, aanhouden: I.1 vasthouden, verhinderen verder gaan: iemand aanhouden, op straat aanspreken; (als justitiële handeling), hem aangrijpen en vasthouden (zo nodig) om hem eens naar een plaats van verhoor te geleiden, arresteren.

Constateer dat het Franse arrêter zowel de betekenis van staande houden als van in hechtenis nemen kan hebben, en dat de Lexis ‘staande houden’ als eerste noemt.
Constateer dat het Nederlandse ‘arresteren’ zowel de betekenis van aanspreken, als van in hechtenis nemen kan hebben.
Constateer dat het Frans en het Nederlands met deze dubbele betekenissen van arresteren dicht bij elkaar liggen.

De passage il a été arrêté plusieurs fois par la police is op zichzelf dubbelzinnig, de examenvraag kan dus niet op basis van deze informatie alleen worden beantwoord. Dan moet de context dus duidelijk maken of er sprake is van staande houden, danwel van in hechtenis nemen.

  • Larousse Lexis (1989) geeft bij garde à vue, I.3: institution qui permet à la police de garder pendant une période limité toute personne suspecte. Zeg maar: een politiecel.
  • Van Dale Groot woordenboek Frans-Nederlands (2e 1990) II 6.2 garde à vue: voorlopige hechtenis.

Constateer dat Simon zegt dat hij nooit in voorlopige hechtenis is genomen / nooit in een politiecel is beland.
Constateer dat vertalen van garde à vue niet echt nodig is, want de laatste passage les policiers voient tout de suite que je suis totalement inoffensif is voldoende aanwijzing dat agenten hem nooit in hechtenis hebben genomen.
Constateer dat de kandidaat bij vraag 35 moet gokken wat de vragensteller heeft bedoeld met ‘arresteren’, want als het simpel staande houden is dan is Simon verscheidene keren door de politie staande gehouden, maar als het in hechtenis nemen is, dan is Simon nooit in hechtenis genomen.
Wat zou de kandidaat kunnen helpen bij het maken van zijn gok? Als de kandidaat zou weten dat gevelacrobaten eigenlijk nooit in hechtenis worden genomen, dan helpt dat niet om het gokje te maken. Als de kandidaat zou weten of vermoeden dat in het Nederlands met ‘arresteren’ meestal in hechtenis nemen wordt bedoeld, zeker als er in de context tevens sprake is van politie die dat arresteren doet, dan geeft het nooit in hechtenis genomen zijn van Simon uitsluitsel: het antwoord moet ‘niet’ zijn.

Constateer dat het bij vraag 35 van tweeën een is: ofwel het correctievoorschrift is fout, ofwel het is goed maar dan hinkt de vraag op twee verschillende betekenissen van arresteren tegelijk, is dus dubbelzinnig en daardoor niet te beantwoorden.

Oké, er komen dus vragen en bezwaren binnen bij het CvTE, mogen we aannemen, waaronder een bezwaar van Charlotte Goulmy, waarop het CvTE per email als volgt heeft gereageerd.

Antwoord van het CvTE op bezwaar tegen het correctievoorschrift

  • [CvTE E-mail Kenmerk: 10345 , in antwoord op mevrouw Goulmy]
    tekst 10, vraag 35: Naar onze mening is er geen aanleiding om de tweede stelling als foutief te bestempelen. Het Franse woord ‘arrêter’ kent een paar verschillende verwante betekenissen in het Frans (alsook in het Nederlands), en de vertaling arresteren is een simpele die tevens voor leerlingen makkelijk te begrijpen is zonder dat hij/zij zich zorgen hoeft te maken over juridische details. In de tekst staat overigens wel een juridisch detail, namelijk garde à vue, wat niet van toepassing is op Simon, maar, mocht een leerling dit in detail uitgeplozen hebben (wat wij niet verwachten van de leerlingen en dat ook niet nodig is om de bewering te bekijken) dan is dat compatibel met wat wij Nederlanders onder arresteren verstaan (het Franse politie-systeem werkt niet altijd op dezelfde manier als het Nederlandse).

  • Dictionnaire des Termes Juridiques: Garde à vue (dr. pén.): Maintien dans les locaux de la police pendant une durée légalement déterminée de toute personne devant rester à la disposition de la justice pour répondre aux nécessités de l’enquête.


Constateer: Hier is echt niet iets aan de hand dat juridisch ingewikkeld is, het is voorlopige hechtenis in een politiecel.

Constateer dat wat het CvTE in zijn antwoord allemaal beweert nogal willekeurig, slordig, en onjuist is. Het springende punt is echter dat het CvTE hier geen fouten toegeeft, en dus niet met een wijziging op het correctievoorschrift komt. Voor het beoordelen van het examenwerk op vraag 35 komen leraren dan voor een dilemma te staan, want het CvTE waarschuwt ze nadrukkelijk voor het volgende.

  • Status: regelgeving
    Het CvTE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift.
    Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat, neemt hij contact op met het Examenloket (examenloket@duo.nl).

Constateer dat de leraar hier door het CvTE wordt gedwongen om valsheid in geschrifte te plegen, namelijk om kandidaten die ‘niet’ hebben geantwoord, nul punten voor vraag 35 toe te kennen omdat zij het goede antwoord hebben gegeven.
Hoeveel leraren hun integriteit als leraar laten prevaleren boven de regelzucht van het CvTE is niet bekend. Ik heb begrepen dat bij reguliere analyse op een fractie van de examens blijkt dat bijna 80% van de kandidaten een punt voor vraag 35 heeft gekregen. Maar onbekend is voor hoeveel kandidaten het antwoord ‘niet’ volgens CvTE-voorschrift met nul punten is beloond, hoeveel van hen desondanks het punt wel hebben gekregen (afhankelijk van het antwoord op de eerste deelvraag). Door de ongelukkige combinatie van twee vragen voor 1 punt weten we ook niet voldoende over hoe iedere deelvraag het afzonderlijk heeft gedaan. Daarmee is ook niet bekend of de rekenmeesters van het Cito deze vraag 35 er op basis van pilot-gegevens al uit hadden kunnen vissen als waarschijnlijk verkeerd gesleuteld.

Het bovenstaande zijn feiten en eenvoudige constateringen rond vraag 35 havo 1e tijdvak 2017. Hoe kijkt een onafhankelijk examenspecialist naar dit dossier, en wat weten we hiermee over de kwaliteit van het functioneren van het CvTE? Dat wordt deel 2 Wat leren we ervan?

Deel 2. Duiding. Wat leren we ervan?

Is het uitgebreid behandelen van examenvragen-met-een-vlekje zinvol?

Als er met examenvragen dingen misgaan, en we laten na om dat tot op de bodem uit te zoeken, dan zullen er dingen blijven misgaan. Dat kan Nederland zich niet veroorloven. Het is daarom echt van de gekke dat we een examenautoriteit hebben die vrijelijk zijn autoritaire gang kan gaan zonder checks and balances. Immers, in het hoger onderwijs kennen we wel degelijk een behoorlijke beroepsgang bij examencalamiteiten. Niet alleen ontbreekt zoiets voor de eindexamens vo, bovendien wijzen alle instanties in de examenketen hun verantwoordelijkheid af: er is niemand echt aanspreekbaar, de politiek, de minister, de Inspectie, het Cito, het CvTE zelf, ze laten het allemaal afweten. De correspondentie die Charlotte Goulmy al jaren voert, getuigt ervan (bijlagen bij blog). Het meest ongelooflijke afschuiven van verantwoordelijkheid: de CEO van het Cito, destijds Marten Roorda, verklaart openlijk dat het Cito niet verantwoordelijk is voor de inhoudelijke kwaliteit van de examens die het voor het CvTE maakt. Zoiets als: directeur ziekenhuis verklaart dat het ziekenhuis niet verantwoordelijk is voor de kwaliteit van de zorg. Dat was een dieptepunt van jewelste in de geschiedenis van de testpsychologie. O ja, en daarna is de ramp van de rekentoets gewoon doorgegaan: kosten een half miljard, en weer een decennium dat er niet is ingegrepen in het verrommelde rekenonderwijs zelf.

  • twitter 12:08 AM 9 Oct 13 Marten Roorda: “Voor alle duidelijkheid: #Cito is geen partij bij vaststelling van inhoud Rekentoets en typen opgaven. Cito voert de richtlijnen van CvE uit.”


Ja, het is van belang om aandacht te schenken aan examenvragen-met-een-vlekje. We moeten ervan leren. Dat besef is in de wereld van psychologen die verantwoordelijkheid dragen voor tests en voor examens sterk aanwezig, maar daarbuiten kennelijk een paar onsjes minder. Voor meer info zie mijn hoofdstuk over kwaliteit van toetsvragen, met onder andere verwijzingen naar richtlijnen en jurisprudentie.

Behoren onjuiste uitspraken wel tot de stof voor het examen?

  • Geef van elke bewering aan of deze wel of niet overeenkomt met de derde alinea.


Kandidaten mogelijk onjuiste uitspraken voorleggen, in een examen, is dat eigenlijk wel normaal (vrij naar een bekend politicus)? Misschien ook voor u een verrassende vraag, maar het is toch evident dat de meeste leerstof weinig of geen valse uitspraken bevat, en als die er al zijn dan zijn ze er met goede reden. Hoe kunnen mogelijk onjuiste uitspraken dan toch in een examen terecht komen? Dat kan, omdat we in eigen land al sinds de zestiger jaren de weg een beetje zijn kwijtgeraakt als het op toetsen aankomt: De Groot & Van Naerssen, ondanks hun grote verdiensten op ander gebied, maakten ons toen (1969) wijs dat keuzetoetsen de enig juiste vorm van toetsen zijn. Hoewel veel keuzen best authentiek zijn, zijn de meeste keuzen in keuzevragen kunstmatig, gefabriceerd, omdat het onjuiste uitspraken, alternatieve feiten, of foute data zijn. Allemaal zaken die onmogelijk tot de examenstof kunnen behoren. Dat mag alleen al duidelijk zijn uit de onbegrensdheid van het universum van mogelijk onjuiste uitspraken.
Wat niet tot de examenstof behoort, en toch wordt gevraagd, is verwarrend voor de examenkandidaat. Erger nog, door leerlingen onjuiste informatie voor te houden, is er alle kans dat zij deze onjuiste informatie leren — dat kan voor onderwijs toch niet de bedoeling zijn. Bij het toetsen op tekstbegrip kan de leerling of examenkandidaat in de war worden gebracht door uitspraken die onjuist zijn, of zouden kunnen zijn. Waar zijn we helemaal mee bezig als we denken dat dit allemaal maar kan? Denkt u ook dat dit geen goede psychologie kan zijn? Join the club. Goed, ik moest dit even kwijt.
Ter zake. De kandidaat moet ‘wel’ of ‘niet’ antwoorden. Merk op dat dit absolute oordelen zijn. Verwant aan universele quantoren zoals in ‘Alle zwanen zijn wit’. In de werkelijke wereld zijn zaken zelden absoluut. Wie vraagt naar het juist of onjuist zijn van uitspraak, en geen ruimte geeft voor een eventuele toelichting op de gemaakte keuze, is niet professioneel bezig.

  • De baan van de aarde om de zon is cirkelvormig. ja / nee
    zie ook keuzevragen

Er moet ruimte zijn voor de leerling die ‘nee’ antwoordt omdat die baan ellipsvormig is. De kandidaat moet ruimte hebben om te schrijven dat zij ‘arresteren’ opvat als staande houden.

Bij dubbelzinnige vragen moet de kandidaat, ter bewaring van zijn recht, aan kunnen geven hoe hij de dubbelzinnigheid heeft gezien en aangepakt.

Dubbelzinnige vragen moeten tijdig worden afgevangen

Het CvTE had de dubbelzinnigheid in vraag 35 eenvoudig kunnen voorkomen door niet te vragen naar verscheidene keren gearresteerd zijn, maar naar in hechtenis genomen zijn, danwel staande gehouden zijn, al naar gelang wat precies speelde in de gedachten van de ontwerpers. Waarom is dat niet gebeurd? Willens en wetens een dubbelzinnigheid laten bestaan is een kunstfout, dus de ontwerpers zijn zich er helemaal niet van bewust geweest?

Veel ontwerpers van toetsvragen zijn zich onvoldoende bewust van de mate van dubbelzinnigheid in teksten, toetsvragen en bijgaande illustraties. Tekst is eigenlijk altijd voor meerdere uitleg vatbaar, en daar hoeft de lezer zich niet eens van bewust te zijn. De duiding van tekst verloopt volautomatisch door autonome hersenprocessen, buiten ons bewustzijn. Hetzelfde geldt voor afbeeldingen bij examenopgaven. In de rekentoets (ja, die rekentoets) is het van meet af aan vaste prik geweest dat de gebruikte contexten vaak dubbelzinnig waren. De stelling laat zich verdedigen dat voor contextopgaven rekenen en wiskunde geldt dat deze in principe altijd dubbelzinnig, meerduidig, zijn. En dat gaat niet goed samen met het absoluut eenduidige karakter van wiskunde. In de rekentoetsramp is de Nederlandse jeugd daar massaal het slachtoffer van gemaakt, tegen alle waarschuwingen van meet af aan in.

Dubbelzinnige vragen zijn lastig af te vangen, maar wie er niet zijn best voor doet vangt nooit wat. Wanneer ontwerpers gezellig samen de nieuw ontworpen vragen doornemen is de kans op het vinden van rare dingen klein. De juiste procedure is om nieuw ontworpen vragen onafhankelijk van elkaar te beoordelen, en wel zo kritisch mogelijk: probeer ze af te branden. Dit schijnt een werkwijze te zijn die Cito en CvTE volkomen onbekend is, en als het anders is dan hoor ik dat wel.

Examenstrategie bij vragen naar tekstbegrip

Zo’n examen gaat vergezeld van enorme lappen tekst, met telkens heel veel informatie, die onmogelijk door de kandidaten in een keer opgenomen en onthouden kan worden. Telkens moet de kandidaat strategisch kiezen: hoe goed moet ik hoeveel van de betreffende tekst bestuderen? Welke rol kan dat spelen bij dit casus ‘arresteren’? De kandidaat die alleen naar het deel van de zin met ‘arrêter’ kijkt, kan makkelijk nat gaan. Waarschijnlijk, maar zeker weten kunnen we dat niet, is zoiets hier gebeurd: de meeste havisten hebben niet verder gekeken dan dit deel van de zin. En het CvTE vind dat prima, afgaande op de geciteerde CvTE-email!
Deze examens die vooral mikken op tekstbegrip zijn behoorlijk kwetsbaar voor examentrucjes die zomaar een of twee cijferpunten extra op kunnen leveren. Wat toetsen ze dan? Dat is ook bij ons casus de vraag: wat toetst die vraag verscheidene keren in hechtenis genomen zijn eigenlijk? Grappig is dat alinea 3 uit tekst 10, de tekst over gevelacrobaat Simon, op zich al demonstreert dat achtergrondkennis belangrijker kan zijn dan tekstbegrip (als zoiets al bestaat in psychologische zin): zonder de context van gevelacrobatiek te hebben, is de alinea deels abracadabra. Als u weet wat een examen vreemde taal zoals dit examen Frans eigenlijk examineert, dan mag u het mij zeggen; ik weet het al enige tijd niet meer. Het heeft nog wel met Frans te maken, mar dat is dan ook het enig positieve dat ik kan bedenken.

De fijne nuances, moet de kandidaat daar nu wel of niet rekening mee houden?

Het CvTE vindt dat de kandidaat niet hoeft te weten wat garde à vue betekent om de gestelde vraag te kunnen beantwoorden. Maar ja, hoe gaat dat vaak bij examens: het genuanceerde denken dat bij de ene vraag bepaald niet de bedoeling is, is dat bij andere vragen dan toch weer wel. Gestoord zou je er als kandidaat van worden.
Bij een graag naar zichzelf toe rekenend instituut als het CvTE laten de fijne nuances zich makkelijk misbruiken: in het ene geval komt het goed uit om te verklaren dat het natuurlijk niet om fijne nuances gaat, zoals bij deze vraag 35; in andere gevallen komt het juist goed uit om uit te leggen dat de kandidaten de fijne nuance hadden moeten opmerken. Het probleem zit dus aan twee kanten: zowel examenvragen zelf die niet consistent zijn op het punt van fijne nuances, als de verdediging van het CvTE tegen bezwaren tegen examenvragen.
Waar hem de kneep ook zit, de kandidaten zijn de dupe van onvermogen van Cito en CvTE om fijne nuances in examenvragen te beheersen.
Wie mijn uitvoerige oefeningen in het kritiseren van rekentoetsopgaven wel eens heeft gezien, weet dat ik grossier in kritiek op fijne nuances. De reden daarvoor is allereerst dat landelijke examens gewoon perfecte vragen moeten hebben, daar moeten geen smetten aan kleven, hoe klein ook. Een tweede reden is dat kleine smetten zelden alleen komen. En dat ze in vele andere vragen terug plegen te komen. Kleine smetten zijn al gauw een plaag, en dan hebben we het over examens die voor kandidaten een hel kunnen zijn om ze te maken. Als hoogleraar didactiek van de wiskunde Jan van de Craats misselijk wordt van het achter elkaar maken van de contextopgaven van een enkele rekentoets (zie hier), dan geeft dat aardig aan wat ik bedoel.
Terug naar dat toetsen van tekstbegrip. Dit is een gekte die over de hele aardkloot verspreid is. De misvatting is dat het begrijpen van tekst een algemene vaardigheid is die te leren, en dus te onderwijzen valt. Nee hoor, algemene vaardigheden bestaan niet. Trucjes om vragen tekstbegrip te beantwoorden zijn er natuurlijk wel, maar het onderrichten van deze studiestrategieën vergt weken, geen jaren. Zie de publicaties van Daniel Willingham over lezen en tekstbegrip blog, info, vimeo, en pdf. Belangrijk! Doen! Ook jullie, bij Cito en CvTE!

Ontwerp-technisch gezien deugt vraag 35.2 van geen kant

Een woordenboek als de Larousse Lexis als criterium nemen, is dat wel gepast bij een examenvraag op havo-niveau? Of moeten we door de knieën gaan en op het niveau van de havist denken? De vraag stellen is hem beantwoorden. Het is een examen, toch?
In dit geval wijst het raadplegen van professionele woordenboeken uit dat het spreken over ‘arresteren’ leidt tot een fatale dubbelzinnigheid in de vraagstelling van 35.2 omdat het nu eenmaal zowel in het Frans als in het Nederlands allereerst aanspreken of staande houden betekent, daarna ook nog in hechtenis nemen.
Kandidaten moeten niet alleen de passage met ‘arrêter’ zorgvuldig bestuderen, maar ook verband leggen met de beide uitspraken van Simon aan het eind van dezelfde zin. Misschien is dat laatste in het hele ontwerpproces door Cito en CvTE over het hoofd gezien, dat zou dan helemaal van de gekke zijn. Ik vind dat bij deze combinatie van moeilijkheidsfactoren wel de vraag past of dit nog wel havo-niveau is, maar ik heb niet de expertise om dat zelf te beoordelen. Ik constateer dat de vraag in ieder geval voor de ontwerpers zelf, voor de CvTE-vaststellingscommissie, en voor het CvTE in antwoord op bezwaren tegen deze vraag 35 te moeilijk is gebleken: falen om het onderscheid tussen aanspreken en in hechtenis nemen te maken, en falen om het verband met de laatste uitspraken van Simon te leggen (garde à vue, en agenten die onmiddellijk inzien dat het om iets onschuldigs gaat, want gevelacrobatiek en geen inbraak.

Een tekst en een vraag (inclusief het correctievoorschrift!) kunnen te moeilijk zijn of blijken voor de doelgroep, dat zou onder andere bij een pilot vooraf kunnen blijken. Probleempje is dan bij een geval als deze gemankeerde vraag 35 dat een pilot niet hoeft uit twijzen dat de vraag in feite te moeilijk is. Een pilot is geen waterdicht vangnet voor gebreken in de vraagstelling of het correctievoorschrift.
Een alternatief is: een groep inhoudelijk experts onafhankelijk van elkaar deze vraag 35 laten beantwoorden en van commentaar voorzien. Dat hadden zowel het Cito als het CvTE dus moeten doen.

  • [CvTE E-mail Kenmerk: 10345 , in antwoord op mevrouw Goulmy]
    tekst 10, vraag 35: Naar onze mening is er geen aanleiding om de tweede stelling als foutief te bestempelen. Het Franse woord ‘arrêter’ kent een paar verschillende verwante betekenissen in het Frans (alsook in het Nederlands), en de vertaling arresteren is een simpele die tevens voor leerlingen makkelijk te begrijpen is zonder dat hij/zij zich zorgen hoeft te maken over juridische details. In de tekst staat overigens wel een juridisch detail, namelijk garde à vue, wat niet van toepassing is op Simon, maar, mocht een leerling dit in detail uitgeplozen hebben (wat wij niet verwachten van de leerlingen en dat ook niet nodig is om de bewering te bekijken) dan is dat compatibel met wat wij Nederlanders onder arresteren verstaan (het Franse politie-systeem werkt niet altijd op dezelfde manier als het Nederlandse).

Het CvTE zegt dat ‘arrêter’ vertalen met ‘arresteren’ simpel is. Gezien de de dubbele betekenissen van aanspreken en in hechtenis nemen is is deze vertaling allesbehalve simpel, en graaft mogelijk een diepe valkuil.
Deze vertaling zou voor leerlingen ook makkelijk te begrijpen zijn. Maar dat is een onbegrijpelijk uitspraak, want of iets makkelijk te begrijpen is hangt van de context af, en in dit geval plaatste die context (garde à vue, en agenten die onmiddellijk zagen dat deze gevelacrobatiek onschuldig was) de leerlingen juist voor probleem.
Het CvTE: de leerlingen zouden zich zorgen kunnen maken over juridische details maar dat zouden ze bij deze vraag 35 juist niet hoeven doen. Ik weet niet wat het CvTE er hier allemaal bij sleept, de vraag gaat bepaald niet over typisch juridische kennis.
Het CvTE noemt het begrip ‘garde à vue’ een juridisch detail, maar het is gewoon een Franse uitdrukking voor hechtenis of politiecel. Vindt het CvTE echt dat de leerlingen de vertaling van ‘garde à vue’ niet paraat hoeven te hebben? Maar wat betekent het dan nog wanneer een examenvraag gaat over de betekenis van iets in de context van bijlagetekst 10?
Het CvTE zegt hier met zoveel woorden dat ‘garde à vue’ niet van toepassing is op Simon. Dat lijkt dubbelzinnig, maar is het niet, want uit de context is duidelijk dat het CvTE meent dat hier niet staat dat Simon nooit in hechtenis is genomen. Een heterdaadje, want het staat er wel degelijk.
‘… compatibel met wat wij Nederlanders onder arresteren verstaan’ En wat is dat dan, beste CvTE? Arresteren heeft immers meerdere mogelijke betekenissen, evenals het Franse arrêter. Het CvTE geeft zichzelf ook geen enkele kans om dubbelzinnigheden te ontdekken, het blijft maar spreken over arresteren alsof dat een eenduidig woord is.

Stel dat het CvTE de fout had erkend, wat had het kunnen/moeten doen om de schade te beperken?

Tijdig erkennen van de fout zou geleid hebben tot een herzien correctievoorschrift: het goede antwoord moet ‘niet’ zijn. Het antwoord ‘wel’ kan niet goed worden gerekend. Het kan zijn dat dan ook pas blijkt dat de vraag voor te veel havisten te moeilijk was. Achteraf corrigeren voor te moeilijke vragen kan helemaal niet. Het CvTE grijpt dan makkelijk naar een N-term-correctie, maar dat is iets anders dan een correctie voor moeilijkheid van een enkele examenvraag. Zie ook hier.
In andere gevallen (de rode jurk, vwo Frans 1e tijdvak 2017) kiest het CvTE er voor om toch het objectief ‘foute’ ook goed te blijven rekenen. Maar dat kan natuurlijk niet, dat corrumpeert het examen als examen.

Hoe is een vraag zoals dit casus ‘arrestatie’ eigenlijk mogelijk?

Dat zo’n vraag ook maar wordt bedacht, en door alle checks op kwaliteit heen banjert, en dat het CvTE zelfs na protest nog volhoudt dat alles oké is?

Laat ik nu eens kort zijn. Mijn vermoeden is dat het Cito en het CvTE nalaten om bij de ontwikkeling van examenvragen zoveel mogelijk te werken met onafhankelijk van elkaar operende beoordelaars van de voorstellen die op tafel komen. Daarnaast laat de afhandeling van bezwaren bij de examens Frans zien dat er reden is tot gerede twijfel aan de vakkundigheid van de betreffende vakcommissieleden/voorzitters. Een derde zou wel eens kunnen zijn dat statistische controle op individuele examenvragen te veel op de automatische piloot gebeurt (dit is ook wel een lastig puntje, je zou statistische en inhoudelijke deskundigheid graag in één en dezelfde persoon verenigd zien).

En checks en balances van buiten, in overleg met vakverenigingen, voordat examenvragen het drukproces in gaan. Op dit punt heeft het CvTE al eens eerder goede voornemens geuit, en na de examens 2017 in versterkte mate. Laten we blijven hopen.

Een algemeen verbindend voorschrift dat professionals de handen bindt, kan dat eigenlijk wel?

  • Status: regelgeving
    Het CvTE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift.
    Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat, neemt hij contact op met het Examenloket (examenloket@duo.nl).

Dit is vooral ook een juridische vraag: een voorschrift dat verplicht om, in gevallen zoals deze vraag 35, valsheid in geschrifte te plegen, dat is toch nietig? info over avv Maar laat het vooral niet alleen aan juristen over, koers op je eigen rechtsbewustzijn en dat van je collega’s.

Wie toch iets meer wil weten over het boeman-argument van het CvTE raadplege ook de Wet College voor toetsen en examens. Begin dan met artikel 8, dat terugverwijst naar artikel 2 en 5 (5 is specifiek voor staatsexamens).

  • 8 De regelingen, bedoeld in het tweede lid, onderdelen e en f, en vijfde lid, onderdeel a, treden slechts in werking na goedkeuring door Onze Minister. Onze Minister kan zijn goedkeuring onthouden wegens strijd met het recht of het algemeen belang.
  • 2 Het college is belast met de volgende taken op het gebied van de centrale examens, bedoeld in de Wet op het voortgezet onderwijs, de Wet voortgezet onderwijs BES, artikel 7.4.11 van de Wet educatie en beroepsonderwijs en artikel 7.4.13 van de Wet educatie en beroepsonderwijs BES en de daarop berustende bepalingen:
    • a. het vaststellen van het aantal toetsen, de tijdsduur en de aard van de toetsen, overeenkomstig het examenprogramma;
      b. het vaststellen van het tijdstip van de toetsen, de wijze waarop en de vorm waarin de toetsen worden afgenomen;
      c. het tot stand brengen en vaststellen van de opgaven;
      d. het tot stand brengen en bij regeling vaststellen van de beoordelingsnormen en de daarbij behorende scores;
      e. het geven van regels voor de omzetting van de scores in cijfers;
      f. het tot stand brengen en bij regeling vaststellen van syllabi, overeenkomstig het examenprogramma; en
      g. het geven van regels met betrekking tot de hulpmiddelen die gebruikt mogen worden bij het maken van de opgaven.


Constateer dan, met mij, dat artikel 2 lid d gaat over het het regelen van de correctievoorschriften, en dat voor die regeling geen goedkeuring van de minister nodig is. Nu claimt het CvTE dat de regeling voor de correctievoorschriften een algemeen verbindend voorschrift avv is, maar als ik me niet vergis dan is het CvTE geen instantie die zelfstandig avv’s kan uitvaardigen, en die ook nog aan Nederland opleggen zonder dat ze behoorlijk in het Staatsblad zijn gepubliceerd.
Interessant detail is nog dat boeman CvTE wel hard roept dat zijn regeling een algemeen verbindend voorschrift is, wat waarschijnlijk dus niet waar is, maar aan overtreding ervan geen sanctie verbindt. Achteraf sancties bedenken kan natuurlijk niet, dus dit zogenaamde avv van het CvTE kan straffeloos worden overtreden.

Beste mensen, ga af op uw rechtsgevoel als professional, en doe bij het nakijken van examenwerk wat volgens uw expertise nodig is, gezien het correctievoorschrift van het CvTE.

Een CvTE dat broddelwerk aflevert zoals dit casus laat zien, heeft dat wel bestaansrecht?

Het CvTE heeft vele taken. Maar het is ook de waakhond voor de kwaliteit van onze eindexamens (en een eindtoets basisonderwijs). Het is een waakhond van niks, want er bestaat bij het CvTE nog geen begin van enig inzicht wat kwaliteit van examens is. Toch is dit een onderwerp waarover wel eens eerder is nagedacht. Er zijn tal van organisaties die richtlijnen, standaarden en codes hebben opgesteld: het Nederlands Instituut van Psychologen (1988), American Psychological Association / National Council on Measurement in Education / American Educational Research Association (de Standards van deze organisaties zijn wereldwijd toonaangevend). Enzovoort.

  • AERA, APA & NCME (1999). The Standards for Educational and Psychological Testing. zie hier
  • American Psychological Association. Joint Committee on Testing Practices (2000). Rights & responsibilities of test takers: Guidelines and expectations. Washington, DC. American Psychological Association. webpagina

  • M. Job Cohen (1981). Studierechten in het wetenschappelijk onderwijs Proefschrift Rijksuniversiteit Leiden. Zwolle: Tjeenk Willink. deel 1 (t/m blz 100), deel 2 blz 102-149, deel 3 blz 150-197 en deel 4 bijlage, samenvatting, literatuur, index
  • L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Model gedragscode toetsen, beoordelen en beslissen in het voortgezet onderwijs. Enschede: OCTO. isbn 9036510899. scan
  • Willem K. B. Hofstee (1999). Principes van beoordeling: Methodiek en ethiek van selectie, examinering en evaluatie. Swets & Zeitlinger.
  • NIP (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. Toetsgebruik in het onderwijs. pdf

Dat het CvTE hier geheel onkundig van is, blijkt voor de expert uit ongeveer ieder stuk waarin het CvTE reageert op gesignaleerde problemen. Ik zal het uitleggen aan de hand van een specifiek geval. In het tijdschrift Examens geven Wilbrink, Hulshof en Pfaltzgraff pdf een analyse waarom de rekentoets niet valide is. ‘Niet valide’ is een technische term in de testpsychologie, en betekent dat de betreffende toets de kwaliteiten mist die hij zou moeten hebben. Een rekentoets moet rekenen toetsen, bijvoorbeeld. Het CvTE reageert op de kritiek met een betoog (Kastelein pdf) dat voor de ontwikkeling van de rekentoets alle procedures correct zijn gevolgd. Maar zo kan het dus niet, hier geeft het CvTE er blijk van gewoon niet te weten wat validiteit is, een onderwerp waaraan handboeken educational measurement al ongeveer een eeuw op zijn minst een uitgebreid hoofdstuk aan besteden. Het is om te huilen. Het CvTE is als een ziekenhuis waarin geen chirurg is te bekennen.

Het CvTE is een organisatie die draait op leraren. Natuurlijk zijn leraren nodig om examenvragen te ontwerpen. Maar dat kan nimmer voldoende zijn: die examenvragen moeten aan hoge kwaliteitseisen voldoen, en daar zijn leraren niet voor opgeleid. Hebben betrokken leraren dat zelf in de gaten? Ik vermoed van niet, afgaande op reacties van het CvTE (in dit geval voorzitters van vaststellingscommissies, naar ik mag aannemen) op ingebrachte bezwaren tegen specifieke examenvragen. Daar gaat tenslotte heel deze blog over.

Wat zou er met/door het CvTE gedaan moeten worden?

De eerste wederzijdse kennismaking met het CvTE was tijdens een toetscongres in Nieuwegein. CvE-voorzitter Henk Laan besprak het organogram van zijn organisatie. Mijn publieke vraag daarover: waar is een afdeling Research en Development met echte expertise op het terrein van testen en toetsen? Laan was blij met die vraag, hij kon nog eens uitleggen, met ambtenaren van OCW onder zijn toehoorders, dat zo’n afdeling een grote wens van hem was, dat die wens bekend was bij OCW, maar dat de middelen ervoor niet beschikbaar werden gesteld.

Het CvTE moet uiteraard relevante toetspsychologische expertise in huis hebben, niet alleen voor kwaliteitsbewaking, maar ook voor ontwikkeling van het denken over examens en hun plek in het onderwijsgebouw. Het CvTE zou voor dit deel van zijn taak geadopteerd kunnen worden door universitaire vakgroepen testpsychologie (in feite was dat het bestuursmodel van het Cito voordat het verzelfstandigd werd: grote betrokkenheid van methodologen en testexperts zoals Pieter Drenth uit onze faculteiten psychologie).

Ceremoniële eindexamens zijn misschien een betere optie dan onze toch wel bureaucratisch uit de klauwen gelopen centrale schriftelijke eindexamens (o.a. bepleit door Cornelis Verhoeven, als ik het goed heb). De menselijke maat terug in het onderwijs. Voor de bewaking van het niveau van ons vo is het echt niet nodig alle leerlingen aan schriftelijke examens te onderwerpen, dat kan veel en veel eenvoudiger (op basis van een model als de PPON bijvoorbeeld).

referenties

Eindexamens havo Frans 2017, zie voor alle documenten www.examenblad.nl

Ingrid van Engelshoven (21 december 2017). Aanbieding onderzoekskader van de Inspectie van het onderwijs. pdf

Charlotte Goulmy (2017). Fouten in examen Frans die niet erkend worden en tot absurde situaties leiden. Stichting Beroepseer blog [op beroepseer.nl meerdere blogs van Goulmy]

Adriaan D. de Groot & Robert F. van Naerssen (Red.) (1969). Studietoetsen construeren, afnemen, analyseren. Mouton.

Karin den Heijer (20 november 2017). Slecht rekenonderwijs mag wat kosten van het ministerie. nrc blog

Gerard Koolstra (20 november 2017). Ontwikkeling beoordelingsvoorschriften centrale examens v.o. 1978-2017 aan de hand van de wiskunde-examens HAVO. pdf

  • “In sept 1994 publiceert de CEVO een algemeen verbindend voorschrift : de Regeling beoordeling centraal examen”. [Of dat een avv is valt ook nog te bezien, maar het is bepaald iets anders dan afzonderlijke voorschriften avv’s te noemen. Een opvallende verschuiving! b.w.]

Piet Sanders, Arnold Brouwer, Bernard Veldkamp (1 mei 2017). Onderzoek naar de inhoudsvaliditeit van de centrale examens en de afhandeling van onvolkomenheden bij de centrale examens. RCEC. pdf

  • Teleurstellend rapport, want het is geen onderzoek naar validiteit, maar naar procedures en of die gevolgd worden. In de literatuur is dit toch wel voldoende gekritiseerd als face validity, fake validity dus. Hoe kan dat nou? Vermoedelijk heeft het CvTE de opdracht in die termen geformuleerd, en heeft het RCEC de opdracht in die termen aanvaard. Zo komen we in Nederland dus nooit uit de examenproblemen. b.w.

Ben Wilbrink (1986). Toetsen en testen in het onderwijs. S.V.O. Jaarverslag/Jaarboek 1985, 275-288. Den Haag: Stichting voor Onderwijsonderzoek. webpagina

Ben Wilbrink (w.i.u). Kwaliteit van toetsvragen. Hoofdstuk 8 in Toetsvragen ontwerpen, een project in uitvoering. webpagina [herziening van Aula 809, 1983, Toetsvragen schrijven]

Ben Wilbrink (20 september 2017). Examenonrecht ‘en effet’ blog

  • In deze blog komt uitvoerig aan de orde hoe het CvTE denkt dat achteraf gebleken fouten in examenvragen eerlijk gecorrigeerd zouden kunnen worden met een N-term-correctie. Niet dus. Het CvTE handelt bovendien in strijd met zijn wettelijke bevoegdheden, maardat heeft de voorzieningenrechter in augustus over het hoofd gezien.

Ben Wilbrink, Joost Hulshof en Henk Pfaltzgraff (augustus 2012). De rekentoetsen zijn niet valide. Dat wordt nog wat, met die rekentoetsen! Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. pdf. Met offiële repliek van het CvTE, door Jan Kastelein (2012). Rekentoetsen vo wel degelijk valide. Examens, Tijdschrift voor de Toetspraktijk, 9 #4, 29-31. pdf. Met op blz. 31 tevens onze dupliek, een korte tekst, dus ook maar hier:

    In ons artikel spreken wij het Cito en het CvE aan op hun verantwoordelijkheid voor de validiteit van de rekentoets-3F. De uitleg van het CvE gaat in op hetgeen Wilbrink en Hulshof eerder in dit tijdschrift [Examens, 2011, 8(3), 18-22 pdf) kritiseerden; deze dupliek kon het CvE bekend zijn.
    Het CvT geeft blijk het begrip validiteit uit de testpsychologie niet te kennen.
    Validiteit is een empirische kwestie, niet een zaak van overleg, fiat, of procedures. Validiteit-bij-fiat is een misvatting. Het CvE blijft het antwoord schldig op onze analyse van de tekortschietende validiteit van de rekentoets-3F.
    Wij concluderen dat iedere commissie, instelling, ambtenaar en politicus zijn ding deed, zoals het CvE opnieuw opsomt, maar dat dit geen samenhangend beleid opleverde. De samenhang die het CvE ziet is een bureaucratische samenhang-bij-fiat.

Daniel Willingham (March 27, 2017). What happens when you teach children to make inferences while reading?
blog

Daniel T. Willingham (2017). The Reading Mind: A Cognitive Approach to Understanding How the Mind Reads. Jossey-Bass. ISBN: 9781119301370 l info en vimeo

Daniel T. Willingham & Gail Lovette (September 26, 2014). Can Reading Comprehension Be Taught? Teachers College Record. pdf

Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015
webpagina

  • Artikel 7. Vermeende fouten
    1. Indien de examinator of de gecommitteerde meent dat in een toets of in het beoordelingsmodel bij die toets een fout of onvolkomenheid zit, beoordeelt hij het werk van de kandidaten alsof toets en beoordelingsmodel juist zijn.
    2. Degene die in de toets of het beoordelingsmodel een fout of onvolkomenheid meent te hebben geconstateerd kan deze fout aan het College voor Toetsen en Examens meedelen.
    3. Deze mededeling wordt voorgelegd aan de desbetreffende vakcommissie, en indien deze de mededeling als juist aanmerkt, kan de vakcommissie de voorzitter adviseren een beslissing op grond van artikel 10 te nemen.
    4. Het is niet toegestaan zelfstandig af te wijken van het beoordelingsmodel. Met een eventuele fout wordt bij de bepaling van het cijfer voor het centraal examen zoals bedoeld in artikel tweede lid onder e, van de wet College voor Toetsen en Examens, rekening gehouden. [bedoeld is artikel 2, tweede lid onder e, b.w.]

Advertisements

Een foute vraag Frans, en hoe CvTE ermee omgaat. 1: Feiten, 2. Duiding.

Makkelijk een van de meest interessante casus van examenvragen-met-een-vlekje in mijn lange loopbaan: vraag 35 havo 2017, ‘is Simon verscheidene keren door de politie gearresteerd’, of niet? Het is ook een overzichtelijk casus, omdat het College voor Toetsen en Examens (CvTE) de fout(en) niet wil toegeven, er dus geen onbegrijpelijke correctie in correctievoorschrift of N-term is geweest. En een kort geding is uitgebleven. Een eitje, zou ik denken. Dan is het toch bizar te ontdekken hoeveel wonderlijke zaken er bij alleen al deze ene eindexamenvraag aan de orde zijn. En we weten dat de eindexamens Frans in 2017, niet voor het eerst trouwens, nog veel meer ongerechtigheden bevatten, waar ook de kortgedingrechter niet goed mee wist om te gaan. Om de zaken overzichtelijk te houden zal ik eerst de feiten zo volledig mogelijk weergeven, met telkens een eenvoudige en vrijwel objectieve analyse. Dat laatste is bijvoorbeeld de weergave van wat er in woordenboeken is te vinden. In het tweede deel van de blog behandel ik de testpsychologisch misgelopen zaken, plus wat er nog meer aan bijzonderheden aan dit casus kleeft. Het is spannend, want het CvTE staat in de schijnwerpers van de belangstelling van het Nederlandse publiek, van zijn toezichthouder de Onderwijsinspectie, en van de politiek.

De examenmaterialen die ik in het volgende volledig citeer zijn afkomstig van www.examenblad.nl eindexamen havo Frans 2017, 1e tijdvak.

Deel 1. De feiten

Vraag 35, hier hoort tekstfragment 10 bij, daarvan de 3e alinea.

  • Geef van elke bewering aan of deze wel of niet overeenkomt met de derde alinea.

    1  Tijdens een poging om aan de politie te ontsnappen, is Simon gewond 
geraakt. 

    2  Simon is al verscheidene keren door de politie gearresteerd. 


    Noteer ‘wel’ of ‘niet’ achter elk nummer op het antwoordblad.

Vraag 35 levert 1 punt op, maar alleen als beide deelvragen ‘goed’ zijn beantwoord. Ons casus gaat over de 2e deelvraag. Probeer, voor een goed begrip van waar het in dit casus om gaat, om die deelvraag eerst zelf te beantwoorden, voordat u na de Franse tekst verder leest. Tekst 10 gaat over gevelacrobaat Simon, daarover kan bij kandidaten geen misverstand bestaan, de tekst gaat vergezeld van een foto. Zonder deze context te kennen is de derde alinea nogal onbegrijpelijk (maar is de vraag toch wel te beantwoorden).

De derde alinea van tekst 10.

  • Mais ne pensez pas l’y suivre aussi simplement. Il s’entraîne tous les jours à enjamber, bondir et bien tomber pour ne pas se blesser : « Il suffit que je sois en avance à un rendez-vous pour que je m’exerce sur le mur le plus proche de moi. » Il s’est déjà cassé les poignets et il a été arrêté plusieurs fois par la police, alertée qu’un drôle d’individu se promène à 30 mètres du sol : « Les gens peuvent vite imaginer que je suis un voleur. Mais je n’ai jamais fait de garde à vue : les policiers voient tout de suite que je suis totalement inoffensif. » 


Correctievoorschrift vraag 35  maximumscore 1

  • 1 niet
  • 2 wel

    
indien twee correct 1 punt, 
indien één of geen correct 0 punt


Volgens het CvTE is Simon verscheidene keren gearresteerd. Is dat inderdaad zo?

  • Larousse Lexis (1989) geeft bij arrêter drie lemma’s: 1. staande houden; 2. gevangen nemen; 3. vaststellen.
  • Van Dale Groot woordenboek Frans-Nederlands (2e 1990) geeft twee lemma’s: I stilhouden (stoppen, blijven staan, ophouden); II 0.1 tegenhouden (des agents arrêtent la foule: agenten houden de menigte tegen; arrêter un passant pour lui parler: een voorbijganger aanspreken), 0.2 arresteren (aanhouden), 0.3 bepalen, 0.4 in de rede vallen, 0.5 afsluiten.
  • Van Dale Groot woordenboek der Nederlandse taal (1984), arresteren: 1. in hechtenis nemen, aanhouden, 2. beslag leggen, 3. bij besluit vaststellen.
  • Idem, aanhouden: I.1 vasthouden, verhinderen verder gaan: iemand aanhouden, op straat aanspreken; (als justitiële handeling), hem aangrijpen en vasthouden (zo nodig) om hem eens naar een plaats van verhoor te geleiden, arresteren.

Constateer dat het Franse arrêter zowel de betekenis van staande houden als van in hechtenis nemen kan hebben, en dat de Lexis ‘staande houden’ als eerste noemt.
Constateer dat het Nederlandse ‘arresteren’ zowel de betekenis van aanspreken, als van in hechtenis nemen kan hebben.
Constateer dat het Frans en het Nederlands met deze dubbele betekenissen van arresteren dicht bij elkaar liggen.

De passage il a été arrêté plusieurs fois par la police is op zichzelf dubbelzinnig, de examenvraag kan dus niet op basis van deze informatie alleen worden beantwoord. Dan moet de context dus duidelijk maken of er sprake is van staande houden, danwel van in hechtenis nemen.

  • Larousse Lexis (1989) geeft bij garde à vue, I.3: institution qui permet à la police de garder pendant une période limité toute personne suspecte. Zeg maar: een politiecel.
  • Van Dale Groot woordenboek Frans-Nederlands (2e 1990) II 6.2 garde à vue: voorlopige hechtenis.

Constateer dat Simon zegt dat hij nooit in voorlopige hechtenis is genomen / nooit in een politiecel is beland.
Constateer dat vertalen van garde à vue niet echt nodig is, want de laatste passage les policiers voient tout de suite que je suis totalement inoffensif is voldoende aanwijzing dat agenten hem nooit in hechtenis hebben genomen.
Constateer dat de kandidaat bij vraag 35 moet gokken wat de vragensteller heeft bedoeld met ‘arresteren’, want als het simpel staande houden is dan is Simon verscheidene keren door de politie staande gehouden, maar als het in hechtenis nemen is, dan is Simon nooit in hechtenis genomen.
Wat zou de kandidaat kunnen helpen bij het maken van zijn gok? Als de kandidaat zou weten dat gevelacrobaten eigenlijk nooit in hechtenis worden genomen, dan helpt dat niet om het gokje te maken. Als de kandidaat zou weten of vermoeden dat in het Nederlands met ‘arresteren’ meestal in hechtenis nemen wordt bedoeld, zeker als er in de context tevens sprake is van politie die dat arresteren doet, dan geeft het nooit in hechtenis genomen zijn van Simon uitsluitsel: het antwoord moet ‘niet’ zijn.

Constateer dat het bij vraag 35 van tweeën een is: ofwel het correctievoorschrift is fout, ofwel het is goed maar dan hinkt de vraag op twee verschillende betekenissen van arresteren tegelijk, is dus dubbelzinnig en daardoor niet te beantwoorden.

Oké, er komen dus vragen en bezwaren binnen bij het CvTE, mogen we aannemen, waaronder een bezwaar van Charlotte Goulmy, waarop het CvTE per email als volgt heeft gereageerd.

Antwoord van het CvTE op bezwaar tegen het correctievoorschrift

  • [CvTE E-mail Kenmerk: 10345 , in antwoord op mevrouw Goulmy]
    tekst 10, vraag 35: Naar onze mening is er geen aanleiding om de tweede stelling als foutief te bestempelen. Het Franse woord ‘arrêter’ kent een paar verschillende verwante betekenissen in het Frans (alsook in het Nederlands), en de vertaling arresteren is een simpele die tevens voor leerlingen makkelijk te begrijpen is zonder dat hij/zij zich zorgen hoeft te maken over juridische details. In de tekst staat overigens wel een juridisch detail, namelijk garde à vue, wat niet van toepassing is op Simon, maar, mocht een leerling dit in detail uitgeplozen hebben (wat wij niet verwachten van de leerlingen en dat ook niet nodig is om de bewering te bekijken) dan is dat compatibel met wat wij Nederlanders onder arresteren verstaan (het Franse politie-systeem werkt niet altijd op dezelfde manier als het Nederlandse).

  • Dictionnaire des Termes Juridiques: Garde à vue (dr. pén.): Maintien dans les locaux de la police pendant une durée légalement déterminée de toute personne devant rester à la disposition de la justice pour répondre aux nécessités de l’enquête.


Constateer: Hier is echt niet iets aan de hand dat juridisch ingewikkeld is, het is voorlopige hechtenis in een politiecel.

Constateer dat wat het CvTE in zijn antwoord allemaal beweert nogal willekeurig, slordig, en onjuist is. Het springende punt is echter dat het CvTE hier geen fouten toegeeft, en dus niet met een wijziging op het correctievoorschrift komt. Voor het beoordelen van het examenwerk op vraag 35 komen leraren dan voor een dilemma te staan, want het CvTE waarschuwt ze nadrukkelijk voor het volgende.

  • Status: regelgeving
    Het CvTE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift.
    Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat, neemt hij contact op met het Examenloket (examenloket@duo.nl).

Constateer dat de leraar hier door het CvTE wordt gedwongen om valsheid in geschrifte te plegen, namelijk om kandidaten die ‘niet’ hebben geantwoord, nul punten voor vraag 35 toe te kennen omdat zij het goede antwoord hebben gegeven.
Hoeveel leraren hun integriteit als leraar laten prevaleren boven de regelzucht van het CvTE is niet bekend. Ik heb begrepen dat bij reguliere analyse op een fractie van de examens blijkt dat bijna 80% van de kandidaten een punt voor vraag 35 heeft gekregen. Maar onbekend is voor hoeveel kandidaten het antwoord ‘niet’ volgens CvTE-voorschrift met nul punten is beloond, hoeveel van hen desondanks het punt wel hebben gekregen (afhankelijk van het antwoord op de eerste deelvraag). Door de ongelukkige combinatie van twee vragen voor 1 punt weten we ook niet voldoende over hoe iedere deelvraag het afzonderlijk heeft gedaan. Daarmee is ook niet bekend of de rekenmeesters van het Cito deze vraag 35 er op basis van pilot-gegevens al uit hadden kunnen vissen als waarschijnlijk verkeerd gesleuteld.

Het bovenstaande zijn feiten en eenvoudige constateringen rond vraag 35 havo 1e tijdvak 2017. Hoe kijkt een onafhankelijk examenspecialist naar dit dossier, en wat weten we hiermee over de kwaliteit van het functioneren van het CvTE? Dat wordt deel 2 Wat leren we ervan?

Deel 2. Duiding. Wat leren we ervan?

Is het uitgebreid behandelen van examenvragen-met-een-vlekje zinvol?

Als er met examenvragen dingen misgaan, en we laten na om dat tot op de bodem uit te zoeken, dan zullen er dingen blijven misgaan. Dat kan Nederland zich niet veroorloven. Het is daarom echt van de gekke dat we een examenautoriteit hebben die vrijelijk zijn autoritaire gang kan gaan zonder checks and balances. Immers, in het hoger onderwijs kennen we wel degelijk een behoorlijke beroepsgang bij examencalamiteiten. Niet alleen ontbreekt zoiets voor de eindexamens vo, bovendien wijzen alle instanties in de examenketen hun verantwoordelijkheid af: er is niemand echt aanspreekbaar, de politiek, de minister, de Inspectie, het Cito, het CvTE zelf, ze laten het allemaal afweten. De correspondentie die Charlotte Goulmy al jaren voert, getuigt ervan (bijlagen bij blog). Het meest ongelooflijke afschuiven van verantwoordelijkheid: de CEO van het Cito, destijds Marten Roorda, verklaart openlijk dat het Cito niet verantwoordelijk is voor de inhoudelijke kwaliteit van de examens die het voor het CvTE maakt. Zoiets als: directeur ziekenhuis verklaart dat het ziekenhuis niet verantwoordelijk is voor de kwaliteit van de zorg. Dat was een dieptepunt van jewelste in de geschiedenis van de testpsychologie. O ja, en daarna is de ramp van de rekentoets gewoon doorgegaan: kosten een half miljard, en weer een decennium dat er niet is ingegrepen in het verrommelde rekenonderwijs zelf.

  • twitter 12:08 AM 9 Oct 13 Marten Roorda: “Voor alle duidelijkheid: #Cito is geen partij bij vaststelling van inhoud Rekentoets en typen opgaven. Cito voert de richtlijnen van CvE uit.”


Ja, het is van belang om aandacht te schenken aan examenvragen-met-een-vlekje. We moeten ervan leren. Dat besef is in de wereld van psychologen die verantwoordelijkheid dragen voor tests en voor examens sterk aanwezig, maar daarbuiten kennelijk een paar onsjes minder. Voor meer info zie mijn hoofdstuk over kwaliteit van toetsvragen, met onder andere verwijzingen naar richtlijnen en jurisprudentie.

Behoren onjuiste uitspraken wel tot de stof voor het examen?

  • Geef van elke bewering aan of deze wel of niet overeenkomt met de derde alinea.


Kandidaten mogelijk onjuiste uitspraken voorleggen, in een examen, is dat eigenlijk wel normaal (vrij naar een bekend politicus)? Misschien ook voor u een verrassende vraag, maar het is toch evident dat de meeste leerstof weinig of geen valse uitspraken bevat, en als die er al zijn dan zijn ze er met goede reden. Hoe kunnen mogelijk onjuiste uitspraken dan toch in een examen terecht komen? Dat kan, omdat we in eigen land al sinds de zestiger jaren de weg een beetje zijn kwijtgeraakt als het op toetsen aankomt: De Groot & Van Naerssen, ondanks hun grote verdiensten op ander gebied, maakten ons toen (1969) wijs dat keuzetoetsen de enig juiste vorm van toetsen zijn. Hoewel veel keuzen best authentiek zijn, zijn de meeste keuzen in keuzevragen kunstmatig, gefabriceerd, omdat het onjuiste uitspraken, alternatieve feiten, of foute data zijn. Allemaal zaken die onmogelijk tot de examenstof kunnen behoren. Dat mag alleen al duidelijk zijn uit de onbegrensdheid van het universum van mogelijk onjuiste uitspraken.
Wat niet tot de examenstof behoort, en toch wordt gevraagd, is verwarrend voor de examenkandidaat. Erger nog, door leerlingen onjuiste informatie voor te houden, is er alle kans dat zij deze onjuiste informatie leren — dat kan voor onderwijs toch niet de bedoeling zijn. Bij het toetsen op tekstbegrip kan de leerling of examenkandidaat in de war worden gebracht door uitspraken die onjuist zijn, of zouden kunnen zijn. Waar zijn we helemaal mee bezig als we denken dat dit allemaal maar kan? Denkt u ook dat dit geen goede psychologie kan zijn? Join the club. Goed, ik moest dit even kwijt.
Ter zake. De kandidaat moet ‘wel’ of ‘niet’ antwoorden. Merk op dat dit absolute oordelen zijn. Verwant aan universele quantoren zoals in ‘Alle zwanen zijn wit’. In de werkelijke wereld zijn zaken zelden absoluut. Wie vraagt naar het juist of onjuist zijn van uitspraak, en geen ruimte geeft voor een eventuele toelichting op de gemaakte keuze, is niet professioneel bezig.

  • De baan van de aarde om de zon is cirkelvormig. ja / nee
    zie ook keuzevragen

Er moet ruimte zijn voor de leerling die ‘nee’ antwoordt omdat die baan ellipsvormig is. De kandidaat moet ruimte hebben om te schrijven dat zij ‘arresteren’ opvat als staande houden.

Bij dubbelzinnige vragen moet de kandidaat, ter bewaring van zijn recht, aan kunnen geven hoe hij de dubbelzinnigheid heeft gezien en aangepakt.

Dubbelzinnige vragen moeten tijdig worden afgevangen

Het CvTE had de dubbelzinnigheid in vraag 35 eenvoudig kunnen voorkomen door niet te vragen naar verscheidene keren gearresteerd zijn, maar naar in hechtenis genomen zijn, danwel staande gehouden zijn, al naar gelang wat precies speelde in de gedachten van de ontwerpers. Waarom is dat niet gebeurd? Willens en wetens een dubbelzinnigheid laten bestaan is een kunstfout, dus de ontwerpers zijn zich er helemaal niet van bewust geweest?

Veel ontwerpers van toetsvragen zijn zich onvoldoende bewust van de mate van dubbelzinnigheid in teksten, toetsvragen en bijgaande illustraties. Tekst is eigenlijk altijd voor meerdere uitleg vatbaar, en daar hoeft de lezer zich niet eens van bewust te zijn. De duiding van tekst verloopt volautomatisch door autonome hersenprocessen, buiten ons bewustzijn. Hetzelfde geldt voor afbeeldingen bij examenopgaven. In de rekentoets (ja, die rekentoets) is het van meet af aan vaste prik geweest dat de gebruikte contexten vaak dubbelzinnig waren. De stelling laat zich verdedigen dat voor contextopgaven rekenen en wiskunde geldt dat deze in principe altijd dubbelzinnig, meerduidig, zijn. En dat gaat niet goed samen met het absoluut eenduidige karakter van wiskunde. In de rekentoetsramp is de Nederlandse jeugd daar massaal het slachtoffer van gemaakt, tegen alle waarschuwingen van meet af aan in.

Dubbelzinnige vragen zijn lastig af te vangen, maar wie er niet zijn best voor doet vangt nooit wat. Wanneer ontwerpers gezellig samen de nieuw ontworpen vragen doornemen is de kans op het vinden van rare dingen klein. De juiste procedure is om nieuw ontworpen vragen onafhankelijk van elkaar te beoordelen, en wel zo kritisch mogelijk: probeer ze af te branden. Dit schijnt een werkwijze te zijn die Cito en CvTE volkomen onbekend is, en als het anders is dan hoor ik dat wel.

Examenstrategie bij vragen naar tekstbegrip

Zo’n examen gaat vergezeld van enorme lappen tekst, met telkens heel veel informatie, die onmogelijk door de kandidaten in een keer opgenomen en onthouden kan worden. Telkens moet de kandidaat strategisch kiezen: hoe goed moet ik hoeveel van de betreffende tekst bestuderen? Welke rol kan dat spelen bij dit casus ‘arresteren’? De kandidaat die alleen naar het deel van de zin met ‘arrêter’ kijkt, kan makkelijk nat gaan. Waarschijnlijk, maar zeker weten kunnen we dat niet, is zoiets hier gebeurd: de meeste havisten hebben niet verder gekeken dan dit deel van de zin. En het CvTE vind dat prima, afgaande op de geciteerde CvTE-email!
Deze examens die vooral mikken op tekstbegrip zijn behoorlijk kwetsbaar voor examentrucjes die zomaar een of twee cijferpunten extra op kunnen leveren. Wat toetsen ze dan? Dat is ook bij ons casus de vraag: wat toetst die vraag naar verscheidene keren in hechtenis genomen zijn eigenlijk? Grappig is dat alinea 3 uit tekst 10, de tekst over gevelacrobaat Simon, op zich al demonstreert dat achtergrondkennis belangrijker kan zijn dan tekstbegrip (als zoiets al bestaat in psychologische zin): zonder de context van gevelacrobatiek te hebben, is de alinea deels abracadabra. Als u weet wat een examen vreemde taal zoals dit examen Frans eigenlijk examineert, dan mag u het mij zeggen; ik weet het al enige tijd niet meer. Het heeft nog wel met Frans te maken, maar dat is dan ook het enig positieve dat ik kan bedenken.

De fijne nuances, moet de kandidaat daar nu wel of niet rekening mee houden?

Het CvTE vindt dat de kandidaat niet hoeft te weten wat garde à vue betekent om de gestelde vraag te kunnen beantwoorden. Maar ja, hoe gaat dat vaak bij examens: het genuanceerde denken dat bij de ene vraag bepaald niet de bedoeling is, is dat bij andere vragen dan toch weer wel. Gestoord zou je er als kandidaat van worden.
Bij een graag naar zichzelf toe rekenend instituut als het CvTE laten de fijne nuances zich makkelijk misbruiken: in het ene geval komt het goed uit om te verklaren dat het natuurlijk niet om fijne nuances gaat, zoals bij deze vraag 35; in andere gevallen komt het juist goed uit om uit te leggen dat de kandidaten de fijne nuance hadden moeten opmerken. Het probleem zit dus aan twee kanten: zowel examenvragen zelf die niet consistent zijn op het punt van fijne nuances, als de verdediging van het CvTE tegen bezwaren tegen examenvragen.
Waar hem de kneep ook zit, de kandidaten zijn de dupe van onvermogen van Cito en CvTE om fijne nuances in examenvragen te beheersen.
Wie mijn uitvoerige oefeningen in het kritiseren van rekentoetsopgaven wel eens heeft gezien, weet dat ik grossier in kritiek op fijne nuances. De reden daarvoor is allereerst dat landelijke examens gewoon perfecte vragen moeten hebben, daar moeten geen smetten aan kleven, hoe klein ook. Een tweede reden is dat kleine smetten zelden alleen komen. En dat ze in vele andere vragen terug plegen te komen. Kleine smetten zijn al gauw een plaag, en dan hebben we het over examens die voor kandidaten een hel kunnen zijn om ze te maken. Als hoogleraar didactiek van de wiskunde Jan van de Craats misselijk wordt van het achter elkaar maken van de contextopgaven van een enkele rekentoets (zie hier), dan geeft dat aardig aan wat ik bedoel.
Terug naar dat toetsen van tekstbegrip. Dit is een gekte die over de hele aardkloot verspreid is. De misvatting is dat het begrijpen van tekst een algemene vaardigheid is die te leren, en dus te onderwijzen valt. Nee hoor, algemene vaardigheden bestaan niet. Trucjes om vragen tekstbegrip te beantwoorden zijn er natuurlijk wel, maar het onderrichten van deze studiestrategieën vergt weken, geen jaren. Zie de publicaties van Daniel Willingham over lezen en tekstbegrip blog, info, vimeo, en pdf. Belangrijk! Doen! Ook jullie, bij Cito en CvTE!

Ontwerp-technisch gezien deugt vraag 35.2 van geen kant

Een woordenboek als de Larousse Lexis als criterium nemen, is dat wel gepast bij een examenvraag op havo-niveau? Of moeten we door de knieën gaan en op het niveau van de havist denken? De vraag stellen is hem beantwoorden. Het is een examen, toch?
In dit geval wijst het raadplegen van professionele woordenboeken uit dat het spreken over ‘arresteren’ leidt tot een fatale dubbelzinnigheid in de vraagstelling van 35.2 omdat het nu eenmaal zowel in het Frans als in het Nederlands allereerst aanspreken of staande houden betekent, daarna ook nog in hechtenis nemen.
Kandidaten moeten niet alleen de passage met ‘arrêter’ zorgvuldig bestuderen, maar ook verband leggen met de beide uitspraken van Simon aan het eind van dezelfde zin. Misschien is dat laatste in het hele ontwerpproces door Cito en CvTE over het hoofd gezien, dat zou dan helemaal van de gekke zijn. Ik vind dat bij deze combinatie van moeilijkheidsfactoren wel de vraag past of dit nog wel havo-niveau is, maar ik heb niet de expertise om dat zelf te beoordelen. Ik constateer dat de vraag in ieder geval voor de ontwerpers zelf, voor de CvTE-vaststellingscommissie, en voor het CvTE in antwoord op bezwaren tegen deze vraag 35 te moeilijk is gebleken: falen om het onderscheid tussen aanspreken en in hechtenis nemen te maken, en falen om het verband met de laatste uitspraken van Simon te leggen (garde à vue, en agenten die onmiddellijk inzien dat het om iets onschuldigs gaat, want gevelacrobatiek en geen inbraak).

Een tekst en een vraag (inclusief het correctievoorschrift!) kunnen te moeilijk zijn of blijken voor de doelgroep, dat zou onder andere bij een pilot vooraf kunnen blijken. Probleempje is dan bij een geval als deze gemankeerde vraag 35 dat een pilot niet hoeft uit te wijzen dat de vraag in feite te moeilijk is. De ontwerpers hebben er kennelijk op gerekend dat de meeste kandidaten ‘wel’ zouden antwoorden, en dat hebben ze ook gedaan. Dat ‘wel’ in feite het foute antwoord is, blijkt dan niet uit een te lage p-waarde (te hoge moeilijkheid) in een pilot. Een pilot is geen waterdicht vangnet voor gebreken in de vraagstelling of het correctievoorschrift.
Een alternatief is: een groep inhoudelijk experts onafhankelijk van elkaar deze vraag 35 laten beantwoorden en van commentaar voorzien. Dat hadden zowel het Cito als het CvTE dus moeten doen.

  • [CvTE E-mail Kenmerk: 10345 , in antwoord op mevrouw Goulmy]
    tekst 10, vraag 35: Naar onze mening is er geen aanleiding om de tweede stelling als foutief te bestempelen. Het Franse woord ‘arrêter’ kent een paar verschillende verwante betekenissen in het Frans (alsook in het Nederlands), en de vertaling arresteren is een simpele die tevens voor leerlingen makkelijk te begrijpen is zonder dat hij/zij zich zorgen hoeft te maken over juridische details. In de tekst staat overigens wel een juridisch detail, namelijk garde à vue, wat niet van toepassing is op Simon, maar, mocht een leerling dit in detail uitgeplozen hebben (wat wij niet verwachten van de leerlingen en dat ook niet nodig is om de bewering te bekijken) dan is dat compatibel met wat wij Nederlanders onder arresteren verstaan (het Franse politie-systeem werkt niet altijd op dezelfde manier als het Nederlandse).

Het CvTE zegt dat ‘arrêter’ vertalen met ‘arresteren’ simpel is. Gezien de de dubbele betekenissen van aanspreken en in hechtenis nemen is is deze vertaling allesbehalve simpel, en graaft mogelijk een diepe valkuil.
Deze vertaling zou voor leerlingen ook makkelijk te begrijpen zijn. Maar dat is een onbegrijpelijk uitspraak, want of iets makkelijk te begrijpen is hangt van de context af, en in dit geval plaatste die context (garde à vue, en agenten die onmiddellijk zagen dat deze gevelacrobatiek onschuldig was) de leerlingen juist voor probleem.
Het CvTE: de leerlingen zouden zich zorgen kunnen maken over juridische details maar dat zouden ze bij deze vraag 35 juist niet hoeven doen. Ik weet niet wat het CvTE er hier allemaal bij sleept, de vraag gaat bepaald niet over typisch juridische kennis.
Het CvTE noemt het begrip ‘garde à vue’ een juridisch detail, maar het is gewoon een Franse uitdrukking voor hechtenis of politiecel. Vindt het CvTE echt dat de leerlingen de vertaling van ‘garde à vue’ niet paraat hoeven te hebben? Maar wat betekent het dan nog wanneer een examenvraag gaat over de betekenis van iets in de context van bijlagetekst 10?
Het CvTE zegt hier met zoveel woorden dat ‘garde à vue’ niet van toepassing is op Simon. Dat lijkt dubbelzinnig, maar is het niet, want uit de context is duidelijk dat het CvTE meent dat hier niet staat dat Simon nooit in hechtenis is genomen. Een heterdaadje, want het staat er wel degelijk.
‘… compatibel met wat wij Nederlanders onder arresteren verstaan’ En wat is dat dan, beste CvTE? Arresteren heeft immers meerdere mogelijke betekenissen, evenals het Franse arrêter. Het CvTE geeft zichzelf ook geen enkele kans om dubbelzinnigheden te ontdekken, het blijft maar spreken over arresteren alsof dat een eenduidig woord is.

Stel dat het CvTE de fout had erkend, wat had het kunnen/moeten doen om de schade te beperken?

Tijdig erkennen van de fout zou geleid hebben tot een herzien correctievoorschrift: het goede antwoord moet ‘niet’ zijn. Het antwoord ‘wel’ kan niet goed worden gerekend. Het kan zijn dat dan ook pas blijkt dat de vraag voor te veel havisten te moeilijk was. Achteraf corrigeren voor te moeilijke vragen kan helemaal niet. Het CvTE grijpt dan makkelijk naar een N-term-correctie, maar dat is iets anders dan een correctie voor moeilijkheid van een enkele examenvraag. Zie ook hier.
In andere gevallen (de rode jurk, vwo Frans 1e tijdvak 2017) kiest het CvTE er voor om toch het objectief ‘foute’ ook goed te blijven rekenen. Maar dat kan natuurlijk niet, dat corrumpeert het examen als examen.

Hoe is een vraag zoals dit casus ‘arrestatie’ eigenlijk mogelijk?

Dat zo’n vraag ook maar wordt bedacht, en door alle checks op kwaliteit heen banjert, en dat het CvTE zelfs na protest nog volhoudt dat alles oké is?

Laat ik nu eens kort zijn. Mijn vermoeden is dat het Cito en het CvTE nalaten om bij de ontwikkeling van examenvragen zoveel mogelijk te werken met onafhankelijk van elkaar operende beoordelaars van de voorstellen die op tafel komen. Daarnaast laat de afhandeling van bezwaren bij de examens Frans zien dat er reden is tot gerede twijfel aan de vakkundigheid van de betreffende vakcommissieleden/voorzitters. Een derde zou wel eens kunnen zijn dat statistische controle op individuele examenvragen te veel op de automatische piloot gebeurt (dit is ook wel een lastig puntje, je zou statistische en inhoudelijke deskundigheid graag in één en dezelfde persoon verenigd zien).

En checks en balances van buiten, in overleg met vakverenigingen, voordat examenvragen het drukproces in gaan. Op dit punt heeft het CvTE al eens eerder goede voornemens geuit, en na de examens 2017 in versterkte mate. Laten we blijven hopen.

Een algemeen verbindend voorschrift dat professionals de handen bindt, kan dat eigenlijk wel?

  • Status: regelgeving
    Het CvTE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift.
    Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat, neemt hij contact op met het Examenloket (examenloket@duo.nl).

Dit is vooral ook een juridische vraag: een voorschrift dat verplicht om, in gevallen zoals deze vraag 35, valsheid in geschrifte te plegen, dat is toch nietig? info over avv Maar laat het vooral niet alleen aan juristen over, koers op je eigen rechtsbewustzijn en dat van je collega’s.

Wie toch iets meer wil weten over het boeman-argument van het CvTE raadplege ook de Wet College voor toetsen en examens. Begin dan met artikel 8, dat terugverwijst naar artikel 2 en 5 (5 is specifiek voor staatsexamens).

  • 8 De regelingen, bedoeld in het tweede lid, onderdelen e en f, en vijfde lid, onderdeel a, treden slechts in werking na goedkeuring door Onze Minister. Onze Minister kan zijn goedkeuring onthouden wegens strijd met het recht of het algemeen belang.
  • 2 Het college is belast met de volgende taken op het gebied van de centrale examens, bedoeld in de Wet op het voortgezet onderwijs, de Wet voortgezet onderwijs BES, artikel 7.4.11 van de Wet educatie en beroepsonderwijs en artikel 7.4.13 van de Wet educatie en beroepsonderwijs BES en de daarop berustende bepalingen:
    • a. het vaststellen van het aantal toetsen, de tijdsduur en de aard van de toetsen, overeenkomstig het examenprogramma;
      b. het vaststellen van het tijdstip van de toetsen, de wijze waarop en de vorm waarin de toetsen worden afgenomen;
      c. het tot stand brengen en vaststellen van de opgaven;
      d. het tot stand brengen en bij regeling vaststellen van de beoordelingsnormen en de daarbij behorende scores;
      e. het geven van regels voor de omzetting van de scores in cijfers;
      f. het tot stand brengen en bij regeling vaststellen van syllabi, overeenkomstig het examenprogramma; en
      g. het geven van regels met betrekking tot de hulpmiddelen die gebruikt mogen worden bij het maken van de opgaven.


Constateer dan, met mij, dat artikel 2 lid d gaat over het het regelen van de correctievoorschriften, en dat voor die regeling geen goedkeuring van de minister nodig is. Nu claimt het CvTE dat de regeling voor de correctievoorschriften een algemeen verbindend voorschrift avv is, maar als ik me niet vergis dan is het CvTE geen instantie die zelfstandig avv’s kan uitvaardigen, en die ook nog aan Nederland opleggen zonder dat ze behoorlijk in het Staatsblad zijn gepubliceerd.
Interessant detail is nog dat boeman CvTE wel hard roept dat zijn regeling een algemeen verbindend voorschrift is, wat waarschijnlijk dus niet waar is, maar aan overtreding ervan geen sanctie verbindt. Achteraf sancties bedenken kan natuurlijk niet, dus dit zogenaamde avv van het CvTE kan straffeloos worden overtreden.

Beste mensen, ga af op uw rechtsgevoel als professional, en doe bij het nakijken van examenwerk wat volgens uw expertise nodig is, gezien het correctievoorschrift van het CvTE.

Een CvTE dat broddelwerk aflevert zoals dit casus laat zien, heeft dat wel bestaansrecht?

Het CvTE heeft vele taken. Maar het is ook de waakhond voor de kwaliteit van onze eindexamens (en een eindtoets basisonderwijs). Het is een waakhond van niks, want er bestaat bij het CvTE nog geen begin van enig inzicht wat kwaliteit van examens is. Toch is dit een onderwerp waarover wel eens eerder is nagedacht. Er zijn tal van organisaties die richtlijnen, standaarden en codes hebben opgesteld: het Nederlands Instituut van Psychologen (1988), American Psychological Association / National Council on Measurement in Education / American Educational Research Association (de Standards van deze organisaties zijn wereldwijd toonaangevend). Enzovoort.

  • AERA, APA & NCME (1999). The Standards for Educational and Psychological Testing. zie hier
  • American Psychological Association. Joint Committee on Testing Practices (2000). Rights & responsibilities of test takers: Guidelines and expectations. Washington, DC. American Psychological Association. webpagina

  • M. Job Cohen (1981). Studierechten in het wetenschappelijk onderwijs Proefschrift Rijksuniversiteit Leiden. Zwolle: Tjeenk Willink. deel 1 (t/m blz 100), deel 2 blz 102-149, deel 3 blz 150-197 en deel 4 bijlage, samenvatting, literatuur, index
  • L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Model gedragscode toetsen, beoordelen en beslissen in het voortgezet onderwijs. Enschede: OCTO. isbn 9036510899. scan
  • Willem K. B. Hofstee (1999). Principes van beoordeling: Methodiek en ethiek van selectie, examinering en evaluatie. Swets & Zeitlinger.
  • NIP (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. Toetsgebruik in het onderwijs. pdf

Dat het CvTE hier geheel onkundig van is, blijkt voor de expert uit ongeveer ieder stuk waarin het CvTE reageert op gesignaleerde problemen. Ik zal het uitleggen aan de hand van een specifiek geval. In het tijdschrift Examens geven Wilbrink, Hulshof en Pfaltzgraff pdf een analyse waarom de rekentoets niet valide is. ‘Niet valide’ is een technische term in de testpsychologie, en betekent dat de betreffende toets de kwaliteiten mist die hij zou moeten hebben. Een rekentoets moet rekenen toetsen, bijvoorbeeld. Het CvTE reageert op de kritiek met een betoog (Kastelein pdf) dat voor de ontwikkeling van de rekentoets alle procedures correct zijn gevolgd. Maar zo kan het dus niet, hier geeft het CvTE er blijk van gewoon niet te weten wat validiteit is, een onderwerp waaraan handboeken educational measurement al ongeveer een eeuw op zijn minst een uitgebreid hoofdstuk aan besteden. Het is om te huilen. Het CvTE is als een ziekenhuis waarin geen chirurg is te bekennen.

Het CvTE is een organisatie die draait op leraren. Natuurlijk zijn leraren nodig om examenvragen te ontwerpen. Maar dat kan nimmer voldoende zijn: die examenvragen moeten aan hoge kwaliteitseisen voldoen, en daar zijn leraren niet voor opgeleid. Hebben betrokken leraren dat zelf in de gaten? Ik vermoed van niet, afgaande op reacties van het CvTE (in dit geval voorzitters van vaststellingscommissies, naar ik mag aannemen) op ingebrachte bezwaren tegen specifieke examenvragen. Daar gaat tenslotte heel deze blog over.

Wat zou er met/door het CvTE gedaan moeten worden?

De eerste wederzijdse kennismaking met het CvTE was tijdens een toetscongres in Nieuwegein. CvE-voorzitter Henk Laan besprak het organogram van zijn organisatie. Mijn publieke vraag daarover: waar is een afdeling Research en Development met echte expertise op het terrein van testen en toetsen? Laan was blij met die vraag, hij kon nog eens uitleggen, met ambtenaren van OCW onder zijn toehoorders, dat zo’n afdeling een grote wens van hem was, dat die wens bekend was bij OCW, maar dat de middelen ervoor niet beschikbaar werden gesteld.

Het CvTE moet uiteraard relevante toetspsychologische expertise in huis hebben, niet alleen voor kwaliteitsbewaking, maar ook voor ontwikkeling van het denken over examens en hun plek in het onderwijsgebouw. Het CvTE zou voor dit deel van zijn taak geadopteerd kunnen worden door universitaire vakgroepen testpsychologie (in feite was dat het bestuursmodel van het Cito voordat het verzelfstandigd werd: grote betrokkenheid van methodologen en testexperts zoals Pieter Drenth uit onze faculteiten psychologie).

Ceremoniële eindexamens zijn misschien een betere optie dan onze toch wel bureaucratisch uit de klauwen gelopen centrale schriftelijke eindexamens (o.a. bepleit door Cornelis Verhoeven, als ik het goed heb). De menselijke maat terug in het onderwijs. Voor de bewaking van het niveau van ons vo is het echt niet nodig alle leerlingen aan schriftelijke examens te onderwerpen, dat kan veel en veel eenvoudiger (op basis van een model als de PPON bijvoorbeeld).

referenties

Eindexamens havo Frans 2017, zie voor alle documenten www.examenblad.nl

Charlotte Goulmy (2017). Fouten in examen Frans die niet erkend worden en tot absurde situaties leiden. Stichting Beroepseer blog [op beroepseer.nl meerdere blogs van Goulmy]

Adriaan D. de Groot & Robert F. van Naerssen (Red.) (1969). Studietoetsen construeren, afnemen, analyseren. Mouton.

Karin den Heijer (20 november 2017). Slecht rekenonderwijs mag wat kosten van het ministerie. nrc blog

Gerard Koolstra (20 november 2017). Ontwikkeling beoordelingsvoorschriften centrale examens v.o. 1978-2017 aan de hand van de wiskunde-examens HAVO. pdf

Piet Sanders, Arnold Brouwer, Bernard Veldkamp (1 mei 2017). Onderzoek naar de inhoudsvaliditeit van de centrale examens en de afhandeling van onvolkomenheden bij de centrale examens. RCEC. pdf

  • Een teleurstellend rapport, want het is geen onderzoek naar validiteit, maar naar procedures en of die gevolgd worden. In de literatuur is dit toch wel voldoende gekritiseerd als face validity, fake validity dus. Hoe kan dat nou? Om te beginnen: het CvTE was zelf opdrachtgever. Vermoedelijk heeft het CvTE de opdracht in termen van procedures geformuleerd, en heeft het RCEC de opdracht in die termen aanvaard. Zo komen we in Nederland dus nooit uit de examenproblemen. De drie auteurs zijn gepokt en gemazeld in testpsychologie, en weten heel goed dat het CvTE niet over testpsychologische expertise beschikt. Met stip bovenaan hun bevindingen hoort dan ook te staan dat het CvTE de expertise mist om zijn taken wat betreft borging van kwaliteit van de examens naar behoren uit te kunnen voeren. Helaas, die waardering geven de auteurs niet. b.w.

Ben Wilbrink (1986). Toetsen en testen in het onderwijs. S.V.O. Jaarverslag/Jaarboek 1985, 275-288. Den Haag: Stichting voor Onderwijsonderzoek. webpagina

Ben Wilbrink, Joost Hulshof en Henk Pfaltzgraff (augustus 2012). De rekentoetsen zijn niet valide. Dat wordt nog wat, met die rekentoetsen! Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. pdf. Met offiële repliek van het CvTE, door Jan Kastelein (2012). Rekentoetsen vo wel degelijk valide. Examens, Tijdschrift voor de Toetspraktijk, 9 #4, 29-31. pdf. Met op blz. 31 tevens onze dupliek, een korte tekst, dus ook maar hier:

    In ons artikel spreken wij het Cito en het CvE aan op hun verantwoordelijkheid voor de validiteit van de rekentoets-3F. De uitleg van het CvE gaat in op hetgeen Wilbrink en Hulshof eerder in dit tijdschrift [Examens, 2011, 8(3), 18-22 pdf) kritiseerden; deze dupliek kon het CvE bekend zijn.
    Het CvT geeft blijk het begrip validiteit uit de testpsychologie niet te kennen.
    Validiteit is een empirische kwestie, niet een zaak van overleg, fiat, of procedures. Validiteit-bij-fiat is een misvatting. Het CvE blijft het antwoord schldig op onze analyse van de tekortschietende validiteit van de rekentoets-3F.
    Wij concluderen dat iedere commissie, instelling, ambtenaar en politicus zijn ding deed, zoals het CvE opnieuw opsomt, maar dat dit geen samenhangend beleid opleverde. De samenhang die het CvE ziet is een bureaucratische samenhang-bij-fiat.

Ben Wilbrink (w.i.u). Kwaliteit van toetsvragen. Hoofdstuk 8 in Toetsvragen ontwerpen, een project in uitvoering. webpagina [herziening van Aula 809, 1983, Toetsvragen schrijven]

Daniel Willingham (March 27, 2017). What happens when you teach children to make inferences while reading?
blog

Daniel T. Willingham (2017). The Reading Mind: A Cognitive Approach to Understanding How the Mind Reads. Jossey-Bass. ISBN: 9781119301370 l info en vimeo

Daniel T. Willingham & Gail Lovette (September 26, 2014). Can Reading Comprehension Be Taught? Teachers College Record. pdf

Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015
webpagina

  • Artikel 7. Vermeende fouten
    1. Indien de examinator of de gecommitteerde meent dat in een toets of in het beoordelingsmodel bij die toets een fout of onvolkomenheid zit, beoordeelt hij het werk van de kandidaten alsof toets en beoordelingsmodel juist zijn.
    2. Degene die in de toets of het beoordelingsmodel een fout of onvolkomenheid meent te hebben geconstateerd kan deze fout aan het College voor Toetsen en Examens meedelen.
    3. Deze mededeling wordt voorgelegd aan de desbetreffende vakcommissie, en indien deze de mededeling als juist aanmerkt, kan de vakcommissie de voorzitter adviseren een beslissing op grond van artikel 10 te nemen.
    4. Het is niet toegestaan zelfstandig af te wijken van het beoordelingsmodel. Met een eventuele fout wordt bij de bepaling van het cijfer voor het centraal examen zoals bedoeld in artikel tweede lid onder e, van de wet College voor Toetsen en Examens, rekening gehouden. [bedoeld is artikel 2, tweede lid onder e, b.w.]

Beste kamerleden

gastblog van Charlotte Goulmy

                                                                                   Deventer, 16 oktober 2017

Beste Kamerleden,

 

Als een docent half oktober nog loopt te stuiteren over de eindexamens dan is er iets goed mis. Ik heb alles nog eens rustig nagelezen en wat opvalt is de paniek. Paniek op het moment van correctie, ze zien die fouten niet, hier gaan kinderen door gedupeerd worden, ze gaan het ontkennen, ze gaan lijntrekken, en volgend jaar weer. Ook heel beklemmend is mijn beroep op de politiek. Ik hoop dat u begrijpt waar dat wellicht naïeve beroep op jullie op gebaseerd is.

Dit zijn de dingen die ik sinds 21 jaar geprobeerd heb om deugdelijke examens te krijgen:

Contact met Cito

Contact met CvTE

Contact met de Franse Ambassadeurs op rij

Klachten bij Nationale Ombudsman

Brieven aan de Ministers op rij

Brieven aan de Staatssecretarissen op rij

Brieven aan de Inspecteur Generaal van de Onderwijsinspectie

Brieven aan Voorzitter Tweede Kamer (is deels Franstalig)

Brieven aan de Vaste Kamercommissie Onderwijs op rij

Artikelen in kranten, websites

Items op Radio

Items op NOS Journaal

Wellicht kunnen jullie nog andere dingen bedenken die ik zou kunnen doen om die examens fatsoenlijk te krijgen, maar ik kan zo 1,2,3 niks meer verzinnen. Ondertussen lees ik in de communicatie van het CvTE dat ze doorgaan op de ingeslagen weg en dat ze ons vertrouwen nodig hebben. Ja. Vertrouwen moet je verdienen, niet systematisch beschamen. Hieronder staat de brief van het CvTE, met mijn aanvullingen.

Jullie zijn echt de enigen die wat kunnen regelen. Het is misschien allemaal een beetje veel om te overzien. Ik heb dus een lijstje gemaakt wat lekker overzichtelijk is en waar niets geks instaat.

Punt 1

Het eerste wat er moet gebeuren is dat er een eind komt aan de memorie van toelichting op de wet op de examens die regelt dat de Inspectie niets te zeggen heeft over de inhoud van de examens. De inspectie moet in kunnen grijpen. Juist op de inhoud. Ik zie dat als volgt voor me:

De vraag is bijvoorbeeld:

Willem-Alexander heeft een dochter

A Amalia

B Alexia

C Ariane

D Beatrix

Het Vereiste antwoord is B

Een docent kaart het aan bij CvTE en krijgt als antwoord dat iedereen weet dat A, C en D fout zijn en dat dus B het enige goede antwoord is. Vanzelfsprekenderwijs.

Die docent kan dan het CvTE overrulen door naar de Inspectie te stappen. De Inspectie is natuurlijk ook geen autoriteit op examenvakken maar kan wel een onafhankelijke expert vragen om te kijken of A en C eventueel ook goed kunnen zijn.

Laten we er even vanuit gaan dat die expert het met de docent eens is, dan moet de Inspectie het CvTE instrueren om ogenblikkelijk een Aanvulling op het Correctievoorschrft te publiceren zodat geen enkele kandidaat van Nederland gedupeerd kan worden. Hierdoor kunnen de examens eerlijk en voor iedereen gelijk nagekeken worden. Ik zie niet hoe iemand daar tegen zou kunnen zijn.

Wat ook zou kunnen is dat de politiek de docenten vertrouwt en het aan de docenten laat of ze A en C goed rekenen.

 

Punt 2

Bij het CvTE en Cito moeten de examenmakers traceerbaar zijn. Als dan blijkt dat steeds dezelfde codenaam fouten maakt dan kunnen er gerichte maatregelen genomen worden.

Punt 3

De CvTE expert van het betreffende examenvak moet, altijd, met naam en toenaam kunnen verantwoorden waarom Amalia en Ariane geen kinderen van Willem-Alexander zijn. De expert is de enige die aanspreekbaar is voor de buitenwereld. In het Geval van Frans is de CvTE expert Frank Drijkoningen. Hij weigert uit te leggen hoe het kan dat een knul die bijvoorbeeld volgens de tekst nooit gearresteerd is geweest volgens het “goede” antwoord meerdere keren gearresteerd is geweest. Hij zegt niet dat de vraag fout is, hij corrigeert de fout ook niet, net zo min als dat hij de fout ontkent. Dat kan zo niet langer.

 

Punt 4

Oorspronkelijke teksten mogen niet langer aangetast worden. Als een Cito medewerker een komma in een vraagteken verandert dan verandert hij de hele context. Een Citomedewerker die de oorspronkelijke tekst niet begrijpt op alle niveaus mag de tekst niet gebruiken om vragen te maken. Als een Citomedewerker moet lachen om iets in de oorspronkelijke tekst dan moet hij bij een deugdelijke Francofoon controleren of hij die grap wel goed begrepen heeft.

 

Punt 5

Oorspronkelijke teksten mogen niet vertaald gebruikt worden in een andere dan de brontaal. Dat lijkt een idiote opmerking maar we hebben nu meerdere jaren op rij gezien dat de probleemteksten in de examens Frans slecht vertaalde Duitse teksten waren. En ja, daar kunnen dan kinderen op zakken.

 

Punt 6

De N-term is gewoon 1. Dan is een examen niet te makkelijk en niet te moeilijk. Onder de 1 is het examen niet in orde en boven de 1 idem. Afwijken van N-term nul mag alleen als de Minister en de Inspectie akkoord gaan en moet een hoge uitzondering zijn.

 

Punt 7

Kernvakken zijn (ontkennen is zinloos) zodanig eenvoudig gemaakt dat niemand daar meer op kan zakken. Het zakken moet dus komen van de Niet-kernvakken. Dat verklaart voor een deel waarom bij de andere vakken veel zwaardere N-termen vallen. Dat geeft een groot gevoel van onrecht bij de docenten. Waarom krijgen kandidaten een heel eenvoudig examen met een soepele normering terwijl diezelfde kandidaten bij Frans of Duits een heel slecht examen moeten maken tegen een hele zware normering?

 

Punt 8

Examens moeten constant van kwaliteit zijn en eenduidig nagekeken kunnen worden. Als het CvTE dat niet kan met Cito dan moet er snel een derde partij komen die wel over die vaardigheid beschikt.

 

Punt 9

De rechterlijke uitspraak over het examen Frans spreekt de Correctievoorschriften van het CvTE tegen. Voor aankomend jaar is er dus een acuut probleem met betrekking tot de correctie. Dit zegt de rechter:

4.14.

In artikel 7 van de Regeling is bepaald hoe er met fouten in het examen of het beoordelingsmodel moet worden omgegaan, die te laat worden vastgesteld (omdat de examinator of gecommitteerde al is begonnen of klaar is met het nakijken van de examens). Hierin is bepaald dat een examinator of de gecommitteerde, indien hij meent dat er sprake is van een fout, het werk beoordeelt alsof die fout er niet is. De fout kan aan het CvTE worden medegedeeld, welke mededeling wordt voorgelegd aan de desbetreffende vakcommissie, en indien deze de mededeling als juist aanmerkt, kan de vakcommissie de voorzitter adviseren een beslissing op grond van artikel 10 van de Regeling te nemen. In dat artikel is bepaald dat het CvTE of de voorzitter kan beslissen dat voor een of meer opdrachten aan alle kandidaten (onderstreping door de voorzieningenrechter) het maximale aantal scorepunten of ten minste een aantal kleiner dan het maximum aantal scorepunten wordt toegekend. Zelfstandig afwijken van het beoordelingsmodel is voor de examinatoren niet toegestaan, omdat met fouten rekening wordt gehouden bij het omzetten van de scores in cijfers.

https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBMNE:2017:4334

Dit zegt het Correctievoorschrift: artikel 3.3

indien een antwoord op een open vraag niet in het beoordelingsmodel voorkomt en dit antwoord op grond van aantoonbare, vakinhoudelijke argumenten als juist of gedeeltelijk juist aangemerkt kan worden, moeten scorepunten worden toegekend naar analogie of in de geest van het beoordelingsmodel.

http://www2.cito.nl/vo/ex2017/VW-1003-a-17-1-c.pdf

Punt 10

Als we er even vanuit gaan dat het examen 2017-2018 al een jaar klaar ligt.

Als we er even vanuit gaan dat ook dat komende examen dus nog wemelt van de fouten (bij bijna alle vakken, niet alleen bij Frans) (Frans zal wel van de plank zijn gehaald denk ik)

Dan is het dus essentieel dat de uitspraak van de rechter en de voorschriften tot correctie op elkaar zijn afgestemd voor 2017-2018. Anders is de giga puinhoop niet te overzien.

 

Punt 11

Van het eerste tijdvak maakt het cito een TIA, een Toets en Item analyse.

http://www.cito.nl/onderwijs/voortgezet%20onderwijs/centrale_examens/schriftelijke_examens_havovwo/examens_havovwo_2017/vwo_ce_tv1

dat is een hoop cijfers maar die vertellen het eerlijke verhaal. Deze TIA maken ze niet over tijdvak 2 en 3 en dat begrijp ik heel goed. Het eerlijke verhaal zal dan vrij onthullend blijken. Het zou goed zijn als wij wel toegang konden krijgen tot de TIA van tijdvak 2 en 3

 

Punt 12

Het derde tijdvak is geheim. Bij alle vakken. Als je ziet wat er zoal misgaat in het openbare deel dan wil ik heel erg graag kunnen weten wat er gebeurt in het geheime deel. De TIA van tijdvak 3 zou al een boel helpen, maar waarom moet een derde tijdvak geheim zijn? De kandidaat is dan op zijn kwetsbaarst, juist dan moet er openheid betracht worden.

 

Het is wat langer geworden dan wat ik van plan was. Maar het is zo vrij helder en makkelijk overzienbaar opgeschreven. Ik hoop dat jullie hier spoed achter kunnen zetten.

Hartelijke groet en dank, ik weet dat het voor jullie ook saai aan het worden is….

 

Charlotte Goulmy

 

Bijlage

 

Vorige week kreeg het onderwijsveld een brief van het College voor Toetsen en Examens. Dit epistel bleek al snel een hoogtepunt in de geschiedenis van het Nederlandse Onderwijs omdat het genadeloos en definitief aantoont dat zowel leesvaardigheid als schrijfvaardigheid niet behoren tot de basisvaardigheden van het instituut verantwoordelijk voor de kwaliteit van de Nederlandse Eindexamens.

Hieronder staat de brief, u hoeft m nu niet te lezen, hij komt straks in onverteerbare hapklare brokken langs, maar dan weet u dat ik hem niet uit mijn duim heb gezogen…

Woensdag 23 augustus 2017 werd het College voor Toetsen en Examens (CvTE) voor de rechter gedaagd. Een Bredase scholiere was het niet eens met haar cijfer voor het examen Frans vwo. De voorzieningenrechter oordeelde dat het CvTE rechtmatig heeft gehandeld bij de afwikkeling van het centraal examen Frans1 . Zowel tijdens de examenperiode 2017 als nu was er onrust veroorzaakt over Frans, met mogelijk uitstraling naar andere vakken. Met deze tekst willen we u onze kijk op de zaak geven. 

 

Balans of disbalans?

In de laatste zomergastenaflevering van deze zomer gaf Claudia de Breij aan dat ze zich verbaast over de disbalans die er is tussen de roependen en de niet-roependen. Zij had het toen over vluchtelingen. Op elke vluchteling in Nederland is één vrijwilliger. Die vrijwilligers roepen niet, zij doen en zijn van betekenis. Dus het geluid ‘jullie zijn niet welkom’ wordt daardoor vaker en eerder gehoord dan ‘jullie zijn welkom’. 

 

Dit kunnen we doortrekken naar de discussie over de centrale examens. De stelling van Elma Drayer in Dit is de Dag van 28 augustus (18.30) luidde: we zijn te assertief geworden. Die ging over het kort geding. En die past naadloos in dit geheel. Er is een kleine groep mensen die een enorm wantrouwen heeft in maatschappelijke instituties, zoals het CvTE. Van de ruim 2.200 online berichten over het CvTE die het afgelopen jaar verschenen, is ongeveer de helft afkomstig van drie criticasters. Twee van hen werken niet in het voortgezet onderwijs. 

 

Vertrouwen

Het werk van het CvTE is gebaseerd op vertrouwen. Draagvlak in en participatie van het veld zijn voor het CvTE essentieel. Enkele feiten: er zijn meer dan 25.000 docenten met examenklassen. Van hen dragen ruim 1400 docenten rechtstreeks bij aan het ontwikkelen en vaststellen van de centrale examens voor voortgezet onderwijs. Jaarlijks maken ze, voor drie tijdvakken, zo’n 12.000 opgaven en antwoorden. Het vaststellen gebeurt onder voorzitterschap van deskundigen uit het vervolgonderwijs: mbo, hbo, universiteit. 

 

Met alle andere docenten hebben wij contact via Examenblad.nl en via onze Toets- en Examenlijn. Zo’n 1.000 docenten nemen in de tijd van het centraal examen, in mei/juni, contact met ons op over de vragen uit het examen of over het correctievoorschrift. Slechts enkele docenten mengen zich in het twitterdebat over het functioneren van het CvTE. 

 

Veruit de meeste examensecretarissen, docenten en schoolleiders horen we niet in die tijd. We hebben in de reacties gemerkt dat zij andere keuzes maken. Een vlekkeloos verlopend correctieproces, zo nodig met inschakeling van de Toets- en Examenlijn en/of met een correct gebruik van 3.3 uit het correctievoorschrift, staat voorop. In het belang van de kandidaten doen examinatoren hun werk meestal in stilte, daarbij gesteund en gefaciliteerd door hun examensecretarissen en schoolleiding. 

 

Werkwijze CvTE 

Als publieke organisatie heeft het CvTE verantwoordingsplicht richting Inspectie en Tweede Kamer. Extern onderzoek op ons handelen en voortdurende interactie met het veld werken als extra check. Uit onderzoek blijkt dat ruim 98% van u tevreden is over de dienstverlening van het CvTE. 

 

De leerling in het kort geding eiste extra, individueel voordeel. Het CvTE gunt ieder wat zij of hij verdient, maar redeneert niet zoals de leerling. Geen kandidaat mag benadeeld worden, en dat garanderen we. Individuele voordelen bepalen onze wijze van handelen niet. Zuur voor een enkeling en duidelijk voor zo’n 200.000 kandidaten. 

 

Participatie

Wij gaan verder op de ingeslagen weg. We zijn en blijven in gesprek met al die hardwerkende docenten, met wie het overleg te typeren is als kritisch én constructief. Docenten weten maar al te goed dat er altijd pijnlijke grenssituaties zullen zijn. Zij kennen die uit de rapportbesprekingen, de sectievergaderingen, schoolexamens en overgangsvergaderingen. Vreugde en verdriet liggen jaarlijks dicht bij elkaar, met alle spanning die dat meebrengt. We weten dat het overgrote deel van de docenten in de examentijd onder hoogspanning het vele correctiewerk, naast het gewone werk, uitvoert. De ‘stille kracht’ van het onderwijs! 

 

Als een examen onverhoopt niet zo geslaagd is, dan doet het CvTE daar, na overleg met het veld, wat aan. Dat de procedures daartoe deugen heeft de rechter in Utrecht uitgesproken. Zo kunnen we blijvend garanderen dat leerlingen fair worden behandeld en niet worden benadeeld. Professioneel handelen van duizenden docenten, examinatoren en tweede correctoren maakt dit mogelijk. Samen maken we werk van goede examens.

 

Namens het CvTE,

Adri van der Ven

sectormanager havo/vwo

 

Deze mailing is verzonden aan de directeuren/schoolleiders, (plv.) examensecretarissen en geregistreerde docenten.

 

1.  Inmiddels is hoger beroep aangekondigd.

 

Om dit hoogtepunt te vieren zoals het hoort heb ik deze brief gebruikt als basis voor een eindexamentestje.

“Woensdag 23 augustus 2017 werd het College voor Toetsen en Examens (CvTE) voor de rechter gedaagd. Een Bredase scholiere was het niet eens met haar cijfer voor het examen Frans vwo.”

Vraag 1

Een Bredase scholiere was het niet eens met haar cijfer voor het examen Frans VWO. Is dat omdat ze:

A een vraag goed had beantwoord maar daar niet de juiste scorepunten voor had gekregen?

B nou eenmaal een ontevreden burger is die altijd wat te zeuren moet hebben?

De voorzieningenrechter oordeelde dat het CvTE rechtmatig heeft gehandeld bij de afwikkeling van het centraal examen Frans1.

Vraag 2

Wat is het doel van de voetnoot?

A de voetnoot noemen wij een voetnoot omdat het natuurlijk echt een voetnoot is in de geschiedenis van het Nederlandse Onderwijs

B de voetnoot is de verborgen reden voor deze bijzonder slecht en panisch geformuleerde brief

Zowel tijdens de examenperiode 2017 als nu was er onrust veroorzaakt over Frans, met mogelijk uitstraling naar andere vakken. Met deze tekst willen we u onze kijk op de zaak geven. 

Vraag 3

Met deze slecht geschreven en bovenal extreem gekleurde slachtofferverklaring willen wij u onze kijk op de zaak geven omdat wij anders definitief en onherstelbaar voor aap staan in de publieke opinie. Is dat:

A omdat wij echt onze best doen ieder jaar maar het gewoon niet beter kunnen en het toch wel heel fijn zou zijn als Nederland daar nu eens een beetje begrip voor zou opbrengen in plaats van dat gekat al 21 jaar?

B gewoon sneu

Balans of disbalans?

In de laatste zomergastenaflevering van deze zomer gaf Claudia de Breij aan dat ze zich verbaast over de disbalans die er is tussen de roependen en de niet-roependen. Zij had het toen over vluchtelingen. Op elke vluchteling in Nederland is één vrijwilliger. Die vrijwilligers roepen niet, zij doen en zijn van betekenis. Dus het geluid ‘jullie zijn niet welkom’ wordt daardoor vaker en eerder gehoord dan ‘jullie zijn welkom’. 

Vraag 4

Burgers die geen vluchtelingen helpen zijn dus:

A hele enge mensen met hele nare bedoelingen en zouden eigenlijk het recht op zelfstandig ademhalen moeten verliezen

B burgers zonder betekenis die niets doen.

Dit kunnen we doortrekken naar de discussie over de centrale examens. De stelling van Elma Drayer in Dit is de Dag van 28 augustus (18.30) luidde: we zijn te assertief geworden. Die ging over het kort geding. En die past naadloos in dit geheel.

Vraag 5

Wij citeren hier Elma Drayer omdat zij:

A in dat gesprek ook vertelde dat de gezakte kandidate sowieso een hele zwakke kandidate was, omdat Elma Drayer niet wist dat deze hele zwakke kandidate 6 achten en een 7 op haar VWO lijst had. (Als Frans gewoon, en terecht, een 6 was geworden hadden die 4 voor filosofie en die 5 voor geschiedenis niet meer uitgemaakt en had kind in kwestie dus nu met een briljante lijst kunnen studeren.)

B  Het is A

Er is een kleine groep mensen die een enorm wantrouwen heeft in maatschappelijke instituties, zoals het CvTE.

Vraag 6

Zouden er ook mensen zijn die kritiek hebben op het CvTE die niet een enorm wantrouwen hebben in maatschappelijke instituties?

A Nee. Als je kritiek hebt op het CvTE dan heb je geen vertrouwen in maatschappelijke instituties. NUL. Je bent dan namelijk van de aluminium hoedjesclub. Je ziet overal spionnen en je weet zeker dat er afluisterapparatuur onder je bed ligt.

B Misschien op Venus, of de maan, misschien.

Van de ruim 2.200 online berichten over het CvTE die het afgelopen jaar verschenen, is ongeveer de helft afkomstig van drie criticasters.

Vraag 7

Staat hier

A dat het CvTE slechts 2.200 van de honderdduizenden berichten over de examens heeft gevonden?

B dat van dat kleine handjevol online berichten wat ze dan wel hebben gelezen slechts de helft afkomstig is van 3 criticasters?

C dat er volgens het CvTE, dus slechts ongeveer 1.103 mensen kritiek hebben geuit op het functioneren van het CvTE?

D dat het CvTE internet heeft uitgezet om niet geconfronteerd te worden met de tsunami van kritiek op de kwaliteit van bijna alle examens bij bijna alle vakken?

Twee van hen werken niet in het voortgezet onderwijs. 

Vraag 8

Mensen die niet in het onderwijs werken zouden zich niet kritisch mogen uitspreken over de eindexamens:

A want ze hebben al examen gedaan in een tijd dat de examens nog gewoon klopten dus wat zeuren ze nou, het kan niet altijd rozengeur en prikkeldraad zijn

B opa’s, wetenschappers en politici die denken dat hun kleinkinderen, proefpersonen of burgers recht hebben op fatsoenlijk deugende examens zijn echt van die verwende jaren 60 klaplopers die zich werkelijk overal mee willen bemoeien terwijl ze hun tengels uit onze pan moeten houden. Walgelijk volk.

Vertrouwen

Het werk van het CvTE is gebaseerd op vertrouwen.

Vraag 9

A Het werk van sluipschutters ook

B Vertrouwen moet je verdienen

Draagvlak in en participatie van het veld zijn voor het CvTE essentieel.

Vraag 10

A daarom zetten wij internet uit als daar commentaar op dreigt te verschijnen en bagatelliseren wij de problemen die ons, helaas, desondanks, via de examenlijn weten te bereiken.

B Gaan wij altijd inhoudelijk in op commentaar dat ons bereikt. Bijna altijd inhoudelijk onzinnig. Zo houden wij 24 uur vol dat een koe in plaats van een vacht een jurk draagt. Wij hebben op tijd gereageerd. Onzinnig, maar binnen de gestelde tijd. Dus inhoudelijk onzinnig. Maar inhoudelijk. Onzinnig.

Enkele feiten: er zijn meer dan 25.000 docenten met examenklassen. Van hen dragen ruim 1400 docenten rechtstreeks bij aan het ontwikkelen en vaststellen van de centrale examens voor voortgezet onderwijs. Jaarlijks maken ze, voor drie tijdvakken, zo’n 12.000 opgaven en antwoorden. Het vaststellen gebeurt onder voorzitterschap van deskundigen uit het vervolgonderwijs: mbo, hbo, universiteit. Met alle andere docenten hebben wij contact via Examenblad.nl en via onze Toets- en Examenlijn. Zo’n 1.000 docenten nemen in de tijd van het centraal examen, in mei/juni, contact met ons op over de vragen uit het examen of over het correctievoorschrift. Slechts enkele docenten mengen zich in het twitterdebat over het functioneren van het CvTE. 

Vraag 11

A het CvTE is blij met de aandacht die de examens krijgen via Twitter

B het CvTE leest de Faceboekgroepen waar docenten de examens bespreken niet meer omdat de Twitterfeed veel meer aandacht krijgt van de media

Veruit de meeste examensecretarissen, docenten en schoolleiders horen we niet in die tijd. We hebben in de reacties gemerkt dat zij andere keuzes maken. Een vlekkeloos verlopend correctieproces, zo nodig met inschakeling van de Toets- en Examenlijn en/of met een correct gebruik van 3.3 uit het correctievoorschrift, staat voorop. In het belang van de kandidaten doen examinatoren hun werk meestal in stilte, daarbij gesteund en gefaciliteerd door hun examensecretarissen en schoolleiding. 

Vraag 12

Het CvTE

A houdt van mensen die in stilte, lijdend, tierend, huilend, overspannen hun werk doen

B waardeert dat correctoren zelf gewoon beslissen dat een koe een vacht draagt, en dat zij niet om toestemming komen zeuren of ze het goede antwoord goed mogen rekenen.

Werkwijze CvTE 

Als publieke organisatie heeft het CvTE verantwoordingsplicht richting Inspectie en Tweede Kamer. Extern onderzoek op ons handelen en voortdurende interactie met het veld werken als extra check. Uit onderzoek blijkt dat ruim 98% van u tevreden is over de dienstverlening van het CvTE. 

Vraag 13

A ruim 98 procent van ons denkt dat koeien rode jurken dragen

B bijna 2 procent van ons denkt dat het CvTE meer geld zou moeten krijgen om deugdelijk personeel in te kunnen huren om zo ieder jaar minder slachtoffers te maken door hun tsunami aan niet begrepen en daardoor niet gecorrigeerde fouten

De leerling in het kort geding eiste extra, individueel voordeel.

Vraag 14

A zij eiste een rode Ferrari, een gratis chauffeur, 6 flessen champagne en een cruise langs de Nijl

B zij eiste het scorepunt op waar ze recht op had en het bijbehorende diploma

Het CvTE gunt ieder wat zij of hij verdient, maar redeneert niet zoals de leerling. Geen kandidaat mag benadeeld worden, en dat garanderen we.

Vraag 15

A sorry hier moest staan dat we ieder jaar schaamteloos, alle niet-kernvakkandidaten, gedegen, hardgrondig, diep en met sadistisch plezier duperen, dat garanderen we.

B we geven gewoon iedereen een half punt in plaats van een heel punt aan degene met een goed antwoord zodat die onterecht zakt.

Individuele voordelen bepalen onze wijze van handelen niet. Zuur voor een enkeling en duidelijk voor zo’n 200.000 kandidaten. 

Vraag 16

A individuele voordelen gelden alleen voor onze vragenmakers en experts. Zij mogen anoniem blijven. Dat moet wel want hoe vind je anders nog personeel die rode jurken ziet om dansende koeien?

B Het is duidelijk en zuur. Het is zelfs als 21 jaar heel duidelijk en heel zuur.

Participatie

Wij gaan verder op de ingeslagen weg.

Vraag 17

Hier staat:

A wij zijn geschrokken van de aangetoonde en nimmer gecorrigeerde fouten in ons werk en zullen voortaan puik werk afleveren. De examens die al klaar lagen voor volgend jaar zijn allemaal uit de kast gehaald en worden op dit moment gecorrigeerd door mensen die wel eens iets te maken hebben gehad met het betreffende vak.

B Ach, we zijn niet onder de indruk van slechts een handjevol rechtszaken, misschien volgend jaar als er bij ieder vak een rechtszaak of twee drie loopt gaan we een keer nadenken maar voor nu volle kracht vooruit, wij kunnen het, wij hebben een monopolie. We are de champignons!!!

We zijn en blijven in gesprek met al die hardwerkende docenten, met wie het overleg te typeren is als kritisch én constructief.

Vraag 18

Maar alleen (vul aan):

A als ze horen bij de 98 procent die stil en in pijn ons werk valideert zonder zelf na te denken of te protesteren

B en dus niet met van die galbakken die denken dat koeien nooit eens een jurk aantrekken, zelfs geen rode met stippeltjes, van die zure minachtende nepdocenten zonder fantasie.

Docenten weten maar al te goed dat er altijd pijnlijke grenssituaties zullen zijn. Zij kennen die uit de rapportbesprekingen, de sectievergaderingen, schoolexamens en overgangsvergaderingen. Vreugde en verdriet liggen jaarlijks dicht bij elkaar, met alle spanning die dat meebrengt.

Vraag 19

A Docenten laten dan altijd hun kandidaat zakken of zitten. Of zitten in zakken.

B docenten denken bij pijnlijke grenssituaties zelf na en maken desgewenst gebruik van hun discretionaire bevoegdheden.

We weten dat het overgrote deel van de docenten in de examentijd onder hoogspanning het vele correctiewerk, naast het gewone werk, uitvoert. De ‘stille kracht’ van het onderwijs! 

Vraag 20

A dit is een beetje zalf zodat de lezer ons weer een beetje lief vindt na al de liederlijke onzin

B Het is A

Als een examen onverhoopt niet zo geslaagd is, dan doet het CvTE daar, na overleg met het veld, wat aan.

Vraag 21

A soms, meestal niet. Maar wel bijna altijd meteen als er een cameraploeg onderweg is.

B onverhoopt moest zijn traditioneel

Dat de procedures daartoe deugen heeft de rechter in Utrecht uitgesproken. Zo kunnen we blijvend garanderen dat leerlingen fair worden behandeld en niet worden benadeeld.

Vraag 22

A De rechter zei niet dat de procedure deugde maar zei dat het nog niet onrechtmatig was.  

B volgens CvTE is iets wat niet onrechtmatig is deugdelijk. Dat verklaart een boel. Je kunt dus koeien in rode jurken zien dansen, dat is niet onrechtmatig. Maar of het deugdelijk is? Doe maar A

  1. Inmiddels is hoger beroep aangekondigd

 

Examenonrecht ‘en effet’

 

  • Bij deze blog. Dit stuk vooronderstelt kennis van het wereldje rond onze eindexamens. Zo ga ik hier niet uitleggen wat een N-term is. Wie daar meer over wil weten: zoek hier: http://www.wiskundebrief.nl/. De voorzieningenrechter heeft het kort samengevat in zijn vonnis in de zaak ‘en effet’, de aanleiding voor al dit rumoer: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBMNE:2017:4334
  • Een eigenaardigheid in het volgende is dat ik graag verwijs naar eigen publicaties uit een ver verleden. Toch zijn die verwijzingen strak functioneel in het betoog, sla ze er dus vooral ook op na.

Ameling Algra, oud medewerker van het College voor Toetsen en Examens (CvTE),  geeft in de WiskundE-brief http://www.wiskundebrief.nl/785.htm#2 uitleg over de zorgvuldige, eerlijke en rechtmatige procedures van het CvTE bij achteraf gebleken problemen met bepaalde examenvragen. Het is een belangrijk stuk, want het CvTE is nogal gesloten over de eigen werkwijzen. Alle dank voor deze bijdrage aan het debat over het CvTE en zijn methoden. Een contra-expertise kan natuurlijk niet uitblijven, al was het maar omdat het vonnis van 28 augustus in de zaak ‘en effet’ veel vragen heeft opgeroepen. https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBMNE:2017:4334  Redactioneel commentaar van de NRC: “Het [CvTE] blaast zichzelf op als het moddert met examens en examinandi.” https://www.nrc.nl/nieuws/2017/08/28/gezakt-met-het-eindexamen-frans-kan-de-rechter-niet-uit-de-voeten-12710748-a1571352 Sterker contrast met Algra is nauwelijks denkbaar, dus hoe zit dat?

‘Het recht van de examenkandidaat van vlees en bloed als uitgangspunt’, schrijft Algra. Maar wat is dat recht? Algra zwijgt erover. Laat ik iedereen meteen uit de droom helpen: de examenkandidaat die haar recht wil halen, moet met een advocaat naar de burgerlijke rechter stappen. Dat is in het ho echt anders, de wetgever heeft daar voorzien in colleges van beroep voor de examens.

De burger in conflict met een overheid kan in beroep volgens de ‘Wet administratieve rechtspraak BES’. Je zou denken dat de examenkandidaat in conflict met het CvTE daar dus ook beroepsrecht heeft, maar helaas, de wetgever sluit dat uit (art 7 lid j). http://wetten.overheid.nl/BWBR0028455/2015-01-01   Mijns inziens berust die uitsluiting op misvattingen over examens en hun mogelijke problemen; laat de politiek eindexamenkandidaten dezelfde rechten op bezwaar en beroep geven als in het ho bij wet geregeld, kwestie van gelijke behandeling toch?

Wat volgt hieruit? Dat het recht van eindexamenkandidaten een zwart gat is, maar dat het, wanneer het geregeld zou worden, onder enige systematiek van het administratief recht zal vallen: volgens art. 9 lid 1b in die wet, kan beroep worden ingesteld ‘ter zake dat de beschikking in strijd is met: een algemeen rechtsbeginsel’. Aha. Hier betreden we een terrein dat het CvTE onbekend lijkt te zijn, maar dat wel de kern is van bijvoorbeeld de studierechten (in het wo) zoals door Job Cohen in zijn proefschrift beschreven, anno 2017 nog steeds hèt handboek voor onderwijsrecht bij toetsen en examens. Volledige tekst:  http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981.

Algemene rechtsbeginselen zijn geen wetten, maar beginselen zoals die in het algemeen rechtsbewustzijn van u en ik leven. Ik noteerde ze 40 jaar geleden al eens, met dank aan Peter Nicolai (bestuursrecht): http://benwilbrink.nl/publicaties/77CesuurbepalingCOWO.htm#6.1. Cohen droeg het verder: het recht krijgt hier immers vorm in de jurisprudentie, en die behandelt hij in zijn proefschrift (gescand): http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981. Dat gaat weliswaar maar tot 1980, maar de aard van het beestje is dat die rechtsbeginselen nog steeds dezelfde zijn: zoals fair play, rechtszekerheid, motivering, verbod van willekeur, gelijkheid, geen misbruik van bevoegdheden.

Oké, wat we nu gewonnen hebben is een taal, een juridisch kader bovendien, waarin  examenkwesties zinvol te plaatsen en te analyseren zijn. Dus ook de praktijk van het CvTE zoals Algra die schetst. Ik geef mijn analyse in de vorm van vier stellingen; ik ben tenslotte geen jurist, maar een eenvoudige examenexpert. Of zoiets. Hoewel: het is prima om eerst op het eigen rechtsgevoel af te gaan, en dat dan thuis te brengen bij deze algemene beginselen van behoorlijk bestuur.

Stelling 1. De N-term gebruiken om achteraf gebleken scoringsproblemen te corrigeren is misbruik van de bevoegdheid om te equaten.

Toelichting: De wetgever maakt in http://wetten.overheid.nl/BWBR0025364/2014-08-01 helder onderscheid tussen de taak om antwoorden te beoordelen (scoren) in art. 2.2d en de taak om voor van jaar tot jaar vergelijkbare cijfers te zorgen (equaten, CvTE doet dat met vasstellen van een N-term) in art. 2.2e. Het CvTE gooit de systematiek van de wetgever door elkaar door bevoegdheid 2.2e te gebruiken voor problemen die met de bevoegdheid 2.2d aangepakt moeten worden. Anders gezegd: het CvTE handelt met zijn N-term-beleid in strijd met de wet.

Zie: Het CvTE (13 juni 2017). “Voor de duidelijkheid: leerlingen maak je geen zorgen. Als er fouten worden geconstateerd in examens, dan repareren we dat met de N-term”. https://twitter.com/hetcvte/status/874675232921067520 Ik schreef in antwoord daarop: https://twitter.com/benwilbrink/status/874753094659317761 “Pieter, repareren met N-term doet geen recht aan het ontstane onrecht. Download hier het proefschrift van Job Cohen:” http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981  Het bleef stil.

Stelling 2. Opnieuw vaststellen van de N-term na de N-term-aanpassing wegens compensatie is willekeur, immers zie stelling 1.

Stelling 3.  Op zich is compensatie van scores/cijfers (tja, het is een warboel) via de N-term in strijd met het gelijkheidsbeginsel: ongelijke gevallen worden ten onrechte gelijk behandeld.

Toelichting. Een aanpassing van de N-term geeft ALLE examenkandidaten extra/minder punten, ook al zijn deze gevallen evident ongelijk. De strekking van het beginsel is gelijke gevallen gelijk te behandelen, en ongelijke gevallen naar de mate van hun ongelijkheid. Dat is een nuance anders dan de formulering in artikel 1 van de Grondwet, maar daar gaat het dan ook om uitsluiten van discriminatie.

Anders gezegd: als bij een beroep van een enkele kandidaat geen andere kandidaten zijn betrokken, laat die er dan ook buiten. Ook al heeft de helft van de kandidaten ‘en effet’ als antwoord gegeven: neem daar een op zich passende maatregel voor, nodig kandidaten die daardoor net zijn gezakt uit om zich te melden (hooguit een handvol?).

Stelling 4.  In een individueel geval compensatie voor een erkende fout weigeren is puur onrecht. Weigeren wegens die N-term-correcties, zoals in het casus ‘en effet’ is bovendien  willekeur (want zie stelling 1. & 2.).

Een probleem van andere orde, want lastig door examenkandidaten aan te klagen, is de manier waarop het CvTE zich van zijn taken kwijt. Ik kan dat hier niet verder behandelen, maar de stelling is dat het door het CvTE najagen van ‘objectiviteit’ bij het scoren van examens   over de top is, schadelijk voor de kwaliteit van de examens, en dus ook van het onderwijs. En vernederend voor de leraren. CvTE-voorzitter Pieter Hendrikse (1-9-2017): ”Betrokken docenten en toetsexperts dienen unisono tot conclusies te komen.” In https://www.cvte.nl/actueel/weblog/weblogberichten/2017/unisono-kanttekeningen-bij-een-kort-geding Dat is echt niet realistisch. Gelukkig geeft Hendrikse hier ook aan over deze problematiek het gesprek aan te zullen gaan.

Dit stemt allemaal niet vrolijk. De voorzieningenrechter heeft het gerommel van het CvTE voorlopig gedekt. Het zou een goede zaak zijn wanneer er een hoger beroep komt waarin de schijnwerpers op de door formalistische regels afgedekte willekeur van het CvTE zijn gericht. Misschien kan het LAKS hier een initiatief in nemen, en zich verstaan met advocaat Brussee. Ondertussen kan het CvTE zijn knopen tellen, en zorgen dat de eigen expertise op behoorlijk peil komt.

Stelling 5. Het door het CvTE najagen van ‘objectiviteit’ bij het scoren van examens   is  over de top, schadelijk voor de kwaliteit van de examens, en dus ook van het onderwijs.

In het onderwijs is perfecte overeenstemming tussen onafhankelijke beoordelaars een illusie. Tegen beter weten in jagen velen dat toch als een ideaal doel na, door de leerstof in kinderachtige kleine brokjes op te knippen, open vragen te vervangen door meerkeuzevragen, en zelfs door beoordelaars te trainen in het consequent toepassen van bepaalde beoordelingscriteria. Allemaal kunstgrepen die het onderwijs en zijn leraren in procrustesbedden persen/hakken/rekken.

Voor meerkeuzevragen is het, na even nadenken, toch evident dat ze niet objectief zijn. De Amerikanen zeggen dat het hier om frozen subjectivity gaat. Herken dat maar als willekeur.   Ik heb het al in 1977 uit mogen leggen aan een zaal waarin vrijwel de hele staf van het Cito zat te popelen om mij van weerwoord te bedienen:  http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm Is het inderdaad willekeur? Ja, want vooral betere kandidaten bedenken nogal eens originele interpretaties en oplossingen, om er genadeloos (want ‘objectief’) op afgestraft te worden.

Het grappige is nu dat bij keuzevragen het goede alternatief is te zien als het modelantwoord, door CvTE scoringsvoorschrift genoemd.

Bij de meerkeuzevraag staat dat modelantwoord afgedrukt naast foute alternatieven, terwijl bij eindexamens de kandidaten het scoringsvoorschrift pas achteraf te zien krijgen. Examenopgaven zijn dus nog minder eerlijk dan de keuzetoetsvragen, zeker wanneer dat scoringsvoorschrift in de regelgeverij van het CvTE een algemeen verbindend voorschrift is: de docent die ervan afwijkt kan met loeiende sirenes worden afgevoerd naar de plaatselijke lik. Ik overdrijf, maar deze formalistische gekkigheid moet onmiddellijk stoppen. Alles staat op gespannen voet met het beginsel van fair play: achteraf pas te zien krijgen langs welke pseudo-objectieve meetlat je antwoord is gelegd; leraren de mond gesnoerd en in hun professionaliteit beknot.

Toch blijft er het probleem dat professionals in hun oordelen vaak verschillen, hoe kun je daarmee eerlijk omgaan? Zie het begin van mijn presentatie in het Cito, 1994, waar ene Don en ene Wim, superexperts, examenwerk onafhankelijk van elkaar verschillend beoordelen — u verwachtte het al: http://benwilbrink.nl/publicaties/94AlgemeenToetsmodelCITO.htm  Omdat van examenkandidaten niet verwacht mag worden dat zij verschillen in expert-oordelen kunnen voorspellen, is een gouden regel de kandidaten het voordeel van het verschil te geven: hoogst gegeven oordeel telt. Dat is fair play.

Het CvTE heeft hiermee te maken, het zou mooi zijn wanneer het CvTE de kwaliteit van examens verder helpt, in plaats van een unieke eigen wijs te fluiten zoals door Algra en Hendrikse beschreven.

nieuws

Ingrid van Engelshoven (21 december 2017). Aanbieding onderzoekskader van de Inspectie van het onderwijs. pdf

  • Hierbij bied ik u aan, mede namens de Minister voor Basis- en Voortgezet
    Onderwijs en Media, het vernieuwde onderzoekskader voor het toezicht op het
    College voor toetsen en examens (CvTE). Het onderzoekskader zal op 1 januari
    2018 in werking treden.

 

Explaining history (math, physics)? Is it even possible? [@ myth #7]

An explanation of an event is a post-hoc interpretation, not something that is objective in an epistemological sense. Of course, independent observers (for example teachers) may concur in a particular explanation, there is however no guarantee that agreement means that an explanation must be true. Giving explanations of events is a psychological act, albeit on the basis of possibly expert domain knowledge. That psychological part makes it an issue in the category of myth #7, the misconceived idea of formulating educational goals in pseudo-psychological words, as things in the heads of pupils. Lots of stuff to blog about.

What triggered this blog is an unpublished talk by Amos Tversky to a gathering of professional historians, on the subject of how they turned historical uncertainties into convincing and almost deterministic historical narratives. Historian’s magic: turning around what a priori could not be predicted into beautiful post hoc explanations. The talk by Tversky is mentioned in the double biography of Tversky and Kahneman by Michael Lewis 2017 pp 205-208.
My hunch: isn’t this also what we ask examinees to do, in some/many cases? Anyway. This historian case is only an example of a problem in many (applied) sciences. Scientists thinking up hypotheses; physicians searching for diagnoses; judges striking verdicts.

  • Lewis, p. 208 Historians imposed false order upon random events, too, probably without even realizing what they were doing. Amos had a phrase for this. ‘Creeping determinism,’ he called it—and jotted in his notes one of its many costs: “He who sees the past as surprise-free is bound to have a future full of surprises.”
    ( .. ) The historians in his audience of course prided themselves on their ‘ability’ to construct, out of fragments of some past reality, explanatory narratives of events which made them seem, in retrospect, almost predictable. The only question that remained, once the historian had explained how and why some event had occurred, was why the people in his narrative had not seen what the historian could now see. “All the historians attended Amos’s talk,” recalled Biederman [a Stanford psychologist, bw], “and they left ashen-faced.”

What about mathematics and physics? I quote from Lewis, 2017, p. 208:

  • After he had heard Amos explain how the mind arranged historical facts in ways that made past events feel a lot less uncertain, and a lot less unpredictable, than they actually were, Biederman felt certain that his and Danny’s [Kahneman] work could infect any discipline in which experts were required to judge the odds of an uncertain situation — which is to say, great swaths of human activity.

Uncertain events are troublesome to us, simple human beings. It turns out our judgments of or on probability more often than not are wide off the mark, and might differ enormously dependent on either positive or negative wordings of the probability (glass half empty; risk not to survive 10%). One of the problems here is our inability to reckon with base rates, or even to be aware of them. Many human heuristics are not helpful at all in the complex situations of modern culture. A powerful essay on these heuristics and biases is Tversky & Kahneman 1974, in Science.

How might knowledge of these heuristics and biases apply to achievement test item design? I can’t remember ever having seen a serious treatise or research article on the subject. Google somewhat more? Try your luck on a recent blog by Andy May (is that correct?) on the knowledge and skills debate in history education.

Back on topic. Many essay examinations boil down to explanations or other ways of construction of narratives. How do you judge those works? There is a serious risk that what you will be judging is not (only) curricular aligned knowledge, but (also) the quality of the explanation or narrative, how convincing it is. Then you walk straight into the Tversky trap of ‘creeping determinism’. What alternatives do you have? You can’t look back into the brains of the writers! You might regard the pupil’s brain as a black box, and simply rate convincingness; the problem with that approach is that you run into the problematic of Myth #4: ‘It’s okay for intelligent pupils to have an edge.’ No, that’s not okay; if the goal is to test for differences in intelligence, then use a valid intelligence test.
The work of Tversky and Kahneman shows that there is a methodology to research heuristics and biases. That methodology might be used to develop a techniques that will enable valid assessments of explanations and narratives, as well as instructional methods of course. Is this a viable alternative? I do not know, at least not yet.

Educational objectives formulated in the pseudo-psychological terms of being able to explain or to conceive narratives might be highly problematic in ways not even suspected bij professionals in the specific domain.

[on details the text will be amended or complemented]


Daniel Kahneman (2011). Thinking fast and slow. Farrar, Straus, and Giroux. a review

Michael Lewis (2017). The undoing project. A friendship that changed our minds Norton. Friends: Amos Tversky, Daniel Kahneman. info

Amos Tversky (1972). Historical interpretation: Judgment under uncertainty. unpublished talk, used by (including quotes) Lewis, 2017, 205-208. books.google text fragment

Amos Tversky & Daniel Kahneman (1974). Judgment under Uncertainty: Heuristics and Biases. Science, New Series, 185, No. 4157. (Sep. 27, 1974), 1124-1131. pdf [This article, of course, is reprinted in many edited volumes on decision-making]

‘Understanding’: my own understanding assessed [@ Myth #7]

‘Understanding’ is used in a myriad of ways in, for example, educational standards and in assessment grids, more often than not in fuzzy ways without any acceptable theoretical underpinnings. Expect the straw man of ‘rote knowledge’ to be not far away. A simple question then might clear up the mist: Exactly what is it that is called ‘understanding’ here? Is it not only knowing A and B, but also the relation between A and B? Etcetera. Translate the pseudo-psychology into psychology, or even better into epistemology.

I will not be done with this subject in only one blog, of course. In this blog I’d like to share a personal anecdote, and try to connect it to the literature, and to experiences that all of you surely will have had.

One of the mathematics subjects in my 11th and 12th year was analytical geometry, a somewhat mysterious geometry emphasizing polar coordinates and geometric places. I never quite ‘understood’ this math; I was able to solve its problems however. In the Netherlands pupils have to sit exit examinations. The geometry examination 1962 was a viva voce exam by one’s own teacher and a mathematician from one of the Dutch universities. I was worried, being perfectly aware that my ‘not understanding’ would be a big risk. The day before this exam was Ascension Day, a perfect opportunity to exercise the whole stuff once more. Lo and behold, there was that moment I saw the light, everything fell on its place, I understood this geometry! And so it proved to be: the viva voce examination was kind of hilarious, I had no difficulty whatever to answer the questions. No, that is not exactly what happened; what happened was a fluid conversation in the language of analytical geometry. Got the highest grade possible. Never after was there an opportunity to cash in on my knowledge of analytical geometry, however, having opted for the study of psychology in Utrecht.

Noel Entwistle studied this kind of phenomenon: cramming before the exam, as a result of which the subject-matter might (suddenly) become totally transparent to the pupil or student. He dubbed this phenomenon a ‘knowledge object’. I’d like to call it perfect mastery of a circumscribed domain.

As reported experiences backed up by perfect exam scores, there is nothing psychological implied in such a knowledge object. One might speculate, of course. What surely is happening in intensive exam preparation is that as a result much of the relevant domain knowledge in declarative memory becomes easily available, even more or less simultaneously. Therefore, these are very fertile hours as regards possibilities for all kinds of links and cross-references to get established, if they weren’t already. A well connected body of knowledge is what many people in fact mean with the term ‘understanding’. Of course, limited capacity working memory will stay the bottleneck it always was. Therefore, cramming without a solid preparation that resulted in much knowledge being automated or linked together tightly (in ‘chunks’) will end in disaster. On this concept of ‘chunks’ see, for example, Taatgen, Lebiere & Anderson; it is highly technical, though.

My experience was about knowing one’s way in a complicated subject—analytical geometry—while being aware of not really understanding it. It is well known among (at least some) teachers of physics (in secondary education as well as in college courses) that pupils or students may be perfectly capable of solving the usual problems, while their understanding of physics is still of the aristotelian kind, not the newtonian one.

  • To this day every student of elementary physics has to struggle with the same errors and misconceptions which then had to be overcome, and on a reduced scale, in the teaching of this branch of knowledge in schools, history repeats itself every year. The reason is obvious: Aristotle merely formulated the most commonplace experiences in the matter of motion as universal scientific propositions, whereas classical mechanics, with its principle of inertia and its proportionality of force and acceleration, makes assertions which not only are never confirmed by everyday experience, but whose direct experimental verification is impossible …. (p. 30).
    Champagne, Gunstone and Klopfer (1985, p. 62), citing from E. J. Dijksterhuis (1951/1969). The mechanization of the world picture. Oxford University Press.
    Audrey B. Champagne, Richard F. Gunstone and Leopold E. Klopfer (1985). Instructional consequences of students’ knowledge about physical phenomena. In Leo H. T. West and A. Leon Lines: Cognitive structure and conceptual change (pp. 61-90). Academic Press.

A recent research article on misconceptions on the sinking of heavier/lighter balls in water (Potvin, Masson, Lafortune & Cyr 2015) offers a nice illustration as well as a clever technique to assess the influence of misconceptions on question answering.

Now it seems I have saddled you with more questions than answers. True, more blogs to come, that’s for sure. I have tried to show that the experience of understanding or not understanding might be a true feeling. Nevertheless, understanding is a strange concept that had better be replaced by descriptions that are less laden with folk psychological. Understanding might be a quality of the network of knowledge chunks: simply much better connected, or pruned from faulty connections to, for example, aristotelian concepts of physics. If understanding is about concepts and relations between concepts, then its assessment should be assessment of knowledge of those concepts and their relations.

‘A network of knowledge chunks’ is a description borrowed from cognitive psychological theories. That is not bad: there is something to learn, even from sophisticated models, on pitfalls and misconceptions in the design of assessment test items. It must be possible to do it without psychology, sticking to epistemologal descriptions of course content that may be up for assessment.

I take no questions analytical geometry 😉 I’ve lost my understanding of it completely. Might be interesting to find out how much time it would take for me to bring my knowledge and understanding of analytical geometry back to level 1962 (see Willingham 2014 on what one takes away from school).


Noel Entwistle (1995). Frameworks for understanding as experienced in essay writing and in preparing for examinations. Educational Psychologist, 30, 47-54. abstract & researchgate download.

Noel Entwistle & Dorothy Entwistle (2003). Preparing for Examinations: The interplay of memorising and understanding, and the development of knowledge objects. Higher Education Research & Development, 22, 19-41. pdf

  • The analysis showed that the distinction between “understanding” and “memorising” is not easy to delineate, with “committing to memory” and “rote learning of details” both contributing to the production of a knowledge object.
  • While examinations have been increasingly castigated for encouraging memorisation and reproduction, our analysis has shown that the process of revision for essay examinations can involve deep reflection on topics and an active search for understanding, at least where conceptual understanding is being expected.

Patrice Potvin, Steve Masson, Stéphanie Lafortune & Guillaume Cyr (2015). Persistence of the intuitive conception that heavier objects sink more: A reaction time study with different levels of interference. International Journal of Science and Mathematics Education, 13 open access

Niels Taatgen, Christian Lebiere & John Anderson (2006). Modeling paradigms in ACT-R. In R. Sun (Ed.): Cognition and multi-agent interaction: from cognitive modeling to social simulation. (29-52) Cambridge University Press. concept or download a scan here.

Daniel Willingham (Aug 12, 2016). Why knowledge is unforgettable. Adults remember more of what they learned in school than they think they do—thanks to an aspect of education that doesn’t get much attention in policy debates. The Atlantic blog

Assessment in education: 15+ myths

In 1983 I published a small book, in Dutch, on achievement test item writing. A short characterization: the book wanted to do away with the (still too common) notion of item writing being an art, not a craft. The book is in need of rewriting. Because that is major project, a good start might be some in depth treatment of myths on assessments. I present here a listing of 15+ major myths. They will get a workout in a long series of blogs. For example, myth #1 Assessment is measurement is an important one, with many ramifications in somewhat faulty educational practices. Yet, there are good alternatives available. Myth #1 in itself will be good for a long series of blogs to treat of all its aspects.

  • Ben Wilbrink (1983). Toetsvragen schrijven. Utrecht, Het Spectrum, Aula 809. Original Dutch version download 1.4 Mb pdf]
  • Ongoing revision website [further work will be, as much as possible, in this new blog series]

The list of myths might amaze you, in the sense that you may not even recognize in them any common opinion on assessment. I will therefore provide some clues in the form of one or two references to key publications, or maybe some key quotes from the literature. Full treatments will only be given in the promised blog series. On February 25 I opened the following thread.

How many myths on educational assessment might there be? Is it possible to do a fast inventory? What do I think to be the top fifteen myths? thread opening

Myth #1 Assessment is measurement
It isn’t; it is sample-based. Of course, you have always known assessments to be samples, any particular sample could be more friendly to you, or less, depending on, on what, on luck?
The main idea of psychometrics is that psychological tests are measurements. Michell (2001) explains psychometrics therefore to be fraudulent science. The problems with this faulty idea of tests being measurements are, among many others, (1) that what is being ‘measured’ is something thing-like of the person and (2) that these ‘measurements’ may be transformed in the same kinds of ways we do with measurements of temperature (Celsius or Fahrenheit; or even Kelvin’s absolute scale measurements). Measurement would be of something hidden in the brain, more often than not called ‘latent traits’, ‘ability’, ‘intelligence’. There is nothing we know now about our brain psychology that corresponds to those constructs! See also Myth #7.
For the concept of assessments as samples a number of models are available, beginning with the models of mathematical statistics itself. In my opinion the best models are decision-theoretic models (following the lead of Cronbach & Gleser, 1965 2nd). For educational assessments the main decision-makers are the pupils or students themselves (amazed? you’d better be!), Bob van Naerssen (University of Amsterdam) presented a basic model in 1970.
Why the fuss, what difference does it make? Well, there are lots of disinformation and misunderstandings in the literature on assessment, predicated on the idea of assessments to be measurements, not samples.

  • Lee J. Cronbach & Goldine C. Gleser (1965). Psychological tests and personnel decisions. University of Illinois Press.
  • Joel Michell (2008). Is Psychometrics Pathological Science? Measurement, 6, 7-24. pdf
  • Robert van Naerssen (1970). Over optimaal studeren en tentamens combineren. Inaugurele rede. [Dutch] webpage

Myth #2. Assessment is the prerogative of teacher/school/etcetera
It isn’t; they are restrained by justice & law. In Dutch higher education it is possible to appeal (parts of) examinations in real courts, which still seems to be rather unique in the world. Job Cohen (later major of Amsterdam) wrote a dissertation on the practice, which with his permission is made available by me:

Myth #3. The more objective/reliable, the better
No, pupils or students and assessors are gaming each other. I told you so. By the way: they have always done so, through the ages, wherever on this world.

  • Ben Wilbrink (1992). The first year examination as negotiation; an application of Coleman’s social system theory to law education data. European Conference on Educational Research. paper [this paper is sporting a MTMM matrix with very high validities, indication of something serious tapped here) [tags: grade inflation; predictability of exam results] [added: correspondence with James Coleman]

Myth #4. It’s okay for intelligent pupils to have an edge
No; this is education, not psychological diagnosis or personnel selection. Pupils should be able to prepare efficiently, that’s all there is to it. It is quite difficult for teachers to grasp the fine point that differences in intellectual capacities should have played out in the preparatory traject, and should not not really effect the achievements themselves. Another way to say this is: it is the task of educators to educate, not to test for differences in intellectual capacities.
Suppose the goal of a course, lesson, whatever, is mastery of the subject for every pupil. Of course, there will be differences between pupils, making it necessary for some of them to invest more time to reach that goal than others need. Accommodate for the differences in time needed. Some allowance might be made for difference in aspiration levels, if the character of the subject allow for those differences. A simple mathematical model (Tromp & Wilbrink 1977) catches the situation, and might be used as a heuristic model to conceptually clear up many situations involving individual differences. The model itself is a fully recursive structural equation model, if you’ve got data, fill them in.

  • de Groot, A. D. Some badly needed non-statistical concepts in applied psychometrics. Nederlands Tijdschrift voor de Psychologie, 1970, 25, 360-376. webpage
  • Dick Tromp & Ben Wilbrink (1977). Het meten van studietijd. [Measuring preparation times] Congresboek OnderwijsResearchDagen. [Dutch] [top: exogenous variables like capabilitity; left: aspiration level; bottom: time spent; right: achievement]html
    77Studietijd3ORD.GIF
    For the assessment to be truly curriculum aligned, the coeffciënt of the direct path from exogenous variables to achievement should be near zero: intellectual differences work out through time spent and aspiration level posed.

Myth #5. Item writing is an art
That’s a bloody shame. Item writing should be a craft based in cognitive psychology as well as epistemology. Yet even ‘professional’ item writing for the big tests (US: ACT, SAT; Netherlands: Cito examinations) is approached as an art of the teachers involved.
Theory about content of achievement test items is virtually non-existent. Yet quality of content evidently is the primary factor determining the quality of achievement tests. It is therefore very disappointing to find textbooks on educational measurement uncritically repeating the old adagium, see for example Wesman in Thorndike (1970) Educational measurement, that the writing of achievement test items is an art one can only master through years and years of practice. Also books on test item writing, for example Roid and Haladyna’s, play down issues of content, concentrating instead on issues of form. Even the magnificent work of Bloom, Madaus and others in the seventies, on educational objectives and how to test them, does not really concern content issues either.

  • Benjamin S. Bloom, J. Thomas Hastings, and George F. Madaus (1971). Handbook on formative and summative evaluation of student learning. McGraw-Hill.
  • Gale Roid & Thomas M. Haladyna (1982). A technology for test-item writing. Academic Press.
  • A. G. Wesman (1970). Writing the test item. In R. L. Thorndike (Ed.): Educational measurement. American Council on Education.

Myth #6. Psychometrics is the methodology of choice for assessment
It isn’t; assessment is quite different from psychological diagnostics. I explained in a 1986 paper the crucial difference between psychological testing and educational assessment: for testing the assumption is that testees are not in any way specifically prepared; for assessment the assumption is that the assessment is curricular aligned, and that the pupils have prepraed themselves specifically for this assessment. Two different worlds. Yet most of you will have noticed that the literature on assessment uses the methodology of the world of psychological testing without even winking. In the Netherlands my analysis had a direct impact on the 1988 edition (still the latest edition) of the Richtlijnen voor tests an toetsen [Standards for tests and assessments].

  • NIP (1986). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. Toetsgebruik in het onderwijs pdf
  • Ben Wilbrink (1986). Toetsen en testen in het onderwijs. In S.V.O. Jaarverslag / Jaarboek 1985. Den Haag: S.V.O., 275-288. webpage [Dutch]

Myth #7. Assessment is about pupils’ brain contents
No, we don’t know anything enabling us to pull tricks like that. The closest we can get now is by using models of cognitive architecture, such as he ACT-R model by John R. Anderson and his co-workers.
There is a lot of talk in edutopia about knowing, understanding, all kinds of psychological constructs supposedly describing what is happening in our brain cells outside of our abilities of introspection. Think of bad old Bloom’s cognitive taxonomy, and more recent variants thereof. It takes a lot of sophisticated psychological theory (based on experiments, of course) to explain simple as well as the more complex happenings we suspect to be there when we speak of ‘thinking’ pupils, teachers, or presidents. Using pseudo-psychological jargon in speaking of assessment of the results of learning is not helpful, let’s stop doing that.

  • Richly filled website of the ACT-R research group. Filled with research articles, that is, most of them available for reading or download. http://act-r.psy.cmu.edu
  • Stellan Ohlsson (2011). Deep Learning: How the Mind Overrides Experience. Cambridge University Press. info
  • Christine Counsell (Jan 11, 2017). Genericism’s children. blog [The problem exemplified in history education]

Myth #8. True assessment is on transfer to real life situations (PISA-type tests)
This misconception is a direct threat to much of our education. PISA Math illustrates the problem: it is not truly on math, nor on ‘real life situations’, yet the test holds the OECD world hostage. Amazingly, the OECD gets away with its failure to offer empirical evidence of the most important validity issues involved here. The crucial point being: according to the Standards of the American associations APA< NCME and AERA, a test without sufficient information on its validity issues, should not be used. Ever.
Having a word for a supposed phenomenon does not prove the existence of the phenomenon. There a lot of controversy on transfer, even though a century age Edward Thorndike explained the issue perfectly well. As far as new situations go, there is no guarantee whatsoever that we will use our knowledge that is relevant to that situation. Already some contradictions are surfacing: if we have relevant knowledge, why is the situation ‘new’, then? Forget the word transfer, and follow Stellan Ohlsson’s (2011, mentioned earlier) hunch that new situations require new learning. That’s all.
In the problem solving literature (Newell & Simon) of the seventies it was made perfectly clear that a precondition for problem solving is the availability of the productions that would make it possible to reach solutions (Ben Wilbrink 1983, chapter 7).

  • Allen Newell (1990). Unified theories of cognition. Harvard University Press. info
  • Allen Newell & Herbert A. Simon (1972). Human problem solving. Prentice Hall.
  • Ben Wilbrink (ongoing, on item writing) 7. Probleemoplossen [problem solving]. webpage

Myth #9. Knowledge is not that important any more (f.e., Schleicher, OECD)
It’s a pity Andreas Schleicher can’t introspect his own automated knowledge. The cutting edge psychology of learning ( = acquiring knowledge): Stellan Ohlsson 2011.
This myth is an especially dangerous one, impacting assessment in a really destructive way by emphasizing testing of generic skills (they do not exist, myth #10), and in that way impacting education also.
The amazing thing is that experimental cognitive psychology has made it abundantly clear that there is no way for non-trivial domain-specific creativity and problem solving to exist without a firm grounding in knowledge. Knowledge in the brain that is, not in the cloud. The explanation is fairly simple: all cognitive activity must pass our limited capacity working memory, it is therefore absolutely out of the question that picking up knowledge ‘on the fly’ from whatever external source (calculator, the world wide web) will allow any meaningful cognitive activity at all. Ohlsson will explain, you’ve never read such stuff in your life! (in the tradition of Newell & Simon, cognitive architecture models).

  • Andreas Schleicher (2016) The world economy no longer pays you for what you know; Google knows everything. [youtube op 2’07”].
  • Stellan Ohlsson (2011). Deep Learning: How the Mind Overrides Experience. Cambridge University Press. info Stellan Ohlsson will present at ‘Make shift happen’, Amsterdam, October 2017 (as will Anders Ericsson. And Yana Weinstein,David Didau, Lucy Crehan).

Myth #10. Generic (21st century) skills are important, assess them (think tanks everywhere)!
Generic skills do not exist. Domain-specific ones do.

  • Ben Wilbrink (May 10, 2016). 21st century skills in Dutch ‘ed reform 2032’. OECD in denial of psychological research? blog

Myth #11. Soft skills might be game changers (OECD again; hobby horse of economists)
No. They’re personality traits. Do not invade privacy.

  • Ben Wilbrink (May 17, 2016). Personal development: OECD’s social and emotional skills. Is it science? blog

Myth #12. Assessments can be used for multiple purposes
No, this is the social world, not the physical one. Subjects will behave differently as soon as the stakes are changed, invalidating all and everything.

  • American Statistical Association (ASA) (2014). ASA Statement on Using Value-Added Models for Educational Assessment.
    https://www.amstat.org/policy/pdfs/ASA_VAM_Statement.pdf
  • Sharon L. Nichols and David C. Berliner (2005). The Inevitable Corruption of Indicators and Educators Through High-Stakes Testing. Education Policy Studies Laboratory, Arizona State University pdf (180 pp.)

Myth #13. ‘I know exactly what I am doing in my assessments’
Is that so? You should be able to give it a mathematical model, then. Yes?
How would you begin? From myth #1 you know already that an assessment is a sample. In fact, every item is a sample. Assuming items are random samples from a large collection of applicable items, remember some basic statistics and see how a binomial distribution is a good model. It will help if you understand that for the pupil having to sit the assessment, the 20 items are a random sample from that (possibly imaginary) collection, no matter how in fact you, as a teacher, have assembled the assessment.
This way of modeling assessments is a secret weapon of a handful (or even less) Dutch edumetrists, starting with Robert van Naerssen (1970), the work being continued by myself. The full blown model is decision-theoretic. The main decision-maker is the pupil preparing to sit the assessment, and having to decide ‘is my preparation sufficient already?’. The teacher/school is the secondary decision-maker: designing the assessment in such a way as to enable pupils to prepare efficiently, as well as achieving acceptable results. The utility of this kond of modeling is mainly to show how just speculating on the workings of assessments is woefully insufficient for the design of systems of assessments (examinations).

  • Wolfram offers a free online service to evaluate, for example, binomial distributions. Think of an assessment of 20 items. Suppose a pupil thinks she will be able to answer 60% correct, that is, for every item the chance that it will be an item she knows will be 0.6. Play with it a bit. http://www.wolframalpha.com/input/?i=binomial+distribution+20+0.6
  • Robert van Naerssen (1970). Over optimaal studeren en tentamens combineren. Inaugurele rede. [Dutch] webpage
  • Ben Wilbrink (ongoing). Strategic preparation for achievement tests. A model. webpage

Myth #14. It is only natural for assessments to compare different pupils’ achievements
No, that’s only traditional selective/competitive educational culture. Until the end of the 19th century (and even later) ranking of pupils in class on the basis of points of merit and demerit was usual. Also exam results were reported as the rank achieved among peers participating. Quite interesting history, by the way. Modern systems of grading evolved from these methods of ranking. Grading systems essentially are just stylized systems of ranking. Knowing this history might teach the researcher, and the teacher, some humility in handling evalautions of assessment results.

  • Ben Wilbrink (1997). Assessment in historical perspective. Studies in Educational Evaluation, 23, 31-48.
    html

Myth #15. Good standardized testing of young pupils is harmless
But for: scapegoating, stereotyping, humiliation, children’s rights.
Repeatedly/unceasing telling children they belong to the worst achievers in class, or to the lowest percentile group of the country (a standard practice in Dutch primary schools) might be mental abuse in a severe form. Especially so if it is clear from examples of other schools, or even countries (Hirsch, 2016), that it is possible to reduce SES-related gaps in, for example, vocabulary. Testing children never is harmless; professional codes prohibit unnecessary testing, testing without consent of parents, interpreting results without being qualified to do so, archive results longer than, say, three years, letting third parties in on test results. Regrettably, schoolchildren will not be protected by professional codes of psychologists. Abuse of tests will result in stereotyping children, and might result in scapegoating where test results are regarded as ‘explanations’ of lagging achievements.

  • Convention on the Rights of the Child. text
  • E. D. Hirsch, Jr. (2016). Why knowledge matters. Rescuing our children from failed educational theories. Harvard Education Press. prologue pdf
  • James Murphy [Horatio Speaks] (March 5, 2017). Intelligence-ism. blog

Myth #16. ‘Well-designed multiple choice questions MCQs are just fine’
A tweet (March 4) prompted me to add this Myth #16. Of course, some questions are multiple choice in a natural kind of way, no problem with that. ‘Which planet circles the Sun closest?’ Other MCQs are artificial formats that do not belong in education. They give pupils the wrong message about the world. They de-emphasize the importance of expressing oneself in writing.

  • Ben Wilbrink (1983). Toetsvragen schrijven [Item writing]. Par.2.2 Keuzevragen [Dutch]
  • Ben Wilbrink (1977). Verborgen vooroordeel tegen andere dan meerkeuzevraagvormen. ORD, Amsterdam VU. webpage [Dutch] [Direct confrontation between young researcher and the Dutch Testing Service, Cito, promoting the dogma of MCQ tests being the only acceptable achievement tests because of their ‘objectivity’]

[I migh still add/correct some details. And add myths ;-)]