Een behoorlijk debat over toelating tot fixusstudies: hoe doen we dat?

NRC: ‘Loten voor een studieplek is echt eerlijker’ nrc.nl/nieuws/2023/01… Ik hang er een draadje aan, in de loop van de dag.

Loten voor een studieplek is echt eerlijkerKansenongelijkheid: Ruim vijf jaar na het afschaffen van loting is duidelijk dat het de kansenongelijkheid in het hoger onderwijs vergroot heeft en collegezalen homogener maakte.https://www.nrc.nl/nieuws/2023/01/27/loten-voor-een-studieplek-is-echt-eerlijker-a4155590

De afgelopen week stond in het kader van de behandeling van decentrale loting in de TK. Druk geweest op Twitter, ik heb mijn beslommeringen bijeengeharkt in twee blogs benwilbrink.wordpress.com/2023/01/24/lot… en benwilbrink.wordpress.com/2023/01/26/dec… 
Waarom is die loting toch zo moeilijk uit te leggen? 

Die vraag werd me nog weer eens opgedrongen bij het lezen van een uitstekende behandeling van de ‘Dutch lottery’ door Conan Boyle in zijn boek dat over (meer) toepassingen van loten in onderwijs handelt. Ook voor NL lezers: open access conallboyle.com/lottery/2010Lo… pp 141-178. Lezen!

Bij mijn weten is het laatste naar volledigheid strevende overzicht van de brede publiekeke discussie over gewogen loting en zijn voor- en nadelen geschreven door Ben Wilbrink in opdracht van ministeriële Cie-Drenth, 1997. Mag ik dat zeggen? Jawel hoor. Hier is de tekst: benwilbrink.nl/publicaties/97… Dit overzicht heeft aan de basis gelegen van de overwegingen van de Commissie. Een belangrijke rol speelde daarbij de inventarisatie van selectiemethoden die écht niet kunnen en die we dus niet moeten willen. Dat maakt ruimte voor debat over waar het wél om moet gaan. 

Wat mij dan opvalt is dat het in die oudere discussie gaat over individuele kansen op toelating tot fixusstudies, of die eerlijk zijn, of gelijk. Terwijl het in het kamerdebat van dinsdag jongstleden vooral ook ging over ongelijke behandeling van bepaalde groepen kandidaten. Dat is een accentverschil met oudere discussies. Het inspectierapport dat kort voor de behandeling in de Kamer publiek werd, zette die vorm van kansenongelijkheid nog eens extra stevig neer, want decentrale selectie blijkt bepaalde groepen te bevoordelen. Geen verrassing hoor! 

Het NRC-artikel begint krachtig op dit thema: “Kijk even mee in de collegezalen van een opleiding geneeskunde nu. De kans is groot dat de meeste studenten op elkaar lijken. Het leeuwendeel is wit, vrouw, en heeft ouders die tot de 10 procent rijkste Nederlanders behoren.” (Smulders)  Dit schetst een beeld van een ernstige misstand, op zijn minst bij selectie voor geneeskundige studies. Dat verrast me niet echt. Het was fijn geweest wanneer kamerleden dat artikel een week geleden hadden kunnen lezen: het zou het debat hebben veranderd. 

Iets anders: het NRC-artikel eindigt met het bespreken van enkele promotieonderzoeken. Het moet mij van het hart dat die promotieonderzoeken ons telkens weer op het verkeerde been zetten. Ze zijn perfect overbodig. We hebben alle nodige kennis al heel lang

U kunt het allemaal terugvinden in de stukken uit de zeventiger jaren. De selectiepsychologie is sinds die tijd echt niet veranderd. Ik vind het langzamerhand een academisch schandaal van jewelste dat telkens weer wordt gesuggereerd dat we de kennis nog niet zouden hebben.  Het was trouwens internationaal al een halve eeuw geleden een bekend fenomeen dat veel onderwijsonderzoekers hun loopbaan begonnen waren met een onderzoek naar de voorspellende waarde van schoolcijfers voor succes in een vervolgstudie. Om daarna andere dingen te gaan doen. Haha. 

Wat ik nog graag wil uitwerken is het volgende. Voor een sterke discussie is het nodig om een sterk kader te hebben. Zo is ook mijn stuk uit 1997 voor de Cie. Drenth opgezet. Destijds heb ik dat beperkt gehouden tot een selectie-psychologisch kader, als ik mij goed herinner.  Vandaag zou dat breder moeten zijn, om een aantal redenen, maar vooral omdat kansenongelijkheid een prominente rol in de huidige discussie speelt. En dat is volkomen terecht. Aan zo’n theoretisch kader moeten we de eis stellen dat het volledig is. In vette kapitalen: VOLLEDIG

Dat wordt nog knap lastig. Ik geef een paar voorbeelden van wat de bedoeling is.

(1) Universitaire fixusstudies zijn alleen toegankelijk voor wie een vwo-diploma heeft. Dat is een belangrijk verschil met de rest van de wereld, en absoluut essentieel voor een goed begrip van zin en onzin van decentrale selectie. Dat Lianne Mulder verwijst naar hoe buitenlandse universiteiten selecteren (NRC-artikel), is knap irrelevant voor de Nederlandse situatie.

(2) Ons stelsel is wettelijk verankerd, daar kan niet zomaar in worden gerommeld met allerlei praktische oplossingen. Eindexamens vwo geven toelaatbaarheid tot wo. Daar zijn uitzonderingen op door noodsituaties zoals bij geneeskundestudies. Selecteren in plaats van loten is een EXTRA aantasting van de toelaatbaarheid. Voor de rechter zou de afgewezen kandidaat dat kunnen winnen. 

(3) Er wordt vaak geredeneerd dat eindcijfers studiesucces voorspellen. Dat zullen ze altijd wel een beetje doen. Een beetje hè! (zie Conall Doyle 152-153).

(4) Belangrijker nog dan die geringe voorspellende waarde is dat eindcijfers op dezelfde manier succes voorspellen in andere studies. Ze voorspellen niet specifiek voor geneeskunde. Dat heeft echt wel consequenties voor argumenten rond decentrale selectie. 

(5) Nog in de 60er jaren trokken geneeskundige studies studenten aan met vooral matige prestaties qua eindcijfers en doubleren in het vo. Door het geven van voorrang aan kandidaten met hogere eindcijfers bij de toelating na het instellen van een numerus fixus (capaciteitsfixus, numerus clausus) is de toegankelijkheid van fixusstudies volkomen scheef getrokken ten gunste van leerlingen die op het vo uitblonken. Maar dat heeft wel enorme consequenties, die we eindelijk eens onder ogen moeten gaan zien.

Enzovoort.

Dit zijn onmisbare overwegingen bij een VOLLEDIGE discussie over toelating bij numerus fixus studies. En ze ontbreken in bijna alle stukken, artikelen, proefschriften, die na het advies van de Commissie-Drenth in 1997 zijn verschenen. (literatuurbestand loten: http://www.benwilbrink.nl/projecten/loten_nf.htm; literatuurbestand decentrale selectie: http://www.benwilbrink.nl/projecten/decentraleselectie.htm). Wie op basis van onvolledige analyses besluiten neemt die de toegankelijkheid van onderwijs raken, speelt op onverantwoordelijke wijze met onderwijsrechten. 

Er is echt veel kennis nodig voor zo’n volledig overzicht van toegankelijkheid bij fixusstudies. Inclusief grote vragen over nut en noodzaak van het inzetten van een capaciteitsfixus zelf al. Die kennis komt uit meerdere disciplines, haal die experts dan ook bij elkaar. Omdat ik zelf zonder budget — buiten dat van het ABP — moet werken, doe ik het allemaal zelf, en daar zal ik ongetwijfeld fouten bij maken. Ik reken erop daarin gecorrigeerd te worden.

Ik geef een voorbeeld: recht op onderwijs is zowel in het Nederlandse recht geregeld, als in internationale verdragen voor de rechten van het kind. In mijn professionele leven aan de UvA mocht ik Guda Oly (docent rechten in de economische faculteit) ontmoeten, die mij heeft meegegeven dat internationaal recht gaat boven nationaal recht. Dat is een belangrijk gegeven, want wat onze overheid ook mag bedenken aan anti-wetenschappelijke wetgeving over decentrale selectie, als ik aannemelijk kan maken dat die wetgeving in strijd is met recht op hoger onderwijs voor wie daar de capaciteiten voor heeft (internationaal verdrag, door Nederland onderschreven), dan heb ik een belangrijk punt. Nietwaar? 

O ja, over die capaciteiten. Uit onderzoek dat de Cie-Drenth in 1997 had laten verrichten. bleek dat van de kandidaten met de laagste eindexamencijfers altijd nog zo’n 70 % de studie met succes afmaakte (tegen zo’n 90% voor de hoogst scorende kandidaten). 
Ook het CvB van de universiteit van Leiden moest na onderzoek bij twee studies naar de mogelijkheid van selectie-aan-de-poort toegeven dat zo’n selectie voor alle betrokkenen een verliesgevende zaak zou zijn. (Dato de Gruyter e.a.; begeleidingscie. voorzitter Wim van der Linden; voor rechten: https://scholarlypublications.universiteitleiden.nl/handle/1887/7811; en voor geschiedenis en psychologie: https://scholarlypublications.universiteitleiden.nl/handle/1887/7810). 

Dat een volledige analyse multi-disciplinair moet zijn, heeft ook gevolgen voor de mogelijkheid van zinvol debat. Immers, wanneer men een sterk standpunt (‘het domme lot’) (‘de best presterende verdienen toelating) inneemt op basis van een beperkt zicht op toegankelijkheid, dan praten de debaters langs elkaar heen. Ik heb dat zelf bij herhaling ondervonden in de laatste halve eeuw, om de eenvoudige reden dat voor een volledige analyse een heel boekwerk wel het minst, en er voor een paper of artikel een keuze gemaakt moet worden. Maar zo’n keuze laat een gat in de verdediging vallen, om het zo maar uit te drukken, waar allerlei partijen via allerlei media in duiken. Dat gebeurde in sterke mate na (mijn) publicaties in 1974, vooral in NRC’s Cultureel Supplement (prof. Bakker kreeg 1000 brieven: zie https://benwilbrink.wordpress.com/2021/03/05/alle-geslaagden-zijn-geschikt-bakker-honderden-reacties/

PS Lees ook Olle Ten Cate (2021). Rationales for a Lottery Among the Qualified to Select Medical Trainees: Decades of Dutch Experience. Journal of Graduate Medical Education. open access: https://meridian.allenpress.com/jgme/article/13/5/612/472072/Rationales-for-a-Lottery-Among-the-Qualified-to

Ik wil het hier toch maar bij laten. Ik zal de tekst hier en daar nog wel verbeteren of iets aanvullen. Wat zal het vervolg zijn? Ik zou graag een schets van zo’n VOLLEDIG theoretisch kader opstellen. Of dat gaat lukken? Dat weet ik nog niet. De ervaring leert dat aantekeningen binnen de kortste keren aangroeien tot onoverzichtelijke teksten. De uitdaging wordt om zoveel mogelijk weg te laten, en toch volledig te zijn. Dat klinkt tegenstrijdig, en dat is het ook wel een beetje.

Advertisement

Decentrale selectie bij fixus-studies tast recht op hoger onderwijs aan

Decentrale loting. Citaat uit 2020, Frank Ankersmit. 

“Het valt niet te verkopen dat een toekomstige student met hoge cijfers en een goede motivatie wordt afgewezen omdat hij werd uitgeloot, terwijl iemand met lage cijfers die het minder graag wil door dom geluk wel wordt toegelaten.”

Met volledige titulatuur in de krant, dus Frank Ankersmit beschouwt dit onderwerp als liggend binnen zijn (vroegere) leeropdracht als hoogleraar? Come on. En dan ook nog demagogisch spreken over dom geluk. Denk eerst even na, voordat je met de pers spreekt. Ik leg het uit.

De emeritus-hoogleraar intellectuele geschiedenis aan de Rijksuniversiteit Groningen — hij schrijft mooie boeken — vindt dat bij een beperkt aantal beschikbare plaatsen deze van boven af vergeven moeten worden aan de kandidaten met de hoogste eindexamencijfers. Lijkt slim, toch?

Ik ga hier niet nog eens alle tegenargumenten opsommen — dat heb ik in de 70er jaren al gedaan, zie mijn website — maar wil even aandacht schenken aan een argument dat minder voor de hand ligt, maar door commissies (1976 Warries; 1997 Drenth) wel is gezien: maak kandidaten niet kansloos. (latere commssies over decentrale selectie, zoals de cie. Sorgdrager, hadden helemaal geen selectie-expertise in de commissie zelf, bizar dus)

In ons NL stelsel geven eindexamens toelaatbaarheid tot hoger onderwijs. Sommige studies hebben een wettelijke numerus clausus, tegenwoordig capaciteitsfixus genoemd, en mogen de schaarse plaatsen verdelen door een eigen selectieprocedure. Daarin spelen eindexamencijfers direct of indirect een rol: met lage eindexamencijfers minder of nauwelijks kans. Toelaatbaar? Dat is bij een fixus dus opzij gezet (daar was ooit een Machtigingswet voor nodig om die onderwijsrechtelijke aantasting mogelijk te maken. Is iedereen dat vergeten?).

Nu bestaat er geen recht op hoger onderwijs in een specifieke richting, laten we zeggen dat dat geneeskunde is. Maar wat wil het geval: niet alleen geneeskunde, ook tandheelkunde en diergeneeskunde hebben een fixus. Dus laat de kokervisie op alleen geneeskunde vallen: voor kandidaten met geneeskundige belangstelling is een belangrijk deel van het hoger afgegrendeld met decentrale toelating tot fixus-studies.

Dan zien we dat bij selectie op eindcijfers bij alle studies met een numerus fixus de kandidaten met lage eindexamencijfers geen schijn van kans maken. Hun eindexamen geeft in feite geen toelaatbaarheid tot een belangrijk deel van het hoger onderwijs. Echt ongelijke kansen.

Dit is mijns inziens, maar ik ben geen jurist hoor, een aantasting van het recht op onderwijs waartoe Nederland zich bij internationale verdragen heeft verplicht: wie daarvoor de capaciteiten heeft, heeft recht op hoger onderwijs. 

Nota Bene: internationaal recht gaat boven nationaal recht.

Loten is een instrument dat, ook historisch, vaak wordt ingezet om in lastige beslissituaties knopen door te hakken. Daar is interessante literatuur over, maar dat terzijde. Bij loten voor schaarse studieplaatsen heeft iedereen gelijke kansen, en zijn kandidaten met lagere eindcijfers niet in het nadeel t.o.v. anderen. Recht op hoger onderwijs, de toelaatbaarheid, is weliswaar aangetast, maar niet op een manier die op zichzelf de ene kandidaat minder recht geeft dan de andere. Mooi toch? Wie dat anders ziet, moet aantonen dat die ongelijke rechten toch gerechtvaardigd zijn.

Zo wordt wel gezegd dat kandidaten met hoge eindexamencijfers een moreel recht hebben op voorrang boven anderen. Wie daarvan overtuigd is, moet dan maar een politieke meerderheid zien te behalen, niet? Moreel recht, hoezo? Is er sprake van persoonlijke verdienste (merit)? Dat kunnen we meestal niet weten. Heeft een kandidaat met lage eindexamencijfers minder persoonlijke verdienste, dan? Hoe weet u dat? Ah, dat weten we niet. Maar we kunnen het testen, toch? Nou, nee, dit soort zaken (motivatie) zijn niet valide testbaar. (ovr motivatie zie ook hier beneden de voorbeeld-motivatiebrief van Hofstee)

En dan nog. Al dit gefrut over voorrang voor de ene kandidaat boven de andere tast de wettelijke waarde van het eindexamen aan, het verandert of is in strijd met de wettelijke basis van het onderwijsstelsel.

Concreet betekent het dat iedere regeling die op voorhand een bepaalde groep kandidaten uitsluit bij toelating tot studies met een fixus —zoals het ‘Klaas Visser model’ om 25% laagste uit te sluiten — in een moreel, democratisch, en op zijn minst juridisch mijnenveld loopt. Het Klaas Visser model is door VVD en CDA omarmd in een amendement op het voorstel van wet voor decentrale loting dat op 24 januari plenair is behandeld door de Tweede Kamer; de video van het debat is terug te zien.

Concreet betekent dit betoog, voorzover het moreel en juridisch hout snijdt, dat decentrale selectie zonder loting niet houdbaar is, wanneer het juridisch wordt aangevochten als in strijd met recht op hoger onderwijs zoals dat in internationale verdragen is vastgelegd.

Dan blijft nog de vraag over of een combinatie van loten en selectie wel aanvaardbaar is. De praktijk heeft bewezen dat dat voor de gewogen loting van 1975 inderdaad het geval is, althans wat ons parlement betreft: het was een compromis dat kamerbreed steun kreeg.

Ik ben van mening dat wegen van lotingskansen met andere gegevens zoals eindcijfers maatschappelijk schadelijk, lelijk en oneerlijk is. Maar ja, in de samenleving is meritocratisch denken — ‘ik ben fantastisch en dat is eigen verdienste’ — nog steeds algemeen (in de bovenlaag).

Dom geluk (Ankersmit)? Het bestáát: het gezin waarin je wordt geboren.

Ik moet de bron nog noemen voor dat brisante citaat waarmee ik deze draad begon: 

Alexandra van Ditmars (20 februari 2020). Loten én selecteren is beter dan loten alleen. Trouw

https://www.trouw.nl/religie-filosofie/loten-en-selecteren-is-beter-dan-loten-alleen~b355b55b/

Overigens is die uitglijder van Ankersmit voor mij een typisch voorbeeld van het Dunning-Kruger effect. 

Een recent onderzoek gaat over hetzelfde fenomeen, krijgt aandacht in Volkskrant (25-1) en NRC (26-1): ‘Wel een grote mond, geen feitenkennis’

https://www.nrc.nl/nieuws/2023/01/25/een-grote-mond-over-wetenschap-is-nog-geen-bewijs-van-feitenkennis-a4155265

Ik moet hier nog iets aan toevoegen, want ik heb in de draad verondersteld dat iedereen wel weet dat internationaal recht (recht op hoger onderwijs voor wie daar de capaciteiten voor heeft) gaat BOVEN nationaal recht (decentrale toelating tot fixus-studies). Bij deze, u weet het.

En er is nog iets inhoudelijks waarvan me opgevallen is dat daar onbegrip over bestaat. Wie vindt dat bijvoorbeeld eindexamencijfers voorspellende waarde hebben voor studiesucces geneeskunde, en daarom voor selectie gebruikt mogen/moeten worden: luister naar deze boodschap:

Als het verdedigbaar is dat eindcijfers voorspellende waarde hebben voor succes in de studie geneeskunde — wat niet zo is, maar dat laat ik hier maar terzijde — dan moet u bedenken dat hetzelfde ook waar is voor andere studies. Die voorspellende waarde is niet specifiek voor geneeskunde. Geldt ook voor lucht- en ruimtevaarttechniek, communicatiewetenschap, psychologie. You name it. 

Dit is dus weer hetzelfde punt: decentrale selectie op eindcijfers of andere generieke eigenschappen (intelligentie bijv.) perkt recht op hoger onderwijs generiek in.  

Nu zult u wel tegenwerpen: maar een motivatiegesprek, dat is toch wél specifiek voor geneeskunde?  Dat geef ik direct toe.  Maar waarom denkt u dat een motivatiegesprek of -test een valide selectie-instrument is?  Want dat is het dus niet.  Het is oneerlijk.  Het is te faken. 

Ik vind een oude eigen aantekening, en neem die hier over:

In tijden waarin academici nog ruimschoots hun maatschappelijke verantwoordelijk namen, zou tegen al deze onzinnigheid heftig zijn geprotesteerd.  Zo niet vandaag de dag.  Zelfs psychologen gaan mee met de selectie-gekte.  Zo moet de kandidaat die in Groningen psychologie wil gaan studeren, een motivatiebrief schrijven.  Maar niet getreurd, jongelui: in de Universiteitskrant van 24 november 2011 heeft Wim Hofstee een keurige voorbeeldbrief gepubliceerd: http://www.uk.rug.nl/archief/jaargang41/13/11b.php  Ik ben zo vrij om hem in zijn geheel te citeren, zeg maar om de teloorgang van de psychologie zelf te onderstrepen.  

––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––

Model Motivatiebrief

Naar aanleiding van de decentrale selectieprocedure voor psychologie RUG heb ik me afgevraagd wat voor motivatiebrief ik destijds zou hebben geschreven (met de kennis van nu). Van harte aanbevolen als voorbeeldbrief voor aspirant-psychologiestudenten.

Geacht Bestuur Psychologie

Ik heb nog geen seconde nagedacht over wat ik wil gaan studeren; ik heb wel wat anders aan mijn hoofd. Maar nu moet ik wel een ‘motivatiebrief’ schrijven, want ik wil psychologie nog niet uitsluiten. Hoewel, het circus dat u op kosten van de belastingbetaler hebt opgezet, maakt uw opleiding er niet aantrekkelijker op. Dat schijnt ook de bedoeling te zijn, maar zoiets werkt bij mij eerder averechts.

Neemt niet weg dat u ons voor een onmogelijke opgave stelt. ‘Motivatie’ is: wat anderen aan iemand toeschrijven. Zelf ga je daar niet over. Als psychologen zouden jullie dat moeten weten. ‘Ik ben wel/niet gemotiveerd’ is een krom soort lekentaal. Uit elementair wetenschappelijk zelfrespect zouden jullie dat vandaag nog uit je vocabulaire moeten schrappen. U bent waarschijnlijk op zoek naar een motivering: waarom wil ik eventueel psychologie studeren.

Maar dat is pas een echte valkuil. Als iemand naar genoegen de psychologiestudie als een rationele keuze weet te argumenteren, dan zoudt u haar of hem terstond naar economie moeten doorverwijzen, want daar werken ze met dat soort dingen. Voor de psychologie is zo iemand bij voorbaat totaal ongeschikt.

Dus daar trap ik allemaal niet in. Maar van de weeromstuit krijg ik wel steeds meer zin in psychologie. Misschien ben ik op mijn manier wel geïnteresseerd in mensen, meer dan in dingen. Of zo. Niet speciaal in hun gezondheid, welvaart, rechten, of zelfs sociale verbanden; meer in hunzelf, wat dat ook mag wezen. Als ik psychologie ga doen, is dat eerder bij wijze van default option. 

Nou, dat is het wel zo’n beetje, veel meer kan ik er niet over zeggen. Ik hoop maar dat u te weinig aanmeldingen krijgt, zodat u dit soort brieven niet eens hoeft te lezen.

Wim Hofstee

––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––

Nu zult u vragen, wie was Wim Hofstee? Hij werd in 1969 benoemd tot (zeer jong) hoogleraar psychologie in Groningen, en zette zich sterk in voor de huiskamersport: hoe gaan we schaarse plekken voor geneeskunde eerlijk verdelen. Hij is vooral ook auteur van (1999). ‘Principes van beoordeling. Methodiek en ethiek van selectie, examinering, en evaluatie‘ 

Voor een leerzaam interview van Vittorio Busato met Wim Hofstee zie de video https://www.youtube.com/watch?v=bKAEQLVfSgw (Het oral history-project van het ADNG: een monument voor de psychologie.)

Ik heb een halve eeuw uitvoerig gecorrespondeerd met Wim Hofstee over vooral toelating bij numerus fixus studies. Dat heb ik altijd als heel bijzonder ervaren. Wim overleed in 2021, zie https://www.tijdschriftdepsycholoog.nl/artikelen/in-memoriam-wim-hofstee/

Met deze persoonlijke noot moest ik de draad (want oorspronkelijk op Twitter) maar eens afsluiten.

Loten bij numerus fixus: terug van weggeweest. Nu als decentrale loting bij capaciteitsfixus

Tweede Kamer plenair dinsdag 24 januari 19:00-22:30 
Wijziging van de Wet op het hoger onderwijs en wetenschappelijk onderzoek in verband met het toevoegen van decentrale loting als selectiemethode voor opleidingen met capaciteitsfixus in het hoger onderwijs(35765) tweedekamer.nl/debat_en_verga… Oude tijden herleven.

https://www.tweedekamer.nl/debat_en_vergadering/plenaire_vergaderingen/details/activiteit?id=2022A06959

Image

Die oude tijden verzameld, maar dan wel NA 1726: zie hier benwilbrink.nl/projecten/lote…

https://benwilbrink.nl/projecten/loten_nf.htm

De auteurs laten zien hoe de wortels van de staatsloterij liggen in de oplossing van een verdelingsprobleem op de markt van Brugge: wie mag er een kraam plaatsen? Een numerus fixus uit de middeleeuwen. 
Verdelingsproblemen, zie bv. H. Peyton Young (1994) press.princeton.edu/titles/5379.ht…

Raad van State: tweedekamer.nl/debat_en_verga… Blijkt geen idee te hebben waar het over gaat: 
“Invoering van ongewogen loting staat echter ver af van het uitgangspunt van de juiste student op de juiste plaats en zou daarom niet als zelfstandig selectiemiddel moeten worden ingevoerd.” 

https://www.tweedekamer.nl/debat_en_vergadering/plenaire_vergaderingen/details/activiteit?id=2022A06959#top

Want waar gaat het dan wél over: een billijke verdeling van schaarse plaatsen. Over wat ‘billijk’ is, heeft de TK al eens zeer, zeer uitvoerig gediscussieerd (1975), en uiteindelijk een compromis bereikt: de gewogen loting. De Raad van State vindt zelf het wiel wel uit, toch? 

Dit advies van de Raad van State is een zootje ongeregeld. Met alle respect hoor, maar de Raad toont hier een schrijnend gebrek aan expertise op het thema van selectie-aan-de-poort bij numerus fixusstudies. Een stapeling van onzorgvuldige uitspraken in dit advies. Tjonge jonge. 

Onbegonnen werk dit advies punt voor punt te corrigeren. De kamerleden zijn gewaarschuwd. Op specifieke vragen geef ik graag per kerende tweet antwoord. 
Oh ja, op staatsrechtelijke kwesties geeft de Raad niet thuis. In ons stelsel is een NF uitzonderlijk, dus ook de verdeling. 

Ik begrijp niet dat de Raad van State 10 bladzijden nodig heeft voor het advies. Gewogen loting is in 1975 kamerbreed aangenomen, natuurlijk is dit ook anno 2023 een mogelijkheid voor verdelen van plaatsen. Oké, doen. Integraal loten: in de 60er en 70er jaren niet ongebruikelijk 

bij toelating tot hoger beroepsonderwijs waar vaak (veel) meer aanmelders dan plaatsen beschikbaar waren. Ik heb nooit gelezen dat daar problemen mee waren. Wanneer daar goede argumenten voor zijn: natuurlijk kan integraal loten ook worden ingezet. Klaar. Een advies van 1 A4. 

Het voorstel van Wet 12 maart 2021 staat nu dinsdag op de agenda (waarom pas nu: het was ivm demissionair kabinet controversieel verklaard). Hier ophalen: tweedekamer.nl/debat_en_verga… Kern van de zaak: de wijziging van Artikel 7.53 van de WHOWO 

https://www.tweedekamer.nl/debat_en_vergadering/plenaire_vergaderingen/details/activiteit?id=2022A06959

Image

Ik heb de toelichting nog niet gezien, maar ik zal mijn eerste indruk hier geven. Ik vind dit bizar. Het is een poging om decentrale selectie centraal te regelen. Dit is detail-regelgeving bij wet; niet doen. Geef gewoon de ruimte om ook loting te hanteren, gewogen of niet. 

De toelichting op het voorstel van wet is weer een behoorlijke lap tekst, waarin ik geen expertise op het gebied van selectie in onderwijs vrees te herkennen. Ik ben moe, ik wil er eigenlijk niet aan. Waarom lukt het OCW niet om deskundigen te vinden die helderheid verschaffen? 

Ik denk terug aan de behandeling van het wetsvoorstel loten in 1975. Staats Ger Klein had zich goed in de materie verdiept. Woordvoerder voor de PvdA Kees Kolthoff was kort tevoren nog mijn diensthoofd aan de UvA, en uitstekend op de hoogte van de argumenten over en weer. 

Die argumenten waren niet allemaal even briljant, maar het was iedereen hopelijk wel duidelijk dat de argumenten voor loten vooral kwamen van lieden met een achtergrond in psychologische selectie die konden aantonen dat selectie in deze NF-situatie geen winst op zou leveren. 

Oppositie tegen loten was er ook bij een oudere garde: De Moor, A.D. de Groot, en Wiegersma. Maar ook De Groot was mordicus tegen het inzetten van psychologische tests en interviews, en gaf ook toe dat selectie op eindexamencijfers niet echt iets op zou leveren. 

Vergelijk dat met wat we nu hebben: iedereen heeft zich ermee bemoeid, niemand heeft greep op deze lastige materie. Robbert Dijkgraaf zal het voorstel van wet verdedigen. Begrijpt hij wat op het spel staat? Of denkt hij, met Vincent Icke, dat loten maar mallotig is? (zijn pun) 

Ik denk altijd dat politieke keuzen pas zijn te maken wanneer de feiten (of de mogelijke scenario’s) bekend zijn. 
Bij kwesties van toelating tot het ho (NF-studies) lijkt het wel eens omgekeerd te zijn. 
Ik begrijp het wel, feiten zijn soms lastig als feiten te herkennen. 

Ik lees in een Inspectierapport over decentrale selectie-aan-de-poort: 
“Wel mogen opleidingen in bepaalde gevallen selecteren. Daarbij is het van belang dat studenten bij gelijke geschiktheid een gelijke kans hebben.” (Alida Oppers) 
Dat geloof je toch niet. Wat een amateurisme. 

Ik ben bang dat de Inspectie (de inspecteur-generaal van het Onderwijs) met deze onzin velen op het verkeerde been heeft gezet. Ik kwam de verwarring immers ook al tegen in het advies van de Raad van State. 
‘Onzin’: het stopt het denken over hoe de schaarste te verdelen. 

De Memorie van Toelichting dan. 1e alinea, over Decentrale LOTING: “Hierdoor kunnen universiteiten en hogescholen per opleiding meer
MAATWERK toepassen bij het inrichten van selectieprocedures en wordt
beoogd de kansengelijkheid voor aspirant-studenten te vergroten.” 

Eerst maar even over die gelijke kansen: bij integraal loten zijn die kansen gelijk, dus ongeacht ‘geschiktheid’. 
Maar dat is in flagrante strijd met de Inspectie-ideologie van ‘bij gelijke geschiktheid een gelijke kans’. 
Loten we alleen bij gelijke geschiktheid? En wat is dat? 

Tja, laat maar zitten. Over dat idee van ‘geschiktheid’ is al wel het een en ander geschreven, zoals in een publicatie van de Academische Raad in 1964 over numeriek rendement. Geintje, het rolt er zomaar uit. Serieus: begin over ‘geschiktheid’, en we lullen ons helemaal vast. 

Punt is, bij deze 1e alinea van de MvT: loting als instrument voor het eerlijk verdelen van schaarste wordt hier verengd tot instrument voor maatwerk en kansengelijkheid. Alsof de loting iets moet DOEN, zoals tests en interviews iets DOEN. Loting is juist AFZIEN van DOEN. 

Voor loten kunnen tal van redenen zijn, perk dat niet op voorhand in, al helemaal niet bij wet. Bij gelijke gevallen en een schaars en ondeelbaar goed is loten onvermijdelijk (eindeloos delibereren komt immers op hetzelfde neer). 
Prinpiële kwestie: wanneer zijn gevallen gelijk? 

Bijvoorbeeld omdat uiteindelijk succes in het betreffende beroep onvoorspelbaar is ogv. beschikbare data. 
Of omdat in ons stelsel iedereen (met eindexamen) even toelaatbaar is, dus evenveel aanspraak heeft op schaarse beschikbare plaatsen. 
enzovoort 
Ben ik begrijpelijk? 

Wat overal elders een numerus clausus heet, noemden we in ons polderland een numerus fixus (eufemistisch bedoeld?), en heet in deze MvT een capaciteitsfixus. Ik doe een dringend beroep op de wetgever om niet telkens nieuwe begrippen te gebruiken voor hetzelfde fenomeen. 

Ik hecht wel aan een juiste weergave van de voorgeschiedenis. In 1999 werd ook decentrale selectie voor een deel van de beschikbare plaatsen toegestaan. Dat was op basis van het advies van de Cie. Drenth, vermeld dat dan ook. Rapport Drenth: 

https://archief06.archiefweb.eu/archives/archiefweb/20180223160427/https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/rapporten/2008/02/18/gewogen-loting-gewogen/gewogen-loting-gewogen.pdf

Daar moet ik bij vermelden dat het advies van de Cie Drenth mede tot stand is gekomen onder druk van premier Wim Kok en minister Jo Ritzen. Cie-vz Pieter Drenth heeft zich in de NRC later verontschuldigd voor dit zwichten onder ongepaste politieke druk. 

Scholier krijgt meer grip op eigen lotHet eindexamen wordt in de plannen van de commissie-Drenth vanaf het schooljaar 1999/2000 een cruciaal moment. Scholieren die hoge cijfers halen zijn verzekerd van een plaats bij studies met een stude…https://www.nrc.nl/nieuws/1997/02/26/scholier-krijgt-meer-grip-op-eigen-lot-7343915-a558008?t=1674559924

Het voorstel van de Cie-Drenth/Kok/Ritzen was een afschuwelijk gedrocht waarover scherp is gedebatteerd in de media en de politiek, zie publicaties in 1997 hier: benwilbrink.nl/projecten/lote… Er was weerstand tegen het zo drastisch loslaten van de gewogen loting ten gunste van enkelen.

http://www.benwilbrink.nl/projecten/loten_nf.htm#1997

De ingezonden brief van Drenth over het onder druk zetten van zijn commissie door het kabinet vind ik in het archief van NRC niet terug. Wel een toepasselijk stuk uit 2004: ‘Selectie aan de poort werkt niet’ nrc.nl/nieuws/2004/04… Dus hou op met moeilijk-doenerij over kansen.

Selectie aan de poort werkt nietHet is een misverstand te denken dat het studierendement een hoge vlucht neemt wanneer aankomende studenten eerst alle mogelijke tests moeten afleggen, voordat zij tot de studie van hun keuze worden t…https://www.nrc.nl/nieuws/2004/04/08/selectie-aan-de-poort-werkt-niet-7681525-a420083

Even kort knal boem dan. 
Als er te weinig IC-bedden zijn, wie krijgen die dan? Kijk: dat is een kwestie van rechtvaardig verdelen van schaarste, en een verdomd lastige. Even wat roepen over gelijke kansen gaat dit niet oplossen. 
Een fixus voor geneeskunde is ook ernstig. 

Een vraag waar te makkelijk aan voorbij is gegaan: waarom zouden kandidaten met hogere eindexamencijfers of een mooiere motivatie-brief of een betere babbel in het interview méér recht hebben op een schaarse studieplaats dan anderen? Nou? #meritocratie De vloek van verdienste. 

Waarom verdiepen weinigen zich in die vraag? Boektitels die toevallig voor me liggen: Triage and justice – Pursuing equal opportunities – A theory of justice – Desert – What do we deserve? – Making all the difference – Justice and the politics of difference – The idea of justice. 

Loten? Kijk: Random justice – Justice by lottery – From chance to choice – Lotteries for education. Origins, Experiences, Lessons – The nature and uses of lotteries – The political potential of sortition – The Genetic Lottery: Why DNA Matters for Social Equality – Moral luck. 

Terug naar de MvT, die meldt: “Het decentraal selecteren van aspirant-studenten op basis van kwalitatieve criteria heeft tot doel om de meest geschikte student op de juiste plek te krijgen.” Wat geen bijster zinvolle uitspraak is. Begrijpt u waarom dat zo is? Welke wet zegt dit? 

De MvT verwijst naar 2013, en dat klopt. zoek.officielebekendmakingen.nl/kst-33519-3.ht…) De MvT op een wetswijziging zegt: “Het wetsvoorstel is erop gericht de juiste student op de juiste plaats te krijgen. Er worden nieuwe regels voorgesteld voor aanmelding en studiekeuze. vv

https://zoek.officielebekendmakingen.nl/kst-33519-3.html#:~:text=33%20519%20Wijziging%20van%20de,Kwaliteit%20in%20verscheidenheid%20hoger%20onderwijs

De bestaande mogelijkheden tot het stellen van specifieke aanvullende eisen, als die nodig zijn voor de opleiding, worden beter benut.” 
Ik lees die 2e zin toch echt als een toelichting op wat met ‘de juiste student op de juiste plaats’ is bedoeld, en dat is echt iets anders vv 

dan wat de MvT 2021 daarover meldt, terwijl daar toch terug wordt verwezen naar de MvT van 2013. Ik val van mijn stoel, verdomd. Zo wordt allerlei rare selectie het onderwijs in gerommeld. Is dit nu een ongelukje, een moment van onoplettendheid? Ik geloof er niets van. Brrr. 

Weet u, er wordt in het debat over toelating tot numerus fixusstudies (ik houd maar vast aan de term die 50 jaar is gebruikt) vaak een type argument gebruikt dat ik niet anders kan typeren dan als ‘détournement de pouvoir’: van een bevoegdheid/gelegenheid gebruik maken om iets 

anders voor elkaar te krijgen. Ik zal dat uitleggen. Een numerus fixus is een noodsituatie in ons onderwijsbestel. Dan moeten de schaarse plaatsen dus wel op een billijke wijze verdeeld worden. Dat is al lastig genoeg. Maar dan bedenken deze en gene dat het toch mooi zou vv 

zijn om de plaatsen zó te verdelen dat het rendement van de betreffende opleidingen verbetert. Ik heb dat wel eens lijkenpikkerij genoemd. Demagogisch, natuurlijk. Maar waarom zou geneeskunde worden toegestaan wat wiskunde niet mag doen: selecteren op eindexamencijfers. 

Gebruiken van een bevoegdheid voor iets anders dan waar de bevoegdheid voor is bedoeld, dat is misbruik. Het is een belangrijk algemeen beginsel van behoorlijk bestuur, en speelt vooral in het bestuursrecht een belangrijke rol. Maar de wetgever realiseert zich dit probleem niet. 

NF loten Z. El Yassini (VVD) kan niet loskomen van zijn eigen anecdotes, en ontkent daarmee de resultaten van de Inspectie die juist een breder onderzoek heeft gedaan. Ernstig, want de VVD wil 25% ‘uitselecteren’ . Hij is perfect in de war over de ‘hard werkende student’. 

Even snel waarom dan: ‘hard gewerkt hebben’ is niet valide toetsbaar in decentrale selectie. Evenmin als motivatie dat is. 

En ter geruststelling van de VVD-woordvoerder: we weten echt alles al, en al heel lang: in de selecte groep die in NL universitair gaat studeren, is studiesucces nauwelijks voorspelbaar ogv. de data die bij de start beschikbaar zijn. Wetenschap, beste mensen. Luistert eens. 

Ik word wel weer wanhopig van dit debat, ook al doen Westerveld, De Hoop en Kwint geweldig hun best. 
Ik begrijp dat politici geen experts kunnen zijn op dit onderwerp van selectie. aarom geven zij geen opdracht om 3 of 4scenario’s uit te werken, om daar politiek uit te kiezen? 

Er ligt een ‘kKlaas Visser model’ amendement van VVD en CDA om 25% meteen toe te laten, 25% meteen af te wijzen, en de middenmoot te laten loten. 
Dit is, ook historisch gezien, krankzinnig. Dit heeft geen enkele commissie ooit aangedurfd, hoezeer ook overwogen. 

Heldere inleiding van Robbert Dijkgraaf: loten is gewoon een extra instrument in de toolbox. 

Diversiteit. De gewogen loting sinds 1975 heeft tot resultaat gehad dat gedurende de laatste drie decennia meisjes vaker zijn toegelaten tot fixus-studies dan jongens. Dat heet discriminatie. Ger Klein waarschuwde er al in 1975 voor. Het is vooral bij geneeskunde zichtbaar. 

Ook als er maar kleine gemiddelde verschillen zijn tussen twee groepen, zal er een discrimatoir effect zichtbaar worden bij topselectie van bijv. de 25% in het Visser model. Zie voor de methodologie: benwilbrink.nl/publicaties/94…

Over enkele minuten de 2e termijn van de minister. 
Ik wijs er nogmaals op, voor al die kamerleden die de decentrale selectie willen evalueren en monitoren om te zien wat het resultaat is: we weten al sinds onheuglijke tijden dat deze decentrale selectie in de NL situatie 

niets oplevert. Dat is ook in de 70er jaren de belanrijkste inbreng vanuit deskundige hoek geweest. Begin deze eeuw dacht het CvB Leiden er anders over, heeft het wel laten onderzoeken, en moest erkennen: selectie-aan-de-poort is niet zinvol mogelijk. Doe het niet. 

Pieter Drenth heeft in de Duijkerlezing 1996 uitvoerig betoogd dat selectie-aan-de-poort in de specifieke NL situatie, bij een fixus, niet zinvol mogelijk is. De ministeriële cie. onder zijn vz-schap kwam onder druk van Kok en Ritzen tot een iets ander oordeel. 

Bij enkele andere gelegenheden sindsdien heeft Drenth nog maar eens herhaald dat zinvolle selectie-aan-de-poort in specifiek NL omstandigheden niet mogelijk is. Laten we dus niet net doen alsof we niet weten dat decentrale selectie een verlies-verlies zaak is. Amen. 

Nog enkele tweets in zijlijnen:

De wet wil te veel centraal regelen voor wat juist decentraal is gemaakt. VVD en CDA schieten daar al helemaal ver in door. Wees dan consequent, en draai de decentrale selectie terug, regel de toelating weer centraal. Zwalkend beleid heet dat.

Het amendement VVD en CDA, het Klaas Visser model dat meteen 25% qua eindexamencijfers laagst scorenden meteen uitselecteert, zou zomaar kunnen betekenen dat iemand met lage eindcijfers voor geen enkele studie met een fixus meer in aanmerking komt. Dat is een wezenlijke beperking van onderwijsrechten, volgens internationale verdragen die NL heeft onderschreven.

Recht op onderwijs, waarvoor je de capaciteiten hebt. Dus ook hoger onderwijs. Niet voor specifiek deze of gene opleiding. Maar wanneer een behoorlijk aantal opleidingen ‘gesloten is’ met een fixus, perkt dat recht op onderwijs wel degelijk in.

Iets vergelijkbaars speelde ooit voor de federale overheid in de VS: daar werd overal eenzelfde selectieve test gebruikt. Eenmaal afgewezen op die test, dan wist je dat je kansen voor andere functies ook in rook konden vervliegen. Daar is op ingegrepen. (geen bron bij de hand)

Terugkijkend op het debat en de stukken ervoor.

Terugkijkend op het debat, en de belangrijkste stukken die ik langs zag komen (advies Raad van State, Voorstel van Wet, onderzoekrapport Inspectie dat vrijdag bekend werd) moet mij van het hart dat ik vrijwel nergens herken dat relevante beschikbare NL expertise is benut. 

Het is toch wel een ernstig tekort van bij al deze actoren.  Tenslotte gaat het om complexe materie, zoals een halve eeuw discussie duidelijk had kunnen maken.  Dan moet er wel kennis zijn DAT er al een halve eeuw over is gediscussieerd.  Ik verwijt het ook de zwijgende experts.

Dat was in de 70er jaren, toen het numerus-fixusdrama zich ontrolde, toch anders:  er was expertise bij de universiteiten, en die experts lieten zich ook horen.  Ik schreef, met Hans van der Vleugel, het standpunt van de gezamenlijke researchcentra: https://benwilbrink.nl/publicaties/74HetLotCRWO_OvO.htm

Even voor de duidelijkheid: er is voor het ho veel veranderd sinds de 70er jaren, maar de zin en onzin van examencijfers, tests, en interviews bij selectie-aan-de-poort zijn nog hetzelfde. Laat u niet wijsmaken dat publicaties ouder dan 5 jaar niet meer bij de tijd zouden zijn.

Ik roep alle betrokkenen bij deze selectie-aan-de-poort van fixus-studies op te rade te gaan bij deskundigen om de feiten op een rij te krijgen, zo mogelijk in verschillende scenario’s, alvorens politiek te besluiten over wat wenselijk is. Ipv. op eigen gezond verstand te bouwen.

Waar haalt u relevante kennis?

Dan blijft dus de vraag: waar haalt u de relevante kennis vandaan?  Het is een vraag waar ook rechters voortdurend mee worden geconfronteerd: wie zijn de juiste experts in deze zaak?  Dat is een lastige, want waar haal je als niet-expert een goed antwoord op die vraag?   

Het mag duidelijk zijn dat u voor relevante kennis over toelating bij fixus-studies te rade moet bij meerdere disciplines.  Om er meteen maar één te noemen:  Uit het maatschappelijk debat tot 1997 (https://benwilbrink.nl/publicaties/97OpsommingDrenth.htm)  blijkt dat opvattingen over wat eerlijk is een belangrijke rol spelen.  Zet een aantal willekeurig gekozen landgenoten bij elkaar in een burgerberaad (Eva Rovers https://decorrespondent.nl/nuishetaanons), en die opvattingen buitelen over elkaar.  Een expert kan hier helpen de opvattingen scherper en relevanter te krijgen. Wie stel ik voor?

Ingrid Robeyns is een goede keuze.  Het is maar een voorstel.  Ik weet niet hoe goed zij is ingevoerd in de typische fixus-problematiek, maar daar halen we andere experts voor binnen. Ik ontmoette Ingrid bij deze oploop over decentrale selectie http://www.benwilbrink.nl/projecten/loten_nf.htm#KNAW_2013 (sprekers). Zij is hoogleraar ethiek van instituties. Leerlinge van Amartya Sen. Haar bijdrage: ‘Kan loting tot een rechtvaardige allocatie leiden?’ De KNAW is niet zo behulpzaam geweest de seminar-bijdragen op de website te laten staan.  Maar zie, wayback machine: https://web.archive.org/web/20220223154134/https://www.knaw.nl/shared/resources/actueel/bestanden/130916lotingRobeynsIngrid

Ingrid Robyns wordt wel voor meer belangrijke klussen gevraagd, het is de vraag of zij beschikbaar is.  Maar dat is geen probleem hoor, zij kan zeker doorverwijzen naar collega’s die even goed zijn.  

Zo zijn er nog een stuk of wat specialismen bijeen te brengen, zo doe je dat dus.

Ik noem opzettelijk een burgerberaad, en (een multidisciplinair team van) experts als nadrukkelijk onderscheiden van elkaar.  De experts lichten in en voor, het burgerberaad doet de politieke besluitvorming.  In ministeriële commissies loopt het door elkaar wie expert, en wie belanghebbende is.  Dat was zo bij de Commissie Drenth in 1997.  Drenth was expert, de commissie was verder samengesteld uit mensen uit het onderwijsveld.  De commissie liet zich voorlichten via onderzoekopdrachten. Zo’n commissie heeft grote moeite om de bijdrage van experts te begrijpen, en dat begrijp ik op mijn beurt ook heel goed.  Een kundige voorzitter (in dit geval zowel inhoudelijk expert als oud voorzitter van de KNAW) heeft het er ook moeilijk mee. Adviezen van commissies neem ik altijd met de nodige korrels zout.  

Enkele verder benodigde disciplines/experts die heel erg voor de hand liggen: onderwijsrecht; wetgevingsjurist; bestuursrecht; selectiepsychologie (Standards, Cotan); beoordelen (Hofstee 1999); onderwijsonderzoek (mogelijk meerdere subdisciplines); o ja, en dossierkennis vanaf 1965.

En hier moet ik het maar bij laten.  Voor vragen en toelichting ben ik altijd beschikbaar.

Voor mijn vrienden die geen Nederlands lezen;

Dutch lottery in higher ed admissions. The best description available in English is the book by Conall Boyle (2010): Lotteries for Education. Origins, Experiences, Lessons. Imprint Academic. online/open access http://conallboyle.com/lottery/2010LotteriesforEducation.pdf The Dutch parliament (Lower House) wants to add lotteries to the toolbox of instruments for selection into those studies that have a strictly limited number of slots available: numerus clausus studies (esp. medicinal studies). That is remarkable: lotteries were forbidden since 2017. More info: https://benwilbrink.nl/projecten/lottery.htm

Het ongerief van het examen (Nederlands)

We moeten het over de examens Nederlands hebben, zeker. Maar examens zijn niet belangrijker dan het onderwijs zelf hè! Het gaat om een afsluiting van 5 of 6 jaar onderwijs. Dat moet netjes en fatsoenlijk, feestelijk als het kan. Niet op zijn Dorknopers.

Opinie Bax & Witte in de Volkskrant 9 jaunari: Laat examen Nederlands jongeren echt voorbereiden op hun vervolgstudies

Maar ook niet langs de lijnen die Bax en Witte hier schetsen: zij ruilen de huidige examenloterij in voor een veelkoppig examenmonster dat heel het onderwijs gaat inkleuren. Het voorstel is een misvatting over plaats en aard van eindexamens in het Nederlandse stelsel. 

Bax en Witte drukken mij nog weer eens met de neus op het feit dat Nederland nauwelijks onafhankelijke examendeskundigheid in huis heeft. Niet bij het Cito, met zijn psychometrische insteek losgezongen van onderwijs zelf. Niet bij het CvTE, dat wel de verantwoordelijkheid draagt. 

Theo Witte is vz. van Red-Team Onderwijs nl.linkedin.com/company/redhet… een onderwijsbende die mijn sympathie en steun heeft zoals dagelijks op Twitter te merken. Maar ook dit sympathieke team mist expertise over beoordelen van leerlingen, breed opgevat, en is zo een tikje vleugellam.

Oké, Bax en Witte openen een serieuze discussie met dit artikel. Ik doe mee. Laat ik dan eerst mijn eigen positie duidelijk maken. Laten we in godsnaam onze examens doorontwikkelen in de richting van meer ceremonieel, minder formeel. Voorstel enige tijd terug in De Telegraaf gedaan:

Geef eindexamen een ceremonieel karakter door Ben Wilbrink

Onderwijsminister Arie Slob heeft heel wat te stellen met eindexamens, maar ik hoor bij hem geen twijfel over nut en noodzaak van die examens.

Toch is er wel reden voor twijfel; het is immers altijd wat, met die examens. En het wordt er de laatste jaren beslist niet beter op. Het is nu al zo ver dat een leerling bij wie een goed antwoord fout gerekend moest worden (dat leest u goed!), dat maar niet behoorlijk gecorrigeerd krijgt: de Hoge Raad mag het nu gaan oplossen.

Ik stel voor dat we de gekkigheid en de bureaucratie achter ons laten, en van onze examens meer een afsluitend feest maken, een ceremonieel eindexamen. Kennen we dat ergens van? Jawel: het belangrijkste examen in ons onderwijsstelsel is de universitaire promotie. De kandidaat verdedigt het proefschrift waaraan jaren is gewerkt onder supervisie van zijn professor (promotor). Die promotie is ceremonieel, want de kandidaat slaagt altijd. En dat is geregeld door een commissie die enige tijd tevoren heeft beoordeeld of het proefschrift voldoet aan de eisen; zo nee, dan komt er geen promotie.

Dit is een manier van examineren die zo weggelopen kan zijn uit de middeleeuwen. In die tijd studeerde je bij een eigen meester; vond hij dat je klaar was voor het examen, dan werd het examen afgenomen door ándere meesters. Het was een feestelijke gebeurtenis, en ook spannend, want het was een publiek optreden. Zakken voor een examen kon eigenlijk alleen maar bij openbare dronkenschap of ander gedrag dat niet door de fatsoensbeugel kon.

“Universitaire promotie kan als voorbeeld dienen”
Dus waarom vernieuwen we onze examens niet? Een kleine eerste stap, bij wijze van spreken vandaag nog te regelen door minister en Tweede Kamer: alles blijft hetzelfde, maar voor een eindexamen kun je niet meer zakken. Is dat vreemd? Nee, jarenlang was een rekentoets onderdeel van de examens, als derde wiel aan de wagen, maar je kon er niet op zakken; je kreeg er een cijfer voor op je eindlijst, of op een aparte lijst (de politiek heeft voor ieder probleempje een oplossing). Wat hebben we dan: een eindexamen dat een cijferlijst oplevert, en die hadden we al. Enkele kandidaten zullen lage cijfers halen, dat is dan zo. Geef kandidaten gewoon de keuze om dit examen niet te accepteren en het volgend jaar nogmaals te doen. Of staatsexamen te doen.

Nu de druk van de ketel is, kan iedereen zich vrij voelen om ook verder de bureaucratie uit de examens te halen. Cijfers voor een examen zijn momentopnamen, weliswaar niet zomaar een moment, want afsluitend voor een hele opleiding, maar toch.

Geef de lerarenvergadering de bevoegdheid om negatief afwijkende cijfers te corrigeren op basis van resultaten in de laatste jaren behaald. Geef leraren geleidelijk meer taken en bevoegdheden bij de examens, en verminder die van landelijke instellingen zoals het Cito en het College voor Examens. Het vak van leraar mag best aantrekkelijker worden gemaakt. Geef die bevoegde leraar meer verantwoordelijkheid.

Dat een ’vrijer’ eindexamen talrijke voordelen heeft, hoef ik hier niet uit te leggen. Maar hoe zit het met de nadelen? Kunnen we het niveau van het onderwijs dan nog wel bewaken? Laat ik een tegenvraag stellen. Is het ons de laatste tientallen jaren gelukt het niveau van het onderwijs vast te houden?

Nou? Wie het weet, mag het zeggen. Ik ben benieuwd.

Wie de link naar de T. wil gebruiken: telegraaf.nl/watuzegt/64151… 
Daar ook de positie van Arjan van der Meij: de lat voor iedereen gelijk. Een interessant contrast, maar Wilbrink en Van der Meij schrijven perfect langs elkaar heen. [artikel achter betaalmuur,] 

Ik zie tot mijn verrassing dat de tekst van beide stukken integraal hier is afgedrukt (even doorscrollen), op de website van ‘Examens. Tijdschrift voor de toetspraktijk’: https://www.e-xamens.nl/nieuws/in-de-media-8

Ik wil eerst de interessante/belangrijke punten inventariseren uit Bax en Witte. Dat geeft een kader om straks mijn positieve kritiek te plaatsen. 
1. Een sterke aanwijzing dat het eindexamen Nederlands niet goed functioneert is idd. dat het onmogelijk is hoge cijfers te halen. 

2. ‘Schrijfvaardigheid’ hoort in het CE thuis. Voor mij is dat het opstel, hoor. Ik begrijp wel waarom dat ooit is geschrapt, maar dat was dus ook een ernstig verlies. 
3. De kritiek op de wijze van toetsen op tekstbegrip is absoluut terecht. [Tekstbegrip is controversieel] 

4. “Een examen heeft een grote terugslag op het onderwijs dat eraan voorafgaat.” #backwash #feedforward Maak er zo mogelijk op positieve wijze gebruik van; Bax en Witte doen een voorstel. [Maar voorkom ook zoveel mogelijk zo’n terugslag. Zijn eindexamens wel direct voor te bereiden? bw] 

5. Het is ongetwijfeld waar dat taalvaardigheid van aankomende studenten ho tekortschiet als gevolg van falend vo. [dat hoeft dus niet aan het examen te liggen, is niet noodzakelijk een probleem dat door sleutelen aan het examen moet worden aangepakt. bw] 

6. (maar ik breng het iets anders onder woorden:) Taalvaardigheid berust op specifieke domeinkennis als noodzakelijke voorwaarde, dat moeten de didactiek, het curriculum, en het examen dan wel passend uitwerken. [Hoe dan? Dat is nog wel een dingetje. bw] 

Deze zes punten zijn het wel ongeveer. Ik laat het even bezinken, misschien kan ik er zelf nog een of twee aan toevoegen, naast het genoemde (7.) inzicht dat de richting eerder naar ceremonieel (afsluiten van onderwijs) dan naar formeel (bureaucratisch, psychometrisch) moet zijn. 

Dan wil ik vervolgens een aantal opbouwende punten van kritiek inventariseren. In het bovenstaande heb ik al wat laten doorschemeren, echt verrassend zal het niet zijn. Toch moet ik hier even wat langer over nadenken, ook buiten de box van Bax en Witte nadenkend. 

Omdat Bax en Witte het examen Nederlands willen redden, blijft buiten beeld dat ook de overige examens problematisch zijn, en wel langs dezelfde lijnen waarop dat examens Nederlands is ontspoord. Laten we de probleemanalyse dus eerst verbreden: wat is er loos met onze eindexamens? 

Op dezelfde manier waarop ICT-projecten bij de overheid rampzalig aflopen, is dat met onze eindexamens ook zo. Het instituut eindexamen is een kerstboom die steeds meer ballen en slingers moet torsen, de boom is gans onzichtbaar geworden. Ook Bax en Witte zijn met slingers in de weer. 

Terug dus naar de kern. 1: de wettelijke plaats van het eindexamen vwo (havo) in ons stelsel. 2: er is een vak dat gedisciplineerd iets over dit beoordelen heeft te zeggen: bv Hofstee (1999). Principes van beoordeling. Methodiek en ethiek van selectie, examinering, en evaluatie. 

Dat boek van Hofstee ligt niet op ieders nachtkastje. Een iets toegankelijker (want online) stuk schreef ik ooit voor het jaarboek van SVO: benwilbrink.nl/publicaties/86… Ik noem het boek van Hofstee omdat we breder moeten leren naar examens. En mijn eigen werk omdat we examens echt

moeten onderscheiden van psychologische tests. En wel om de reden die ook Bax en Witte noemen: examens hebben impact op het voorafgaande onderwijs. Maar dus ook: examens sturen de voorbereiding van de leerlingen (Van Naerssen 1970; De Groot 1970; eigen werk benwilbrink.nl/projecten/spa_… )

De Wet op het voortgezet onderwijs: wetten.overheid.nl/BWBR0044212/20… 
Over onderwijswetgeving: C. W. Noorlander (2005). Recht doen aan leerlingen en ouders. De rechtspositie van leerlingen en ouders in het primair en het voortgezet onderwijs. Proefschrift VU – Wolf Legal Publishers. 

Over de wortels van onze eindexamens havo/vwo informeert ons het: (1930) Gedenkboek ter gelegenheid van het honderdjarig bestaan van het genootschap van leeraren aan Nederlandsche gymnasiën 1830-1930, hoofdstuk over examens resolver.kb.nl/resolve?urn=MM… blz. 142-147.

Ik geef deze verwijzingen voor wie zich graag wil informeren, en ook om te laten zien dat met eindexamens zorgvuldig moet worden omgegaan. Dus zeker niet zoals de wetgever dat de laatste decennia heeft gedaan (numerus fixus; kernvakken; verschil SE-CE; #rekentoets; positie CvTE). 

Oké, het theoretisch kader is nu kort geschetst. Als mij in een interview wordt gevraagd wat de belangrijkste punten zijn bij het kritisch beschouwen van onze eindexamens (havo)/vwo, wat zou ik zoal antwoorden? 

1. Er is al overmatig scherp geselecteerd in het 14-jarige traject van groep 1 naar de eindexamenklas vwo, ook vergeleken met buitenlanden. Aan onze eindexamens ook nog eens een selectieve functie toekennen is overkill. Ethisch, zowel als technisch. Kalmeren, dus maar. 

2. Het gaat om de overgang van havo/vwo naar ho. (De tijd dat enkele jaren vo eindonderwijs was, is echt voorbij.) Nederland is gezegend met een vrije toegang tot ho, mits een passend eindexamen is gedaan. Dat is elders in de wereld wel anders. Maar houd punt 1. wel in de gaten. 

3. Dat gezegd zijnde, kunnen we niet anders dan constateren dat aan de onder 2. genoemde zegening stevig afbreuk wordt gedaan door wettelijk mogelijk gemaakte selectie-aan-de-poort voor numerus fixusstudies. De kiem was al gelegd in 1975: bij de loting examencijfers meetellen. 

4. Ik zou punt 3. willen beschouwen als een bedrijfsongeval, dat eenvoudig is recht te zetten (loten voor numerus fixusplaatsen). Neem andere bedrijfsongevallen meteen mee: de kernvakkenregeling, (de #rekentoets is al afgeschaft), verschil SE-CE: laat dat rusten. 

5. We blijven weg bij een stelselwijziging, want dan zijn we niet meer met eindexamens, maar met het onderwijsstelsel bezig. Laten we ons wel blijven realiseren dat ons vo een ‘lock-in’ is van het 19e-eeuwse standenonderwijs, en fundamenteel oneerlijk. vv 

6. Wij hebben de zorg voor onze eindexamens uit handen gegeven aan quango’s die ondertussen tientallen jaren de gelegenheid hebben gehad zich dikker en invloedrijker te maken: Cito, SLO, CvTE. Dit zijn instellingen die gaan voor het eigen belang, niet voor het algemeen belang. 

6.a Ik zal er bewijs voor aandragen: de #rekentoets komt volledig voor de verantwoordelijkheid van SLO, Cito en CvTE. Uiteindelijk, na 10 jaar, moest deze toets wegens onherstelbare gebreken worden teruggetrokken. Kosten: in de orde van grootte van een half miljard. Twee Fyra’s. 

Waarom zeur ik over SLO/Cito/CvTE? Dit zijn instanties in de onderwijsverzorgingsstructuur die op te vanzelfsprekende wijze van politiek/departement opdracht krijgen tot invoeren van gewenste veranderingen. Dat gaat dus niet goed, wat de wensen ook mogen zijn, ook die van Bax en Witte. 

Ooit, rond 1977, kreeg het Cito de opdracht om de eindexamens vo te gaan verzorgen. Ik weet daar het fijne niet van, wat er de politieke of praktische overwegingen bij waren. Wèl was het zo dat het Cito op dat moment landelijke bekendheid had als de maker van de ‘citotoets’. 

Die ‘citotoets’ voor 12-jarigen was een meerkeuzetoets. Meerkeuze was een dogma. Preciezer: vierkeuze was het dogma van het Cito. Achteraf is goed te zien dat het boek van De Groot en Van Naerssen 1969 over studietoetsen een sterk ideologische boodschap verkondigde: alleen 

studietoetsen (=meerkeuzetoetsen) zijn ‘objectief’, en verdienen dus altijd de voorkeur in het onderwijs, dus ook bij examens. Eigenlijk heel erg, dit. Afijn, aan mij de eer om de ideologie-bubbel te laten barsten, op de ORD 1977, Cito-staf in de zaal: benwilbrink.nl/publicaties/77…

De stelling: keuzevragen zijn even subjectief als open vragen. De ontwerper van de keuzevraag bedenkt het juiste antwoord plus de alternatieven. Wat is daar ‘objectief’ aan, anders dan het bij open vragen zou zijn? In de VS heeft men het over ‘frozen subjectivity’. Juist. 

Dan hoor ik veel later dat deze confrontatie op de ORD wel binnen het Cito de weg vrij had gemaakt om eindexamens met open vragen te kunnen maken. Heeft dat ook het opstel en de proefvertaling kunnen redden? Ik weet niet wanneer die uit de eindexamens zijn verdwenen. 

Opstel en vertaling zijn gevoeliger voor toeval en verschillen tussen beoordelaars dan examens opgedeeld in 25 afzonderlijke vragen. Zeker. Maar moeten ze daarom uit het CE verdwijnen? Dat is toch nergens voor nodig? We moeten er alleen wat meer ontspannen mee omgaan. 

Wat ik probeer te betogen is dat doelen van het onderwijs leidend moeten zijn bij het ontwerpen van eindexamens. Niet omgekeerd. Voorkom te allen tijde dat wat ‘examineerbaar’ is leidend gaat worden voor het onderwijs. Dat betogen Bax en Witte ook, maar hun voorstel staat er haaks op. 

Dit is het wel wat ik erover kan zeggen. Ik heb veel weggelaten, dat wel. Het gaat om een richting van denken, niet direct om concrete stappen die belanghebbenden kunnen nemen. 
Grote onbesproken onderwerpen oa: controversiële toetsen op begrijpend lezen; contextopgaven wisk. 

Die laatste thema’s passen in dit verhaal omdat de genoemde quango’s er een hoofdrol in spelen, en het gaat om vernieling van onderwijs en examens. Maar ik zie het als afzonderlijke onderwerpen, waarover een brede onderwijsdiscussie moet worden gevoerd. 

Hoe nu verder? Het bovenstaande is de weergave van de twitterdraad https://twitter.com/benwilbrink/status/1612389537434550274 Ik wil de tekst allereerst wat soepeler maken, inleiden, hier en daar iets verhelderen, voor een blog op KomenskyPost. Daarna doemt de vraag op: kan ik dit omwerken tot een artikel voor De Volkskrant, in reactie op Bax en Witte? En wil ik dat ook?

Zittenblijven geïnventariseerd in sub-thema’s

De buitenwereld is levensgevaarlijk glad voor oude knarren.  Een mooie dag om op mastodon.social een boom op te zetten over zittenblijven. Niet direct of dat nuttig is, maar over de aard van dit beslisprobleem. 

Ik begin met een inventarisatie van sub-thema’s

 
 – beslissen ogv niveau, geen quotum, (2)
 – rond de cesuur is beslissen random, (3)
 – cijfers geven een onbekend maar ernstig scheef beeld van waar de leerling staat #bias, (3)
 – alle beoordelen is hier relatief, (3)
 – leerlingen en leraren hebben elkaar in een houdgreep over het niveau, (3,4
 – het is idioot kostbaar. (2)


Over de thematiek van het overdoen van delen van onderwijs, zoals zittenblijven, heb ik enige literatuur en eigen werk verzameld op mijn website, in de loop van een halve eeuw. o.a. 

http://benwilbrink.nl/literature/zittenblijven.htm

2e set. Er zijn meer subthema’s:
 – historische wortels van het idee van overdoen, (1)
 – cijfergeven, niets objectiefs, maar = gestileerd rangordenen, (1)
 – cijferschaal 1-10 met veel posities voor ‘onvoldoende’, (2)
 – hoe oneerlijk kan het zijn: rechtsbewustzijn van leraren, van leerlingen, (2)
 – rationeel model: besliskundig, hoe dan? (3)
 – wie gaat er over de beslssing? Welk mens- en maatschappijbeeld is dat? (3)
 – de vergelijking met anderen is vaak de grondslag, (2, 3)
 – opvattingen over die persoonlijke verschillen. (2)

3e set. Ik ga verder met sub-thema’s inventariseren.
 – voor een ‘unbiased’ beeld van zittenblijven is een zo volledig mogelijke inventarisatie van sub-thema’s voorwaardelijk, (4)
 – historische cijfers over zittenblijven (HBS, Posthumus), (2)
 – historische en andere contexten doen er altiijd toe, (2, 3, 4)
 – keerpunt: onderwijs voor iedereen in de natiestaat klassikaal op leeftijd, (1)
 – veerkracht van leerlingen om tekorten op te vangen, (3)
 – didactiek van de omgang met verschillen tussen leerlingen, (3, 4, 5)
 – alternatieven? (2, 3, 5)

4e set:
 – wat kan de leerling doen   (toetsmodel transparantie) (3)
 – wat doen ouders (schaduwonderwijs) (2)
 – wat kan de leraar doen (zorgen voor transparantie) (3)
 – wat kan de school doen (verantwoordelijkheid nemen ipv afschuiven op de leerling) (5)
 – wat kan het bestuur / de overheid doen (lucht geven aan alle betrokkenen, zoiets? faciliteren, kennis ontwikkelen en  aanreiken) (1) (5)
 – welke wetenschappen zijn relevant? Dat zijn er heel wat, kunnen die misschien samenwerken? (3)

5e set:
 – al die resultaten over het schooljaar, hoe combineren we die (best) tot een totaal-overzicht (conjunctief vs compensatorisch combineren) (denk ik hier echt pas nu aan? ja hoor), (3)
 – ethiek en rechtvaardigheid zijn in deze lijst nogal karig bedeeld, dat vraagt nog verdere invulling, (1, 2, 3, 5)
 – recht op bezwaar en beroep, (2, 5)
 – jurisprudentie, (2)
 – PS: zakken voor een eindexamen is ook een vorm van zittenblijven. (2)
 – wat vinden we van het CvTE dat over de NL eindexamens heerst? (2)

sleutelpublicaties

Ik zal hier ook enkele eigen publicaties en papers in opnemen, waar deze een bijzonder en toch nuttige kijk op een sub-thema geven. Bij voorbaat excuus.

recht / wet 

C. W. Noorlander (2005). De bevordering naar een hoger schooljaar. Par. 14.5 (561-564) in: Recht doen aan leerlingen en ouders. De rechtspositie van leerlingen en ouders in het primair en het voortgezet onderwijs. Proefschrift Vrije Universiteit – handelseditie: Wolf Legal Publishers.  scan van die paragraaf over bevordering: http://www.ben-wilbrink.nl/Noorlander14.5zittenblijven.pdf

wat doen onderzoekers

Themanummer over zittenblijven: Pedagogische Studiën, 2013, 90 #5. De artikelen ophalen (open access) via http://www.benwilbrink.nl/literature/zittenblijven.htm#PS_2013

leerlingen en leraren hebben elkaar in een houdgreep

A. D. de Groot (1966). Overgangsbeslissingen in het V.H.M.O. Pedagigische Studiën, 436-444.  https://tinyurl.com/ykb4kkkt 

De Groot moet zijn manuscript van ‘Vijven en Zessen‘ dan al ingeleverd hebben. Het gaat over onderlinge machtsposities van docenten van verschillende vakken, ook in zijn boek aan de orde. Het is een moeizame zoektocht in de beschikbare gegevens. Pas een kwart eeuw later geeft James Coleman een wiskundig model voor de diepere vraag hoe leerlingen, als collectief, ‘onderhandelen’ met hun docenten (als collectief) , over cijfers en tijdbesteding.

Ben Wilbrink (1992). The first year examination as negotiation; An application of Coleman’s (1990) social system theory to law education data. Paper ECER 1992. http://benwilbrink.nl/publicaties/92ColemanApplicationECER.htm 

Een universitaire situatie, maar die is niet wezenlijk anders dan de schoolse situatie bij A.D. de Groot (1966). 

sorry, dit gaat niet werken …..

Een lijst sleutelpublicaties aanleggen, dat gaat niet werken, het is te omvangrijk, en iedere titel heeft ook wel een korte toelichting nodig. Wat nu? Die ca 30 onderscheiden sub-thema’s vormen een zittenblijf-universum dat niet chaotisch is, maar een heldere structuur heeft (enk ik). Laat ik een poging doen die structuur te schetsen. En dan zien we wel weer verder.

Grondstructuur voor studie van zittenblijven, volgordelijk:

  • 1. historisch (overdoen was ooit functioneel; kennis van oorsprong en ontwikkelingen maakt nederig),
  • 2. zittenblijven nu – actueel (beschrijvend onderzoek; waar hebben we het over),
  • 3. theorievorming (problematiseren, verbinden met wetenschappelijke kennis)
  • 4. toetsend onderzoek (welke ideeën houden stand),
  • 5. beleidsopties (wat doen we eraan; ‘we’: ‘stakeholders’),
  • 6. NB er zal enige overlap zijn.

In bovenstaande lijstjes heb ik achter ieder subthema vermeld waar het in de grondstructuur allereerst thuishoort.

De vraag is: hoe nu verder? Is er nog een extra tussenstap nodig voordat ik echt inhoudelijk de zaken kan gaan behandelen? Laat ik dat niet doen, maar beginnen met een blog over het overdoen van cursussen in de (Westerse) onderwijsgeschiedenis. Dat moet kunnen lukken, ik heb daar tenslotte eerder al over gepubliceerd (als beoogd eerste deel van een proefschrift dat er uiteindelijk niet is gekomen, maar dit terzijde).

Reële situaties vertalen in wiskundige termen, kunnen we dat?

“De belangrijkste bijzondere doelstelling van het wiskundeonderwijs is leerlingen te leren een reële situatie te vertalen in wiskundige termen. Zo kunnen leerlingen zelf ervaren dat wiskundige begrippen in verband gebracht kunnen worden met de werkelijkheid.” 

Helemaal oké, of gevaarlijke onzin? Het is een quote uit een proefschrift. De promotor was het dus eens. Het zal dan wel oké zijn, niet? 
Je had vroeger als kind ervaring met rekenen en meetkunde: knikkeren, mens-erger-je-niet, monopolie, landjepik (nl.wikipedia.org/wiki/Landverov…).

‘Een reële situatie te vertalen in wiskundige termen’. 
Ik geef een voorbeeld: leerling bereidt proefwerk voor, wat is haar kans op een ‘voldoende’? 
Dit is toch geen onbekende situatie, ook niet voor wiskundeleraren. Toch ken ik geen leraar die hier ooit wiskunde van bakte. 

Bob van Naerssen was bij mijn weten de eerste die een wiskundig toetsmodel presenteerde, bij gelegenheid van zijn oratie in 1970: ‘Optimaal studeren en tentamens combineren’  benwilbrink.nl/publicaties/70…

De quote (gevaarlijke onzin) is uit het proefschrift van Anne van Streun (blz. 7): Heuristisch wiskunde-onderwijs. Verslag van een onderwijsexperiment. (nb: dat verwijst naar Polya How to solve itresearch.rug.nl/en/publication… 
Zijn promotor (en vriend) was, jawel: (oud-wiskundeleraar) A. D. de Groot (met Schaafsma, en Max van der Kamp). 

Kan ik wat meer info geven over de wiskunde van proefwerkkansen? Jazeker. 
Hint: pas er de binomiaalverdeling op toe. 
Hoe dan? Zie (in English): benwilbrink.nl/projecten/spa_… 
Nederlands, dit paper ORD, 1995: benwilbrink.nl/publicaties/95…
‘De werkelijkheid’ wiskundig zien: een eitje? 

De empirisch ingestelde psycholoog vraagt onmiddellijk: wat is dat dan, ‘de werkelijkheid wiskundig zien’, en hoe kunnen we dat onderzoeken/meten/toetsen, ook of dat een vaardigheid is die valt te onderwijzen? Niets van dat alles vind ik bij Van Streun. Wel vind ik een intrigerende zin in de samenvatting:

“Naarmate leerlingen het vakgebied beter beheersen, blijken verschuivingen op te treden van het gebruik van heuristische methoden naar algoritmische methoden.”

Doet denken aan deze quote van Alfred North Whitehead: 

“It is a profoundly erroneous truism, repeated by all copy-books and by eminent people when they are making speeches, that we should cultivate the habit of thinking of what we are doing. The precise opposite is the case. Civilization advances by extending the number of important operations which we can perform without thinking about them.” Alfred North Whitehead (1911) ‘An introduction to mathematics’ (p. 61) https://archive.org/details/introductiontoma00whitiala

Houd deze quote ook in gedachten bij het lezen van George Polya’s ‘How to solve it.’

Dat laatste boekje is waanzinnig populair, maar het is ook waanzinnig duister wat dan de ‘methode van Polya’ precies is. In Nederland wordt een Polya-schema voor probleemoplossen heel breed gebruikt (o.a. nadrukkelijk ook voor de mislukte #rekentoets in eindexamens vo).  Jan van de Craats gebruikte het bij de coaching van kandidaten voor de Wiskunde Olympiade. En daar is het ook gepast; hij moet er niet aan denken Polya te gebruiken in het funderend onderwijs. Ik ook niet, eerlijk gezegd.

De beste autoriteit voor precies die vraag naar de methode van Polya, Allen Newell, weet het niet. Hij krijgt er geen vinger achter. En hij was nog wel student van Polya. En de motor (met Herbert A. Simon) van AI (Kunstmatige Intelligentie) en cognitieve psychologie-probleemoplossen. (benwilbrink.nl/projecten/toet…)

Ik heb er al eens op gewezen dat het zo populaire ‘wiskunde zien in de werkelijkheid’ berust op een misvatting: https://threadreaderapp.com/thread/1198527402768515072.html

[naar een twitterdraad op een koude zaterdagochtend https://twitter.com/benwilbrink/status/1604062181963796481 ]

Cijfers, cijfers, cijfers, en zittenblijven

Er is een zeer uitgebreide onderzoekliteratuur over zittenblijven. Die is niet altijd even eenduidig.  Er is nogal wat kortzichtig onderzoek, en daar heb je dus niet zoveel aan.  Wim van den Broeck heeft onderzoek gedaan dat zou laten zien dat zittenblijven best nuttig is.  Ik ken het niet (zit achter betaalmuur of zoiets).  Ik heb op Twitter wel eens wat erover gewisseld, maar dat leidde niet tot een vruchtbare uitwisseling: ‘als dat waar is, dan is méér zittenblijven dus beter dan minder zittenblijven’.  Hij zal er wel gepikeerd over zijn.

Op mijn website vind je vrachtladingen literatuur over zittenblijven.  Dat gaat je dus niet direct helpen.

Je kunt maar het beste het probleem ten principale bekijken.  Maar ook daar zijn verschillende benaderingen voor mogelijk.

Bijvoorbeeld: een jaar laten overdoen is niet normaal, het is een noodmaatregel, die voor de betreffende leerling zowel als voor de samenleving kostbaar is (CPB (2015). Zittenblijven kost 500 miljoen euro per jaar).  Je zou dus kunnen denken dat de school tegengas moet geven wanneer ouders erom vragen.  Haha.  De werkelijkheid is meestal dat de school dwingt tot zittenblijven, of de ouders het er nu mee eens zijn of niet.  En de school draagt de kosten ervan niet: die zijn voor de ouders/leerling en voor belastingbetaler.  Een noodmaatregel: wiens nood, en wie gaat er dan over?  Daaruit volgt dan welke informatie van belang is, naast de informatie over de ‘nood’ die er al is (de leerling was een half jaar ziek, oid) (maar ook: het ging van meet af aan niet goed met de leerling, en de school heeft verzuimd tijdig in te grijpen)

Ken je Posthumus (De Gids, 1940, online op http://dbnl.nl): Posthumus laat zien dat zittenblijven vaste folklore is, zonder rationale.  Bijna 25% blijft zitten, of stroomt af, ieder jaar, wat er verder ook in de wereld mag gebeuren.  Hij had het over de HBS in de decennia voorafgaand aan 1940. Remedie: onmiddellijk stoppen met de gekkigheid.

Het probleem is natuurlijk te bekijken zoals een selectie-psycholoog dat zou doen.  Die probeert een en ander te operationaliseren, om het hanteerbaar te maken.  Dat heeft zijn risico’s, maar je moet ergens beginnen.  Belangrijker is: de selectiepsycholoog zal proberen validiteit van de beslisprocedure te bepalen, en daarvoor is experimenteel onderzoek nodig: vergelijkbare groepen leerlingen die ofwel doubleren, ofwel doorgaan.  Lastig onderzoek, er komt veel manipulatie bij kijken want leraren en leerlingen mogen zelf niet op de hoogte zijn. Ik ken er geen goede voorbeelden van, maar misschien zijn ze er.

Onderwijseconomen denken, aansluitend op de benadering van de selectiepsycholoog, dat ze een gezonde methodologische oplossing hebben door alleen te kijken naar leerlingen die met de hakken over de sloot zijn bevorderd, tegenover leerlingen die met een enkel puntje tekort zijn veroordeeld tot doubleren.  Dat lijkt verantwoord slim, maar ik weet dat eigenlijk niet.  Afijn, je moet ergens beginnen, dus dergelijk onderzoek is zeker een bijdrage tot verheldering van het probleem.

Zo gaat het ongeveer.  Het kost veel tijd, want je moet veel onderzoek bij elkaar halen, en kritisch bestuderen.  Weet waar je aan begint.

Er zijn vast veel meer manieren om naar het probleem te kijken. De manier van Klaas Doornbos bijvoorbeeld (geboortemaand en studiesucces, zijn proefschrift; en Opstaan tegen het zittenblijven, een nota die hij voor SVO schreef.  70er jaren.  Dat maakt voor de aard van de problematiek trouwens niet uit: zittenblijven is door de decennia heen gewoon hetzelfde probleem.

Wat mij intrigeert is de ideologie van de school, over verschillen tussen leerlingen, hoe rotsvast die verschillen zijn, over de betekenis van cijfers in veel te absolute zin.  Gevolg daarvan is dat leraren waarschijnlijk enorm het eigen oordeelsvermogen overschatten: als we Janje doorlaten gaat hij het zeker niet redden in het volgende schooljaar.  Maar Jantje mocht toch doorgaan en haalde in het volgende schooljaar behoorlijke resultaten.  Het zou dus helpen wanneer scholen er een database op na zouden houden met voorspellingen en uitkomsten.

Eerlijk beslissen

Stelling die mij is is voorgelegd: ‘We verzamelen onnodig veel cijfers met het idee dat dat de validiteit van een zwaarwegend oordeel ten goede komt.’ Met de vraag: Is dat te onderbouwen?

Hier spelen twee soorten overwegingen een rol:  het kan een streven naar meer eerlijkheid zijn, of een streven naar zo min mogelijk gedoe met protesterende leerlingen/ouders.  Dat zijn twee verschillende zaken.  Maar houd scherp in het oog dat heel dat zittenblijven controversieel is, en dat Nederland op dit punt extreem is.

Voor de eerlijkheid lijkt het alsof méér cijfers verzamelen de beslissingen eerlijker maakt.  De nauwelijks verborgen vooronderstelling is hier dat de behaalde cijfers beslissen of Jantje overgaan of niet.  Maar dat is een fictie.  Een typische schoolfictie.  De lerarenvergadering beslist, en moet daarbij alle relevante gegevens gebruiken.  Dat is de wet (Zie Noorlander). Of Jantje een tijd ziek is geweest bijvoorbeeld.  Of Jantje het afgelopen jaar wel gemotiveerd was om te leren.   Het mag dus niet zo zijn dat alleen de cijfers beslissen (en vaak zijn overgangsregelingen louter op de cijfers gebaseerd). Louter op basis van de cijfers beslissen is een blind algoritme, zeg maar.  En blinde algoritmen mogen geen levensbepalende beslissingen nemen.  Volgens deze redenering is het flauwekul dat meer cijfers een eerlijker beslissing opleveren dan minder cijfers.  Maar goed, dat beeld kan toch bestaan; neem dat nu eens aan, en kies dan tussen twee alternatieven: meer cijfers verzamelen, dus meer toetsen, versus juist genoeg cijfers verzamelen zodat er veel tijd voor onderwijs blijft.  De keuze moet dan vallen op meer onderwijstijd.  Want daaraan afdoen, betekent dat leerlingen tekort wordt gedaan, en dat is het laatste dat je wilt in het publieke onderwijs.

De tweede soort overweging is: vermijden van discussie over de resultaten/oordelen/cijfers.  Dat kan dus ook over overgangsbelsissingen gaan.  Vandaar al die overgangsregelingen die heel nauwkeurig specificeren welke cijfercombinaties nog juist een overgang geven, of juist niet.  Op toetsniveau: liever meerkeuze dan open vragen; bij open vragen antwoordmodellen als beslissend hanteren (het CvTE is er gek op, en dreigt met hel en verdoemenis wanneer jij als leraar je er niet aan houdt).   Dit is allemaal misleiding van leerlingen en hun ouders.  Als leerlingen of ouders protesteren, en de school of de leraar verschuilt zich achter de ‘objectieve’ regels/modellen/whatever, dan is er in mijn bescheiden mening sprake van oplichting.

Opstellen of tentamens met open vragen door meer dan één docent na laten kijken is een soort tussencategorie: dit zal vaak uit een gevoel van rechtvaardigheid gebeuren.  Maar het kost heel, heel veel extra tijd.  En dat is tijd die alternatief veel beter aan instructie besteed had kunnen worden.  Steel dan geen tijd van studenten.  Aan de andere kant: dan zijn er twee nakijkers die tot een cijfer komen, en als die cijfers verschillen, wat doe je daar dan mee?  Middelen?   Maar dat is onzin hè!  Iedere nakijker is expert.  De student heeft recht op méér dan het gemiddelde: het hoogste oordeel.  Pas wanneer er echt een jury is met meerdere leden, is het redelijk om de extreme oordelen buiten beschouwing te laten.  Hofstee heeft over jury-oordelen geschreven.

Wim van den Broeck (2014). Zittenblijven in vraag gesteld: een genuanceerde en kritische analyse Itinera Institute. https://www.itinera.team/sites/default/files/rapport_zittenblijven.pdf Zie ook de reactie van Bieke de Fraine http://nieuwsbriefleren.be/sticordi/20131111%20DE%20FRAINE%20-%20Zittenblijven%20in%20vraag%20gesteld%20-%20Reactie%20op%20Wim%20Van%20den%20Broeck.pdf

[Wim van den Broeck] (2020). Nieuw onderzoek leert dat leerling baat kan hebben bij zittenblijven. DeMorgen https://www.demorgen.be/nieuws/nieuw-onderzoek-leert-dat-leerling-baat-kan-hebben-bij-zittenblijven~b3bc65dc/?referrer=https%3A%2F%2Fduckduckgo.com%2F

CPB (2015). Zittenblijven kost 500 miljoen euro per jaar. https://www.cpb.nl/publicatie/zittenblijven-in-het-primair-en-voortgezet-onderwijs-een-inventarisatie-van-de-voor-en-nadelen

K. Doornbos (1969). Opstaan tegen het zittenblijven. Stichting voor Onderzoek van het Onderwijs (SVO) / Staatsuitgeverij. Zie ook: Wim Meijnen (2013).  ‘Opstaan tegen zittenblijven: Om moe van te worden’   Pedagogische  Studiën  (90) 89-96   https://pedagogischestudien.nl/download?type=document&identifier=617289

Klaas Doornbos (1971). Geboortemaand en schoolsucces. Proefschrift. Wolters-Noordhoff.

W. K. B. Hofstee (1999). Principes van beoordeling. Methodiek en ethiek van selectie, examinering, en evaluatie. Swets & Zeitlinger 

C. W. Noorlander (2005). Recht doen aan leerlingen en ouders. De rechtspositie van leerlingen en ouders in het primair en het voortgezet onderwijs. Proefschrift Vrije Universiteit – handelseditie: Wolf Legal Publishers. 

K. Posthumus (1940). Middelbaar onderwijs en schifting. http://www.dbnl.org/tekst/_gid001194001_01/_gid001194001_01_0040.php p. 26: “TABEL I. De vorderingen van de leerlingen der gymnasia, der hogere burgerscholen met vijfjarigen leergang A en B en der overeenkomstige afdelingen van de lycea.”

        Aantal    Bevorderd Afgewezen % Bev. % Afgew.

1930     31422     24016     7406     76,4     23,6

1931     32371     24936     7435     77,0     23,0

1932     33531     25639     7892     76,5     23,5

1933     35848     26886     8962     75,0     25,0

1934     38158     28874     9284     75,7     24,3

1935     39585     29897     9688     75,5     24,5

1936     41135     31358     9777     76,2     23,8      

data uit publicaties van of verstrekt door het CBS

Waarom context-opgaven rekenen of wiskunde niet in examens horen

Ik kom tegen: Sanne Schaap, Pauline Vos, Ton Ellermeijer en Martin Goedhart (2011). De vertaalslag van een situatie naar een wiskundige formule; een studie naar vraagstellingen en leerlingprestaties op het centraal examen wiskunde B1. Tijdschrift voor Didactiek van Beta-Wetenschappen.  

https://www.researchgate.net/publication/344748462_De_vertaalslag_van_een_situatie_naar_een_wiskundige_formule_een_studie_naar_vraagstellingen_en_leerlingprestaties_op_het_centraal_examen_wiskunde_B1

Het probleem hiermee is het onbepaald voornaamwoord bij ‘situatie’. De auteurs problematiseren dat niet, terwijl hier toch echt met zoveel woorden staat dat dit ‘vertalen’ een generieke vaardigheid is. Er is zelfs een rare term voor gevonden: wiskundige denkactiviteit WDA. 

Een cognitief psycholoog zou zo’n term niet kunnen bedenken: ‘denken’ is immers geen activiteit, al suggereert het werkwoord-karakter ook dat er een ‘denker’ aan te pas komt. Afijn, dit terzijde. 

Het verbazingwekkende is dat wiskundigen, toch verzot op verzamelingen, niet beseffen dat ‘een situatie’ verwijst naar een oneindige verzameling van situaties. 
In tegenstelling tot bijvoorbeeld verzamelingen van situaties met specifieke natuurkundige problemen (katrollen, etc). 

Nu gaan examens wiskunde niet over natuurkundige problemen, daar is een afzonderlijk examen voor. De bedoelde situaties zijn evenmin wiskundige situaties, want het gaat om situaties die uit het leven gegrepen zijn: ze kunnen van alles zijn, al is het uit science fiction. 

Dat onbepaalde, dat oneindige, is geen slordigheidje in de formulering. Er circuleren meerdere formuleringen die allemaal op datzelfde neerkomen. Om het los te koppelen van realistisch rekenen/wiskunde: ook in doelstellingen uit de 50er en 60er jaren komen die ‘situaties’ voor. 

Omdat situaties in de examens wiskunde van alles en nog wat kunnen zijn, is het voor leerkrachten en leerlingen onmogelijk om zich doeltreffend op dat omgaan met ‘situaties’ voor te bereiden, anders dan te zorgen op zijn minst de wiskunde goed te beheersen. 

Op blz. 7/8 gaan de auteurs wat verder in op wat onder ‘situaties’ is te verstaan. Elders worden dat contexten genoemd. Geen enkele aanwijzing dat de auteurs zich bewust zijn van het probleem dat deze ‘generieke situaties’ stellen, in zowel onderwijs, als examens. 

Een testpsycholoog zou opmerken dat het werken met generieke situaties ervoor zorgt dat examens wiskunde niet cultuur-vrij zijn. Dat cultuur-aspect speelt in de testpsychologie een grote rol, vandaar ook mijn verbazing dat wiskundigen er zo makkelijk aan voorbijgaan. 

In de intelligentie-testerij is geprobeerd om ‘cultuurvrije intelligentietests’ te ontwerpen. Een bekende ‘cultuurvrije’ intelligentietest is de ‘Raven Matrices’. en.wikipedia.org/wiki/Raven%27s… In ons land is hij altijd gebruikt bij de keuring voor militaire dienstplicht.

Over de jaren heen bleken de scores op deze ‘cultuurvrije’ test te stijgen. Jaap Dronkers correspondeerde erover met James Flynn. Flynn ging er verder onderzoek naar doen: het effect van toenemende scores op intelligentietests deed zich algemeen en internationaal voor: 

het ‘Flynn-effect’. (Anderen gingen het zo noemen, James was er geloof ik niet blij mee). Het effect is echt enorm, over een eeuw heen zo’n twee standaarddeviaties ( = ca 30 IQ-punten). 
Het springende punt is: deze ‘cultuurvrije’ test is dus allesbehalve cultuurvrij. 

En terugkoppelend naar de situaties/contexten waar leraren wiskunde zo verzot op zijn (maar ik mag niet generaliseren, natuurlijk): ook die zijn allesbehalve cultuurvrij. Dat betekent dat examens wiskunde getroebleerd zijn met intelligentietest-achtige opgaven. Weg validiteit! 

Over het Flynn-effect heeft wikipedia ook een uitgebreid lemma: en.wikipedia.org/wiki/Flynn_eff… 
James Flynn heeft er veel over gepubliceerd, ook in wat beter toegankelijke boeken zoals ‘Are We Getting Smarter? Rising IQ in the Twenty-First Century.’ 
TEDx-talk: 

Why our IQ levels are higher than our grandparents’It’s called the “Flynn effect” — the fact that each generation scores higher on an IQ test than the generation before it. Are we actually getting smarter, or just thinking differently? In this fast-p…https://www.ted.com/talks/james_flynn_why_our_iq_levels_are_higher_than_our_grandparents

Met het bovenstaande / deze draad denk ik al doende een bewijs te hebben geleverd voor de ontoelaatbaarheid van ‘generieke situaties’ in examens wiskunde. Hetzelfde hoeft niet te gelden voor gebruik in onderwijs, daar kunnen ze best motiverend of illustratief worden ingezet.

Wetsvoorstel contextopgaven rekenen en wiskunde. Motivatie: gebruik van contextopgaven in toetsen en examens afremmen. Artikel 1. Alleen díe contextopgaven zijn toegestaan die door een computerprogramma goed oplosbaar blijken. [noodzakelijke voorwaarde]

Aan welke technieken is dan te denken? Zoek het in de sfeer van ‘intelligent tutoring’. Bijvoorbeeld: 
M. W. Lewis, Robert Milson, John R. Anderson (1987) ‘The Teacher’s apprentice: Designing an intelligent authoring system for high school mathematics’ act-r.psy.cmu.edu/?post_type=pub…

Ik stel dit wetsontwerp ook voor om daarmee toetsontwerpers te dwingen exact in kaart te brengen welke ‘stappen’ nodig zijn om een bepaalde contextopgave tot een goede oplossing te brengen. ‘Stappen’ is metaforisch hè! Hersenen moeten het oplossen doen [check via fMRI mogelijk] 

Wanneer situaties van alles en nog wat kunnen zijn, is doeltreffende voorbereiding op examens met contextopgaven niet mogelijk. Ik schreef dat een beetje terloops op, maar dit is dus een ernstige zaak. Het is kwaliteitseis #1 voor examens: A.D. de Groot http://benwilbrink.nl/publicaties/70degroot.htm

Er zijn tal van beroepen waarin pittig moet worden gerekend, en dat is dus rekenen in situaties die helder zijn afgebakend. Verpleegkundig rekenen is een voorbeeld. In het onderwijs zelf doet natuurkunde een sterk beroep op wiskunde: ook een afgebakende verzameling situaties.

Het is al met al zo ernstig omdat die generieke situaties de validiteit van de examens wiskunde aantasten. In gewoon Nederlands: zo’n examen toetst niet alleen wiskunde, maar ook de afkomst en intelligentie. Vergelijk het medebeoordelen op taalverzorging: http://benwilbrink.nl/EXAMENSCOMPLEET_sept_2010.pdf

“Psychometrisch gezien valt te verwachten dat meebeoordelen van een tweede domein zoals taalverzorging leidt tot een lagere validiteit van het examenonderdeel, tot meer ruis – onsystematische variantie – in de scores en tot het ontstaan van bias.” Generieke situaties vormen zo’n tweede domein.

“… het is evident dat een maatregel die de psychometrische kwaliteit van examens eigenlijk alleen maar kan verlagen, hooguit genomen mag worden wanneer het echt niet anders kan.” En het kan anders: beperk situaties tot een afgebakende set, in het onderwijs behandeld/geoefend.

“Cohen (1981 http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981) heeft gedetailleerd de eisen beschreven die in juridische zin voor examens gelden. Zo mogen kandidaten verwachten dat een eindexamen natuurkunde gaat over natuurkunde, niet tevens over Nederlands.” Rekentoetsen gaan niet over fietswinkels.

Stelling van @P_A_Kirschner en mij, op een KNAW-bijeenkomst over rekentoetsen: “Rekentoetsen met ‘situaties uit het dagelijks leven’ testen het vermogen om te leren: opgedane rekenvaardigheid zo aanpassen dat de contextopgaven zijn te maken.” http://benwilbrink.nl/publicaties/14wilbrink_kirschner_rekentoetsen.htm

Dit is een nieuw argument waarom er met generieke situaties in examens wiskunde iets anders wordt getest dan wiskunde. In dit geval gaat het over de rekentoets, in de jaren ’10 onderdeel van de eindexamens in vo en mbo. (rekenen is onderdeel van wiskunde, uiteraard).

“Omdat kandidaten zelfstandig werken is het leren hier (zelf)ontdekkend leren. Is het vermogen tot dit soort leren een legitiem (reken-)onderwijsdoel? Wij menen van niet. Is een test hiervan dan een legitiem eindexamenonderdeel? Ons inziens zijn dit vragen die dringend antwoord behoeven.”

Bij deze rekentoetsen is het examineren met contextopgaven dramatisch mislukt, terwijl betrokken instituties—Cito, CvTE, SLO, Inspectie, FIsme—erbij stonden en ernaar keken. Dramatisch: kosten een half miljard, en een politiek fiasco omdat er helemaal mee moest worden gestopt.

Heel Nederland heeft kunnen zien hoe deze rekentoetsen ook ‘intelligentietests’ zijn: omdat havo en vwo dezelfde toetsen moesten maken (3F-toetsen) was het evident dat het havo niet in staat was leerlingen daar doeltreffend op voor te breiden: scoren bleven veel lager dan vwo.

Hierboven heb ik hopelijk duidelijk kunnen maken waarom dat gat tussen havo en vwo niet door goed onderwijs viel te dichten. Kijk, wanneer de landelijke expertisecentra niet in staat blijken om dit enorme probleem überhaupt maar te zien, dan blijft het sukkelen met onze examens.

In een posterpresentatie hebben Paul en ik een en ander nog eens samengevat. Zie hier ‘Met die contexten toetsen wij geen rekenen maar vermogen tot (zelf)ontdekkend leren’ http://benwilbrink.nl/14Wilbrink_Kirschner_poster.pdf Aan het slot van de poster komt de fietsenwinkel als voorbeeldopgave terug. Try it!

Zie ook mijn werkdocument ‘Intellectuele capaciteiten in contexten: rekenopgaven’ http://benwilbrink.nl/projecten/capaciteiten_in_contexten.htm

Voor een (ongeordende) bak literatuur op het thema ‘contextopgaven’ zie http://www.benwilbrink.nl/projecten/contexten.htm

PM (nog uitwerken) Voorbeelden van de waanzin in rekentoets: Jan van de Craats maakte een toets (zijn website). Kwaliteitseisen Cotán geformuleerd in de Amerikaanse Standards. Nu nog die Standards ook toepassen! Wat meten die contextopgaven? Wie het weet mag het zeggen.

De info in deze draad komt in twitterstijl: kort en net te bondig. Veel punten hebben extra toelichting nodig. Vaak heb ik die gegeven in de vorm van verwijzing naar bronnen, maar dus niet overal. Ik ga dat ook niet doen, ik moet het overzichtelijk houden.

Toch wil ik diverse aanvullingen geven.  Zo geeft de Proeve van een leerplan voor het basisonderwijs rekenen 1967 op de eerste bladzijde een uitvoerige rekenideologie gebaseerd op het idee dat rekenen gaat om rekenen in situaties. Contexten dus. Ik maak nog een transcriptie. 

En dat doet me vermoeden dat die nadruk op situaties historische wortels heeft: rekenonderwijs was eindonderwijs, leerlingen moesten kunnen rekenen bij hun timmer of naaiwerk. Daniël van Pelt zorgde ervoor dat lln. van school gingen met een schrift met praktische rekenvoorbeelden

Daniël van Pelt (1903/1912 4e). Overzicht der methode gevolgd in ‘De nieuwe rekencursus’. Tiel: D. Mijs. Scan van inleiding: http://www.benwilbrink.nl/VanPelt_1912_tm14.pdf uitvoerige annotatie in http://www.benwilbrink.bl/projecten/hist_rekendidactiek.htm#Pelt_1903

Ik verwees al naar Willem Bartjens, vrijwel volledig op marktsituaties gericht. 

Is het een idee om dat toepassen van rekenen en wiskunde in situaties/contexten in het onderwijs te behandelen als wat elders wel in de vorm van practicumopgaven gebeurt. Het toepassen wordt geoefend in practica die GEDAAN worden, niet GETOETST. (A.D. de Groot: het H-onderdeel)

In 1972 (Selectie) De Groot emphasizes that practicals (called ‘H-onderdelen’) need not be completed by having students take a summative test also. That is an interesting position taken: students need not always be tested, lab work may be assessed on the fly, subjectively.

[Deze blog is tot hier gelijk aan twitterdraad https://twitter.com/benwilbrink/status/1587462183209803776 3 november 2022]

[Hierbeneden is deels gelijk aan twitterdraad https://twitter.com/benwilbrink/status/1588256819461267458%5D

Is het gek dat ik vermoed dat al die contexten in ons reken- en wiskundeonderwijs, en vooral in toetsen en examens, een verdienmodel zijn voor voorstanders van realistisch rekenen en vooral voor toetsenbakkers zoals het Cito? Hun raison d’être?

Daar zijn wel sterke aanwijzingen voor, zoals het ongelooflijke gedoe rond geheimhouding van de vragen voor de rekentoets in de eindexamens van de jaren ’10. Die contextopgaven zijn kostbaar om te ontwerpen. Maar het gaat wel om rekenen hè! Iedere wiskundeleraar schudt toetsen zo uit de mouw. Zonder contexten.

Wie denkt dat toetsen en examens vooral moeilijke vragen moeten bevatten, wat niet zo is, dan maakt het zichzelf ook moeilijker. Door Cito ontworpen examens zijn niet vanzelfsprekend het criterium. Eerste hobbel: wat is een goede wiskundevraag (zonder context).

Ik kreeg hierop als reactie dat examenopgaven voor vwo wiskunde B elegant in elkaar steken. Dat ontwerp kost tijd en vraagt creativiteit van de makers.

Ik ga verder. Geldt dat ook voor examenopgaven van, zeg, 60 jaar geleden? Oude examens zijn verzameld uitgegeven, of ook besproken in Euclides. Waar ik geen gegevens over heb: wie financierde het ontwerp van die examens wiskunde (OK&W?), hoeveel tijd vergde dat, wie deden dat?

“Voor het schriftelijk stuurde je als leraar examenopgaven in. Ik weet nog dat ik het een onderscheiding vond toen ik voor het eerst ervoor gevraagd werd. Het was leuk werk, je deed het zo goed mogelijk en borg de opgaven op in een map. Als het examen kwam, keek je dan of er één van jou bij was. Nou, en dan was je natuurlijk trots als dat het geval was. Je kreeg voor dat werk geen vergoeding. Later werd ik nauwer betrokken bij het samenstellen van de examens. Zo omstreeks 1955 vroeg Wim Burgers me of ik lid wilde worden van de commissie die de eindexamens wiskunde voor het gymnasium opstelde. Er was een vacature in zijn commissie. We deden het werk met zijn drieën: Wim, Piet Steenbergen en ik [Piet Vredenduin]. Eerlijk gezegd was ik apetrots dat ik mee mocht doen. Het ging toen nog erg gemoedelijk. Er was toen nog geen CEVO [tegenwoordig het CvTE], er waren ook geen typische wiskunde-inspecteurs. Inspecteur Van Dam, tegenwoordig erelid van de NVvW, hield een oogje in het zeil, en dat was alles. Elke keer dacht ik dat we een mooi examen gemaakt hadden. En elke keer viel het tegen. Het was vaak makkelijker dan we dachten, en toen plots, in 1958, veel te moeilijk. Dat heeft me weer wat bescheidenheid geleerd. Tegenwoordig wordt er meer zorg aan de examens besteed en daardoor is de kwaliteit toch betrouwbaarder.”

Het citaat komt uit ‘Ik was wiskundeleraar’, een bundel gesprekken van Fred Goffree met wiskundeleraren die ook overigens bekendheid hebben gekregen. Hier gaat het om het gesprek met Piet Vredenduin, auteur van de wiskundeboeken die ik in mijn gymnasiumtijd kreeg door te werken.

Zo’n examen kan echt heel goedkoop goed worden ontworpen, blijkt uit deze korte opmerkingen van een voormalig ontwerper; dan houden we een hoop geld over voor onderwijs zelf.

Een opmerking bij ‘daardoor is de kwaliteit toch betrouwbaarder’: dat is dus dat gedoe met N-termen. Maar wat kopen we ervoor? Dat het ‘betrouwbaarder’ wordt geldt vooral voor de gemiddelden. Individuele leerlingen hebben er weinig aan, voor die leerlingen ziet het examen eruit als een willekeurige steekproef uit denkbare examenvragen. Of een examen gemiddeld wat moeilijker is, betekent niet dat de leerling een ‘moeilijker’ examen doet. (Denk er even over na. Een rivier is gemiddeld 1 meter diep, maar hoe diep is hij op de plek waar ik wil oversteken?)

Nog een quote uit het gesprek van Goffree met Vredenduin: (blz. 160):

“Uit ervaring weet ik dat al die mensen die examenopgaven maken, een zekere vorm van ijdelheid hebben, en dan ook iets aardigs en iets nieuws willen bedenken.Dat zijn problemen waarmee je niet alleen het intellect [sic] van de leerling toetst, maar ook het intellect van de samensteller toont. En dat is alleen maar mogelijk doordat de opgave een nieuw bestanddeel bevat, iets dat nooit eerder gevraagd is. Als het dan erg aardig is, heb je kans dat het in de schoolboeken komt en dan behoort het ineens tot de gangbare leerstof. Zo wordt deze gaandeweg meer omvangrijk.”

Vredenduin zag direct na de oorlog dat het goed mogelijk was leerlingen op het examen voor te bereiden en daarbij veel leerstof over te slaan. (Leerlingen hadden langere tijd geen onderwijs kunnen volgen, en mohten daardoor niet al te zeer worden benadeeld, er was dus een bijzondere regeling om leerlingen hun overgang of eindexamen te bezorgen).

“Conclusie: een heleboel kan je best missen.”

Terugkomend op die creativiteit: daar zet ik vraagtekens bij. Het is een klassiek argument in van toetsontwerpers dat het ontwerpen van examenvragenvragen een kunst is, dat het creativiteit vergt. Mijn positie (ook Aula 809 ‘Toetsvragen schrijven’): het ontwerpen van examenvragen vraagt techniek, juist géén creativiteit.

Dat heeft er ook mee te maken dat toetsen en examens doeltreffend moeten zijn voor te bereiden door de leerlingen. Creativiteit van ontwerpers is daar juist een bedreiging voor.

Examenvragen moeten ‘nieuw’ zijn, als het even kan. Maar hóe nieuw precies? Niet totaal nieuw.

Wiskundeopgaven met meerdere stappen voor een oplossing kunnen bij iedere stap verkeerd lopen. Lijkt me onhandig om leerlingen daar grondig op te laten oefenen. Maar als die gelegenheid niet hebben gehad, dan zijn ze niet doeltreffend op het examen voorbereid. Wat toetst zo’n examen dan?

Het is te modelleren, zo’n examen met complexe opgaven met ieder 6 stappen. Ik heb er eens een vingeroefening op gedaan, voor een seminar van het COWOG: ‘Inzicht doorzichtig toetsen’ http://benwilbrink.nl/publicaties/98InzichtToetsenCOWOG.htm

Het inzicht bestaat eruit dat je die bijzondere combinatie van 6 stappen op de een of andere manier moet ‘zien’, of op zijn minst de mogelijkheid. Dat kan alleen maar wanneer de relevante wiskundige kennis zo verdomd goed onderling verbonden is dat het werkgeheugen er heel grote delen van tegelijk kan bereiken. Vergt koelbloedigheid, zeg maar.

Theoretisch: ‘spreading activation’. (meteen aan het begin genoemd, ik had dat bij mijn paper-presentatie nog niet paraat).

Dit mag je ook best opvatten als een operationalisatie van ‘wiskundig inzicht’. Dat is niet iets geheimzinnigs, maar het is te specificeren, te onderzoeken, te testen. Theorieën over cognitieve architectuur maken dat op spectaculaire wijze mogelijk. Bekende theorieën zijn Allen Newell a.o. SOAR, en John Anderson a.o. ACT-R.

Kennis en vaardigheden, specifiek en generiek

Een Twitterdraadje over kennis en vaardigheden, specifiek en generiek https://twitter.com/benwilbrink/status/1582398314611609600. Met een wat uitvoeriger uiteenzetting eraan toegevoegd.  Ongepolijst, dat wel. 

——————————

Ik heb het idee dat de cognitieve psychologie geen nood heeft aan een begrip ‘skills’.  Weten wat en weten hoe, het is gewoon kennis. Maar misschien heb ik het mis.  Laat ik er eens een paar boeken bij pakken, en hun index raadplegen.

John R. Anderson (2007). How can the human mind occur in the physical universe? http://benwilbrink.nl/literature/anderson_2007.htm

‘skill acquisition – description of’ (p. 94): voorbeeld: typecursus. “… involves the acquisition of new procedures (production rules in ACT-R).” Wat zijn production rules?

p. 155: ” … production rules are just stimulus-response bonds that have ‘gone over to the cognitive side’ because control states, mental images, and past memories are among the stimuli they respond to.” 

Hoe kom je aan die ‘production rules’? Die moet je leren, hè.

p. 169-174 ‘functional magnetic resonance imaging studies of skill acquisition’.  Vaardig worden is een kwestie van ‘production compilation’: paren van afzonderlijke productieregels die reduceren tot een enkele productieregel. Etc. Voorbeeld: algebra; Anderson 2005.

“The experiment followed children learning to solve equations over five days and imaged them on the first and fifth days.” Ziet er spectaculair uit. https://act-r.psy.cmu.edu/?post_type=publications&p=14080

Kinderen lossen die vergelijkingen op terwijl ze in een fMRI scanner liggen.

John Anderson is de man van de ACT-R cognitieve architectuur.  Een andere architectuur is opgezet door Allen Newell c.s.: SOAR: 

John E. Laird (2012). The SOAR Cognitive Architecture.  http://mitpress.mit.edu/books/soar-cognitive-architecture Maar ‘skills’ komt niet voor in de index.  Daar was ik al bang voor.

Laat ik dan kijken bij Allen Newell zelf: 

Allen Newell (1990). Unified theories of cognition. https://hup.harvard.edu/catalog.php?isbn=9780674921016… 

‘skilled memory’ p. 368 Dit is een voetnoot die verwijst naar Ericsson’s onderzoek over het onthouden van lange reeksen cijfers (zie ook ‘Piek’).

‘skill acquisition’ p. 345-351, 461. 

p. 461-2: “… skill … seems to be a vehicle for tuning behavior rather than for substantially reorganizing intellectual operations.” 

par 6.5 Skill acquisition. 345-351. “Currently the received taxonomy of psychology places procedural memory (skill or know how) in a major category of its own, separate from episodic memory and semantic memory. In SOAR, of course, all types of (long-term) memory are built up from chunking, which is basically procedural (though at the level of content-addressed memory). One does not ask how SOAR does skill acquisition per se … but rather how SOAR attains the other kinds of memory. That is what the investigation of data chunking has been all about, as well as the earlier discussion of episodic and semantic memory.” 

Begrip ‘skill’ is overbodig. 

Ik kan zo wel doorgaan, maar het punt is duidelijk. Het begrip ‘vaardigheid’ blijft zweven zolang we weigeren om te analyseren en onderzoeken ‘hoe het dan werkt’.  

Markante voorbeelden: begrijpend lezen, en andere generieke vaardigheden waar goeroes gek op zijn. Vaagtaal.

————————————————————————————

Ik kreeg het verwijt dat ik semantische spelletjes speel.  Daarom nog maar eens een poging om een en ander uiteen te leggen. ‘Uiteen’: wetenschap en dagelijkse praktijk. Hier dan een vlot opgeschreven tekst, zonder talrijke links. 

Dagelijks taalgebruik, de wereld van common sense. Veel psychologie gaat over hoe die wereld van ‘common sense’ niet spoort met de werkelijkheid.  

Wat is ‘de werkelijkheid’?  Die zullen we nooit kennen, maar we doen ons best. Dat is de taak van fundamentele wetenschap en ook wel een beetje van toegepaste wetenschap, uiteraard. Popper.  

Naast de begrippen ‘kennis’ en ‘vaardigheid’ in het dagelijks taalgebruik, is er een discours over kennis en vaardigheden in en rond het onderwijs, zoals bijvoorbeeld de manier waarop de OECD bij monde van Andreas Schleicher (PISA) en zijn staf over kennis en vaardigheden spreken.  Dat een begrip als ‘vaardigheden van de 21e eeuw’ sterk controversieel is, dat mag ondertussen wel algemeen bekend zijn, het is ‘folk psychology’, waarbij de ‘folks’ vooral influencers van onderwijs zijn.  Afijn, ik kan er een lijstje verwijzingen bij geven.  Wetenschappers die ermee aan de haal gaan,  bedrijven pseudowetenschap.  Er zou een meldpunt voor moeten zijn.  Laat ik dat anders zeggen: Academici hebben de dure plicht om het eigen huis op orde te houden, en fraudeurs, charlatans, en kwakzalvers de deur uit te zetten.  Hier ligt wel een probleempje: oplichters als Diederik Stapel kunnen wel worden aangepakt, pseudowetenschap laat zich niet langs juridische weg van integriteitscodes en handhaving daarvan via de rechter (in Nederland het LOWI) 

Cognitieve psychologie is een experimentele wetenschap, de opvolger van wat voorheen ‘experimentele psychologie’ heette, voor studenten beschreven in handboeken zoals  ‘Kretch & Crutchfield’ en ‘Woodworth & Schlosberg’, om er maar twee te noemen uit mijn eigen studietijd.  In de VS wordt deze psychologie dan ook tot de ‘sciences’ gerekend, anders dan in Europa.  Ik sluit constructivistische ouwehoerpsychologie uit van deze cognitieve psychologie, ook al publiceren deze constructivisten in cognitief-psychologische tijdschriften.  Het onderscheid is trouwens best lastig; iemand als Lieven Verschaffel is fanatiek ondersteuner van Freudenthal en zijn denkwereld, en tegelijk experimenteel psycholoog.  We zijn allemaal mensen.  

Ergo. Waar de cognitieve sychologie het heeft over kennis en vaardigheden (common sense) gaat het over technische begrippen zoals ‘producties’ die onderdeel zijn van een theorie die voortdurend experimenteel wordt getoetst, verfijnd, en uitgebreid.  Op Popperiaanse wijze.  Daar is in principe geen sprake van semantische spelletjes of filosofische fijnslijperij.  

Deze cognitieve psychologie heeft geen behoefte aan een afzonderlijke categorie ‘vaardigheden’.  Punt.  Dat neemt niet weg dat de cognitief psycholoog wel eens wat wil kunnen uitleggen aan niet-psychologen, al is het maar over waar die cognitieve psychologie nu eigenlijk mee bezig is. Dan moet de psycholoog toch ook gebruik maken van de dagelijkse taal of de onderwijstaal over kennis en vaardigheden.  Tricky, maar goed te doen. 

Interessanter is het omgekeerde:  hoe verhoudt de dagelijks taal of onderwijstaal over kennis en vaardigheden zich to de cognitieve psychologie?  Daar loopt de psycholoog die zich met onderwijs bemoeit onvermijdelijk tegenaan.  Wat is kennis?  Wat is dat, een ‘vaardigheid’?  Wat zegt de cognitieve psychologie erover?  Met andere woorden: hoe kan de cognitieve psychologie verklaren wat er in het  onderwijs aan de orde van de dag is: kennis die wordt overgedragen, vaardigheden die worden geoefend?  

Boeiend is dat die verklaringen gegoten moeten worden in dagelijkse taal of onderwijstaal, terwijl ze tegelijkertijd geworteld moeten zijn in de theoretische taal van de cognitieve psychologie.  Versta me goed, ‘theoretisch’ betekent hier: ondersteund door empirisch toetsend onderzoek.  Dat is de crux, immers. 

K. Anders Ericsson, cognitief psycholoog, lijkt in zijn boek (Ericsson & Pool: ‘Piek’) juist vaardigheden te benadrukken, en kennis (declaratieve kennis) minder van belang te vinden.  Ik wil hier echt niet diep op ingaan, want zijn boek gaat vooral over oefening en training op de hoogste competitieve niveaus in sport en muziekbeoefening.  Daar gaat het om verbeteringen in prestaties die bereikt worden door cognitieve verfijningen (jawel, alles is cognitief hè) die eigenlijk niet in woorden zijn te beschrijven.  Afijn, lees het boek.  Van belang is dat prestatie en mentale beelden van de ideale prestatie dichter bij elkaar komen in de uitvoering van de race, muziek, etc.  Een goed voorbeeld zijn de raceprestaties van Max Verstappen.  Cognitief zeer complex, opgebouwd in decennia van ‘deliberate practice’.  Ja, een goede auto helpt om dan ook te winnen.  Anderen kunnen hem dat niet in een paar jaar even nadoen.  

Het gaat bij het verbeteren van topprestaties niet om declaratieve kennis, dat mag duidelijk zijn.  Of je het dan procedurele kennis of procedurele vaardigheid of wat dan ook wilt noemen: ga je gang.  Maar wil je verstaanbaar blijven, dan is het handig om aan te sluiten bij ofwel de wetenschappelijke begrippen, ofwel de alledaagse, net naar gelang het publiek dat je wilt bereiken.  Andersson wilde een breed publiek bereiken, en dat is hem buitengewoon goed gelukt. 

In de onderwijswereld is er sprake van grofweg twee verschillende categorieën vaardigheden: (1) specifieke vaardigheden zoals tienvingerig typen, oplossen van algebraïsche vergelijkingen, de tafels van vermenigvuldiging, en (2) generieke vaardigheden zoals ‘denken’, ‘probleemoplossen’, ‘samenwerken’, ‘begrijpend lezen’, ‘creativiteit’.  

NB ‘Intelligentie’ zien we typisch niet als een vaardigheid, maar als een persoonlijk kenmerk.  Maar dat is heel erg ‘folk psychology’ hoor.  Neem dezelfde intelligentietest af bij de diverse jaargroepen in het funderend onderwijs, en je ziet dat er met de jaren toenemend hoger wordt gescoor op de test.  Ik gebruik dan graag een plaatje van precies zo’n dataset uit Leiden, voor de oorlog, waar dezelfde intelligentietest werd afgenomen in de diiverse standenscholen in het lager onderijs en voortgezet onderwijs.  De ruwe scores werden gerapporteerd, en dat zijn we niet gewend omdat intelligentietests IQ’s opleveren, denken we, en dat zijn op leeftijdsgroep gestandaardiseerde scores.  Die IQ’s poetsen de toename in de vaardigheid ‘intelligentie’ effectief uit.  Met mijns inziens dramatische gevolgen voor de kwaliteit van ons onderwijs, als deze misvatting een eeuw lang invloed kan hebben op dat onderwijs.  Maar dit alles terzijde. 

Het verschil tussen specifieke en generieke vaardigheden is de aanwezigheid van afgebakend domein van inhouden, situaties, whatever. 

Een generieke vaardigheid als ‘denken’ heeft geen afgebakend domein, je kunt er geen ‘deliberate practice’ op loslaten die dan ook succes heeft.  Een voorbeeld is het denken van de schaker: de topschaker is een superieur denker, jawel, maar binnen de 64 velden van dat schaakbord.   Leraren wiskunde dachten in de 19e eeuw, en nog steeds wel, dat wiskunde leren beoefenen ook leert denken in generieke zin.  Daarvan maakte Edward Thorndike al vroeg in de 20e eeuw duidelijk dat het zo niet werkt.  In de VS had dat grote impact op voortgezet onderwijs in klassieke talen: want wat was daar dan nog het nut van, als je er niet van leerde denken?  

Het is voor het onderwijs levensgevaarlijk wanneer politici, bestuurders, goeroes, geldwisselaars, of de OECD pleiten voor het benadrukken van generieke vaardigheden zoals samenwerken, probleemoplossen, creativiteit, begrijpend lezen.  

Dennis Wiersma loop risico met zijn in gang gezette campagne voor basisvaardigheden in het voortgezet onderwijs:  voorzover die generiek worden geduid,  is het onderwijs bezig water naar de zee te dragen. Concreet doet dat gevaar zich voor bij het rekenonderwijs omdat de dominante rekenideologie het rekenen definieert voor een onbepaald en dus oneinidig domein van mogelijke toepassingen.  Dat rekenen is een generieke vaardigheid, dat is niet doeltreffend te onderwijzen, zoals het fiasco van de rekentoets in eindexamens heeft bewezen.  Even cocreet is dat het risico bij benadrukken van begrijpend lezen zonder daarbij streng af te bakenen welke teksten dan wel begrijpend gelezen moeten kunnen worden.  Teksten over bridge, zwarte gaten, en cognitieve psychologie zijn voor de meeste mensen onmogelijk ‘begrijpend te lezen’. Is er nog meer uitleg over nodig? Kennis telt; zonder de benodigde kennis is begrijpend lezen een farce. Mèt die kennis is het vanzelfsprekend, zoals we ook gesproken taal verstaan. Toch? Op dit onderwerp zijn publicaties van Daniel Willingham leidend en verhelderend: niet doen, inhoud onderwijzen in de zaakvakken.  En dat kan dan weer al lezend, uiteraard.  

Tor zover dan. 

REFERENTIES

Ik kan hier wel een enorme literatuurlijst aan hangen, maar zie mijn website voor bergen literatuur die bij een betoog als het bovenstaande relevant zijn.  

Ik zou een goede poging moeten doen om links in de tekst te plaatsen, maar ik maak eerst de tekst zo goed mogelijk af.  Of misschien doe ik het deze keer eens zonder een stuk of dertig verwijzingen/links. 

Toetsvragen ontwerpen. Een draadje met springende punten

Toetsvragen ontwerpen

Vandaag blijkt mijn hoofd te staan naar toetsvragen als onderwerp, mijn zonden, en vooral die van anderen. Het ontwerpen van toetsvragen, bij de buren heet dat ‘item writing’, door mij wel vertaald met ‘toetsvragen schrijven’: Aula 809 benwilbrink.nl/publicaties/83…

Mijn zonde bij het uitbrengen van dit boekje was dat ik deze aanpak van het ontwerpen van toetsvragen niet empirisch had getoetst op een paar honderd of liefst nog meer universitaire docenten. Uiteindelijk stapte de redactie van deze HO-reeks over dat bezwaar heen. Gelukkig.

Mijn verdediging was uiteraard dat ik mij met deze praktische aanpak van het ontwerpen van toetsvragen keerde tegen tradities die evenmin op behoorlijke empirische toetsing berustten. Integendeel. Toetsvragen ontwerpen werd alom als een KUNST beschouwd. No kidding. Nog steeds.

Dienstmededeling. Het boek is van 1983, en door opheffing van het COWO stopte iedere vorm van doorontwikkeling abrupt. In de jaren ’00 wel weer opgepakt: benwilbrink.nl/projecten/toet… met boeiende nieuwe ideeën, maar een afgeronde tweede editie ligt boven mijn macht. Het is te groot.

Maar de toetsvragen-kunstenaar krijgt toch hulp van Benjamin Bloom c.s., de ‘cognitieve taxonomie’ voor toetsvragen? Het probleem daarmee is dat validiteit van het gebruik van de taxonomie twijfelachtig is. Het inzicht van vandaag is immers de kennis van morgen!

En het is pseudo-psychologie hè! Leraren kunnen niet in de hoofden van hun leerlingen kijken of wat zich daar bevindt of afspeelt gewoon kennis is, of inzicht, of het vermogen om de kennis ook toe te passen (handboek piloot kennen ≠ vliegtuig besturen).

Die taxonomie heeft het onderwijs schade berokkend (een nieuwe editie heeft het belang van kennis als de basis van alles benadrukt, een belangrijke correctie depauw.edu/files/resource…). Het blijft pseudo-psychologie, die tot allerlei verschrikkelijke piramides verleidt.

Heel dat gedoe met wat er in het hoofd zou gebeuren, is gekoppeld aan het idee dat onderwijs doelstellingen nodig heeft. Wat leidt tot ergerlijke toetsmatrijzen van inhouden versus categorieën van de taxonomie. 

Vandaar dat mijn boek begon met doelstellingen overboord te zetten.

Herken in die toetsmatrijzendogmatiek de bureaucratische terreur die het in feite is. Het is allemaal goed bedoeld – pun intended – maar het werkt vreselijk uit. Dit soort onderwijs-‘vernieuwing’ vloeit uit de pennen van onderzoekers met een generieke blik op het onderwijs:

‘hé, wacht even, al dat toetsen is eigenlijk psychologie, waarom gebruiken we onze testpsychologie (intelligentie-testerij, goudmijn voor psychologen begin 20e eeuw) niet om het onderiwijs te vernieuwen?’ Heel handig, want de onderzoeker kent de inhoud van schoolse vakken niet.

En als hij/zij die wel goed kent, ontbreekt het te vaak aan methodologisch inzicht in onderzoek. Afijn, Lee Shulman schreef er een klassiek betoog over fisica.uniud.it/URDF/masterDid… Anders gezegd: zadel leerkracht niet op met het idee dat het noodzakelijk zou zijn kennis te hebben van wat zich in het hoofd van leerlingen afspeelt. 

De taxonomie van Bloom c.s. was ooit een breuk met het behaviorisme. Misschien nodig op dat moment: 1956. Het is nu 2022 hè!

De ervaren leraar staat boven de behandelde stof en is goed in staat toetsvragen te ontwerpen. Vooral zonder Bloom, piramides, of andere flauwekul. 

Natuurlijk, er zijn tal van randvoorwaarden voor de kwaliteit, maar dat is toch een onderwerp apart, zie: benwilbrink.nl/projecten/toet…

Een minder zichtbaar probleem met schema’s zoals van Bloom c.s. is dat ze vooral NA het gegeven onderwijs uit de kast worden getrokken om te helpen bij het ontwerpen van toetsvragen. Dat is een probleem, omdat de toets daarmee niet meer in lijn is met het gegeven onderwijs.

Een voorbeeld. Het opgegeven handboek behandelt verschillende vormen van afasie in verhalende stijl, met definities ook. 

Bij het ontwerpen van tentamenvragen wil de adviseur casus van afasie presenteren, met de opgave deze te benoemen. Goed idee, vinden de docenten. Maar … .

Op dat moment ontdekken zij het dat het net van de persen gerolde Handboek niet voorbereidt op de opgaven die de docenten eigenlijk willen gebruiken in het tentamen over dat Handboek. Niet handig. 

Docenten kunnen dus wel hulp gebruiken bij het afstemmen van onderwijs en toets.

Het idee is nu dat er een beschrijving van de leerstof nodig is: wat zijn de belangrijke begrippen, hun onderlinge relaties, hoe moeten leerlingen de kennis ervan beschikbaar hebben — bij het lezen van nieuwe teksten bijvoorbeeld (analyse, referentie). Epistemologie, kennisleer.

Iedereen kent het wel in de vorm van ‘concept maps’, of begripsmatige schema’s zoals dat in de 70er en 80er jaren werd genoemd (Breuker, Mirande, Elshout-Mohr, publicaties over schematiseren als studiehulp). Een voorbeeld uit ‘Toetsvragen ontwerpen’:

Image

Onderscheiden naar aard van de kennis gaat het bij vrijwel alle leerstof altijd wel over (1) begrippen, (2) relaties tussen begrippen [bijv. natuurwetten], (3) probleemoplossen [wendbaarheid in de methodologie van het vak], en (4) tekstbegrip [‘problem solving on the fly’]

De volgorde is een voorwaardelijke, er zit een opbouw van beheersing in. Ieder in een eigen hoofdstuk behandeld. 

(1) en (2) zullen niet verrassen. De kort karakteristiek die ik hier geef voor (3) probleemoplossen is een nieuw inzicht van vanavond dat nog om uitwerking vraagt.

De behandeling in het boek berust op de cognitieve psychologie van vooral Allen Newell [‘producties’], en blijft als zodanig nogal abstract. Ieder vak heeft zo zijn eigen methodologie, die laat zich goed combineren met het abstracte frame van Newell. Vermoed ik. Patenteren, Ben!

Het proto-type van probleemoplossen is zoals dat in de wiskunde gebeurt. De proto-typische publicatie is Polya’s 1957: ‘How to solve it’. Onderwijsvernieuwers dwepen er graag mee, het is ook voor de #rekentoets [eindexamens vo] gebruikt. Misbruikt, want zo simpel is het niet.

Het toeval wil dat de genoemde Allen Newell student was van Polya, en er door zijn onderzoek naar probleemoplossen, samen met Herbert Simon, buitengewoon op was gespitst om ook het probleemoplossen van Polya theoretisch te kunnen duiden. Wat hem niet lukte. Maar dit terzijde.

Aula 809 1983 behandelt probleemoplossen in hoofdstuk 7, NA het hoofdstuk 6. over het ontwerpen van vragen bij teksten, kunstmatig opgedeeld in analytische vragen [relaties BINNEN de tekst] en refrentiële vragen [relaties met kennis BUITEN de tekst]. Duh, je bedoelt tekstbegrip!

Of het om tekstbegrip gaat, laat ik maar even terzijde. Het springende punt is dat analyse en referentie natuurlijk niet anders zijn dan een vorm van probleemoplossen. De volgorde moet dus zijn: eerst probleemoplossen behandelen, pas daarna wat het is om tekst te begrijpen.

Teksten zijn er allereerst om redelijk vlot gelezen te kunnen worden. Het analyseren van het geschrevene, en dat verbinden met met het al bekende [inferentie], moet vrijwel autonoom kunnen verlopen, zonder ‘nadenken’. Vandaar dat ik ‘problem solving on the fly’ heb genoemd.

Vrijwel autonoom: dat is een eis die gesteld mag worden aan de expert. Zoals de advocaat die een rechterlijke uitspraak leest. In het onderwijs zijn de studenten net op weg om expert te worden: analyse en referentie zullen mogelijk expliciet geoefend moeten worden.

Oké, daar laat ik het bij wat ‘epistemologisch’ uiteenleggen van de leerstof betreft. 

Het boeiende van het opzetten van twitterdraadjes zoals deze is dat het best wel vaak tot nieuwe inzichten leidt, zoals in het bovenstaande is gebleken. 

Ik ga hierna verder over keuzevragen.

Laat ik daar dan vast op vooruit lopen door deze korte hadleiding aan te bieden, uit een project voor Algemene Taalwetenschap (UvA), destijds een tentamen voor meer dan 1000 studenten. benwilbrink.nl/publicaties/92…… 

Wordt vervolgd

Maar eerst wil ik voorkomen dat er misverstanden groeien over wat tekstbegrip in deze context is. Het is geen freischwebende Intelligenz maar strikt 100% en volledig KENNIS-GEBONDEN. Allereerst domein-specifieke kennis dus.

Het is mij een raadsel wat het vak Nederlands met tekstbegrip heeft te maken. Daniel Willingham legt het opmeerdere plaatsen ook glashelder uit. Is het nodig een verwijzing te geven? U kent de literatuur toch wel een beetje? 

Het onderwerp nodigt uit tot nieuwe draadjes.

Om het voor nu even af te ronden: tekstbegrip gaat over de relaties die de lezer spontaan of anderszins kan leggen op basis van kennis van het onderwerp. Wat in de cognitieve psychologie van Allen Newell ‘producties’ heten. (bij E. Thorndike S-R banden)

Production System Models of Learning and Development

Dan heb je een doorwrocht boek geschreven over het ontwerpen van toetsvragen, en word je als raadgever teruggeworpen op de very basics. De meerkeuze-toetsen die leraren/docenten zelf ontwerpen hebben vaak enorme gebreken, die tegelijk eenvoudig zijn te verhelpen.

Daar ben je dan wel druk mee. Een korte cursus voor een heel team ziet er dan zo uit: iedereen levert een aantal zelf ontworpen vragen in, die door de anderen kritisch worden besproken. Onder het motto: breek ze tot de grond toe af, bouw ze opnieuw op.

En ik maar proberen dat in goede banen te leiden. 

Basale ontwerpfouten: vier alternatieven aanbieden (drie is altijd beter); veel te lange teksten in de alternatieven; kokervisie op wat het juiste alternatief zou zijn (andere zijn vaak ook verdedigbaar); dubbelzinnigheid.

Een voorbeeld kan helpen. Ik ben een decennium druk geweest om te helpen verhinderen dat de #rekentoets onderdeel van de eindexamens vo zou worden / blijven. Het was een sport om de gebreken in vrijwel alle context-opgaven aan te geven. Zodra er items vrij werden geven, want het was allemaal heel geheimzinnig rondom die toetsen. Surveillerende docenten mochten niet meekijken wat de vragen waren, laat staan daar foto’s van maken. WOB-verzoeken werden vanwege staatsbelang afgewezen. Compleet oorlog dus. Afijn, zie benwilbrink.nl/projecten/cito… Komisch.

Die webpagina is een demonstratie van hoe dat gaat: ontworpen keuzevragen tot de grond toe afbreken. Ik was in de gelegenheid mijn vroegere collega’s van het Kohnstamm Instituut ervan te overtuigen dat deze toetsen ernstig problematisch waren. Maar ik slaagde daar niet in.

De stemming was vergoelijkend voor de ontwerpers van die rampzalige vragen. Mijn collega’s dachten mee met die ontwerpers. Zo erg is het allemaal toch niet? Perfecte toetsen bestaan niet.

Het springende punt is nu juist: De ontwerper moet kunnen denken vanuit de positie van de leerling / student die de toets moet maken, en zich erop moet voorbereiden, niet te vergeten.>> De ontwerper die zich dat voortdurend realiseert, is in een veel betere ‘ontwerppositie’.

Ik geef een paar voorbeelden. De naïeve ontwerper vindt lange teksten in de alternatieven geen probleem, want de leerling die de stof beheerst gaat meteen voor het juiste alternatief, hoeft de andere niet eens te lezen. Toch? 

Nee dus. Zo werkt het niet. Keuzevragen dwingen ook de andere alternatieven (noem ze nooit AFLEIDERS!) te bestuderen, en dan pas het meest juiste (brrr) te kiezen. Ziet u nu waarom het misdadig is om alternatieven met ingewikkelde constructies te gebruiken? Of alternatieven die puur onzin zijn, of omkeringen van wat juist is?

Leerlingen mogen bij een toets uiteraard never ever worden AFGELEID. Laat staan bij een examen. Proberen om leerlingen in de war te brengen, bij toetsen waar veel van afhangt, is niet alleen onprofessioneel, het gaat over grenzen van rechtmatigheid heen.

Een deel van het fiasco van de #rekentoets is ongetwijfeld te wijten aan het onvermogen van de ontwerpers van de toetsen en de opgaven om te denken vanuit de positie van de leerlingen. De toetsen en cijfergeving moesten keer op keer worden herzien, tot de wal het schip keerde.

Leerlingen bij het maken van toetsen ‘afleiden’, op welke manier dan ook, is een ernstige inbreuk op de toetsorde. Een College van Beroeps voor Examens zal klachten erover altijd serieus nemen. Toetsvragen ontwerpen die inherent ‘afleiden’ — meerkeuzevragen — is onethisch.

Zoals strikvragen dat vanzelfsprekend ook zijn. (Toch bezondigen ontwerpers zich er vaak aan, bijvoorbeeld door een item moeilijker te maken door te vragen om het omgekeerde of complement van de uitkomst van de berekening: dat is uitlokking om die laatste stap te vergeten)

De wortels van het toetsen met keuzevragen liggen ongetwijfeld in begin 20e eeuw in de VS, in de enorme onderwijsmarkt die daar openlag voor ontwikkelaars van intelligentietests en vorderingentoetsen. Bedenk dat, en houd uzelf voor dat keuzetoetsen niet thuis horen in onderwijs.

Is er enig redelijk argument of excuus om leerlingen lastig te vallen met proefwerken en examens met meerkeuzevragen? U denkt misschien ‘Ja, ons propedeuse-tentamen wordt door 1000 studenten gemaakt, hoe moeten we dat anders nakijken?’

Tegenvraag: wat heeft een tentamen voor 1000 jongelui nog met ONDERWIJS te maken? 

Zo’n tentamen is toch vooral onderdeel van een afrekencultuur, een bureaucratisch monster? 

Breek het tot de grond toe af, en bouw het weer op. 

Wat nu als het slechts marginaal wordt nagekeken?

In beginsel krijgt iedereen daar een ‘pass’ voor. Tenzij uit de marginale toetsing blijkt dat een student het onvoldoende heeft voorbereid. Het tentamen is een laatste leer-activiteit, zeg maar. Het sluit zo nauw mogelijk aan op de leerstof en wat daarvan beheerst moet zijn.

Ontwerp de toets op de leerling die de stof behoorlijk heeft bestudeerd en geoefend. Er is geen enkele noodzaak om briljante studenten te bedienen met extra moeilijke vragen zodat zij excellent kunnen scoren waar anderen maar zesjes halen. Stop met die gekte.

Voor de talen bestaan onze centrale eindexamens uit eindeloze reeksen stukjes tekst met daar tekstbegrip-vragen over. Waarom is dat? Is Nederland daar beter mee af dan met proefvertalingen? 

Ho ho, denkt u. Proefvertalingen zijn vreselijk lastig na te kijken, leraren zijn het zelden met elkaar eens over de waardering van die proefvertalingen. Daarom zijn we er toch mee gestopt? Meerkeuzetoetsen zijn objectief, en een geweldige vooruitgang op die subjectieve oordelen van schriftelijk werk. Toch? Of bespeur ik een spoortje van twijfel?

Ik heb ooit de bijna volledige staf van het Cito, onder aanvoering van de directeur destijds, Solberg, mogen uitleggen dat meerkeuzevragen net zo subjectief zijn als open vragen. Dat was me een spektakel op de ORD 1977, want de directeur was razend. benwilbrink.nl/publicaties/77…

De achtergrond is dat De Groot en Van Naerssen in de 60er jaren een sterke ideologie in Nederland hadden geplant dat de enige goede toetsen meerkeuzetoetsen zijn, want die zijn objectief. Het Cito vermarktte dat. 

Wim Hofstee kalmeerde de zaak door na de woedende opmerkingen

van Solberg en Wesdorp droogjes op te merken dat wat Wilbrink hier beweerde, dat keuzevragen even subjectief als open vragen, toch een geweldige eye-opener is. 

En inderdaad, in de VS spreekt men over keuzevragen over ‘frozen subjectivity’: de subjectiviteit van de ontwerper.

Afijn, ik kreeg jaren later te horen dat mijn rechtstreekse aanval op de dogmatiek van de objectieve keuzetoets het Cito wel heeft geholpen om de eindexamens vo vorm te geven, want het zou toch een ramp zijn geworden die allemaal als meerkeuzetoetsen te geven.

Waar ik het beslist ook over moet hebben, daarmee sluit ik de draad af: de schandvlek dat het onderwijs er maar niet in slaag paal en perk te stellen aan deze gekkigheid, dat leerlingen bij meerkeuzetoetsen de opdracht krijgen, als ze het antwoord niet weten, dat dan te RADEN.

Het is een probleem dat onzichtbaar blijft totdat iemand het onder woorden brengt. Het is van de zotte om hele generaties jongeren te leren dat het oké is er een slag naar te slaan, wanneer je iets niet weet. Waar is het onderwijs dan mee bezig? Jongeren handicaps meegeven?

Ooit was het nog zo dat je een keuzevraag open liet, als je het antwoord niet wist. De Army Alpha was een intelligentietest, in 1917 gebruikt om razendsnel een leger op de been te brengen om een eind aan de Wereldoorlog te maken. Jongeren waren gretig om in het leger te gaan, en ontdekten al snel dat ze hun kansen verbeteren door op die test toch maar bij vragen die ze konden beantwoorden, een van de alternatieven aan te kruisen. En zo is het gekomen dat testpsychologen dan maar iedereen instrueerden om te raden, om ongelijkheid te voorkomen.

Diezelfde testpsychologen hebben de verwarring groter gemaakt, door de illusie te wekken dat voor het raden kan worden gecorrigeerd met een handige formule. Kijk er De Groot en Van Naerssen, 1969, ‘Studietoetsen’, maar op na.

Dat is natuurlijk onzin, niemand weet of en hoe Marie-José heeft geraden op haar rekentoets. Voor grote groepen is het raden wel statistisch te schatten, maar daar heeft Marie-José niets aan hè! En het gaat om Mari-José, niet om de groep.

Als er om goede redenen toch keuzetoetsen gegeven worden, pak het probleem dan direct aan, en geef een halve bonuspunt voor iedere keuzevraag die NIET is beantwoord. Maak er driekwart bonuspunt van bij tweekeuzevragen, anders blijft het voor leerlingen aan te raden te raden.

Ik stip hier nog een verwant probleem aan. Taal is dubbelzinnig. Het is voor leerlingen vaak ook gissen wat de ontwerper van de vraag precis heeft bedoeld, of hoe een alternatief precies opgevat moet worden. ‘Beschrijft de aarde een cirkelvormige baan rond de zon?’ Wat denkt u?

Voor de #rekentoets deed zich het probleem voor dat briljante wiskunde-leerlingen geen perfecte score op de rekentoets konden halen. Rekenen op niveau groep 8 hè! Het CvTE had zich kapot moeten schamen, en onmiddellijk ingrepen. Maar zo werkt de toets-bureaucratie niet.

Omdat er bij keuzevragen alleen maar kruisjes gezet kunnen worden, is er een probleem voor de leerling die de dubbelzinnigheid ziet. Hé, de baan van de aarde is toch ellipsvormig? Bedoelt de ontwerper van de vraag dat dan ook? 

Mijn advies, bij ‘high stakes’ examens:

Geef bij twijfel een schriftelijke toelichting op het alternatief dat je hebt aangekruist. Lever dat papier in bij de surveillant, en laat die surveillant teken voor ontvangst ervan. Dan heb je achteraf een been om op te staan. Ga in beroep.

Want het staat vast dat er altijd meer manieren zijn om een keuzevraag goed te beantwoorden, dan de ontwerpers ervan hebben voorzien. 

Ik kan eraan toevoegen dat dit probleem vaker juist díe leerlingen treft die meer dan alleen de opgegeven leerstof bestuderen.

END

Stel vragen bij wat duister lijkt. Geef een ‘like’ bij iets dat je bijzonder treft. Plunder mijn website voor meer informatie. 

Gedeelten van ‘Toetsvragen schrijven’ zijn wel herzien, niet alleen wat het Nederlands betreft. Maak er gebruik van: 

benwilbrink.nl/projecten/toet…

PS 

De baan van de Aarde om de Zon is niet ellipsvormig, slechts bij benadering. 

Pas bij het ontwerpen op met ‘universal quantifiers’ zoals ‘nooit’, ‘alle’. Ook wiskundige functies zijn in deze zin universele quantoren. 

Reden om contexten in wiskundeopgaven te VERBIEDEN.