Wat hebben we geleerd van 50 jaar ontwerpen van toetsvragen?  Aantekening bij een podcast

Podcast en interview: Tjip de Jong, 2 maart 2023. 

Eerste tweet van Tjip, in de daarop volgende tweets werk ik een thematiek uit die in de podcast niet aan de orde is gekomen (maar dat best had kunnen zijn). 

aantekeningen n.a.v. de podcast

Een podcast met een krasse knar, een unieke gelegenheid om ontwikkelingen over een heel lange periode te bespreken. Over toetsen en de hele santekraam.  Dat was het idee, en hoe dat gesprek zou gaan lopen was voor ons beiden een verrassing.  Een ontdekkingsreis in drie kwartier.

Een belangrijk thema dat niet is aangesneden:  hoe toetsen en examens zijn afgedwaald van examineren van kennis van de leerstof naar toetsen op begrijpend lezen (wat dat dan ook mag zijn) en gebruiken in situaties van het dagelijks leven (transfer, wat dat dan ook mag zijn).

Beide komen op hetzelfde neer: dat er wordt getoetst op wat NIET is onderwezen.  Dan komt dat toetsen en examineren neer op het houden intelligentie-wedstrijdjes die veel leerlingen niet kunnen winnen. Dit is het grote failliet van onderwijs dat door ‘progressivisme’ is vernield.

Het is uiteindelijk een kwestie van ontwerpen van toetsvragen.  Dus, hé, het probleem was er in 1983 nog niet.  Althans, het stond mij niet op het netvlies bij het schrijven van ‘Toetsvragen ontwerpen’ (Aula 809) https://benwilbrink.nl/projecten/toetsvragen.1.htm…  (in voortdurende bewerking).

Wat ik destijds ook (nadrukkelijk) wegliet uit ‘Toetsvragen schrijven, en ik verklap dat dit in de podcast wel aan de orde is:  de cognitieve taxonomie van Bloom als ‘leidraad’ voor dat ontwerp; en ook de technocratie van ‘betrouwbaarheid’, ‘validiteit’, ‘p-waarden’, ‘rit-waarden’).

Het verband tussen beide probleemclusters is voor een psycholoog met oog voor individuele verschillen eenvoudig te zien; en voor u, als gewaarschuwd mens, nu ook:  de technocratische & Bloomiaanse benadering levert begrijpend lezen- en transfer-examens op die helemaal oké lijken. Want ja, ze sorteren leerlingen op heel consistente wijze.  Dat haalt je de koekoek, zo zijn ze ontworpen. 

Dat is ook anders onder woorden te brengen: dergelijke toetsen en examens zijn ontworpen met de bedoeling ongelijkheid in het onderwijs te maximaliseren.  Stop ermee.

Was alles vroeger dan beter?  Er werd altijd al voortdurend geselecteerd.  Posthumus heeft dat uitstekend beschreven in zijn Gids-artikel van 1940 ‘middelbaar onderwijs en schifting’ online: https://dbnl.org/tekst/_gid001194001_01/_gid001194001_01_0040.php… Maar dan wel op kennis.

Een uitzondering vormen de toelatingsexamens voor HBS en gymnasium,  Het idee daarbij was dat leerlingen daar op intellectuele capaciteiten het verschil zouden maken.  Nou, dat hebben die leeerlingen geweten.  Theo Thijssen maakte in 1928 gehakt van die toetsen.  Gebundeld: http://benwilbrink.nl/Thijssen_De_Examenidioot_1929.pdf 

In 1983 schreef ik een hoofdstuk ‘Toetsvragen ontwerpen bij tekst’, is dat dan niet vragen naar tekstbegrip?  Zeker wel, en uitgesplitst naar analyse (binnen de tekst) en inferentie (van de tekst naar buiten).  Beide zijn te verstaan als binnen het specifieke kennisdomein.

Dus geen vrij-zwevend begrijpend lezen.  

Analyse en inferentie vormen een subcategorie van probleemoplossen.  ‘Problem solving on the fly’, in goed Nederlands.  Dit hoofdstuk 6 (in ‘Toetsvragen schrijven’) hoort dus NA hoofdstuk 7 over probleemoplossen, in plaats van ervoor.  Foutje. 

‘Problem solving on the fly’ geeft aan dat probleemoplossen iets is dat we al lezend, sprekend, en communicerend, voortdurend doen.  Het is niet noodzakelijk ingewikkeld zoals Polya beschrijft in ‘How to solve it.’  Dat boek van Polya is specifiek voor wiskunde, zoals de subtitel ook aangeeft: ‘A new aspect of mathematical method’. 

Het is wel van belang inzicht te hebben in hoe probleemoplossen werkt, wat daarvan het mechaniek is, zoals Allen Newell dat uitdrukte.  Dat was in 1983 al wel bekend, in grote lijnen, en daar heb ik destijds ook gebruik van gemaakt.

Dat mechaniek, waarvan ‘producties’ de essentiële onderdelen zijn, beschrijft goed hoe beschikbare kennis dat probleemoplossen mogelijk maakt.  Herken hierin dat probleemoplossen in beginsel volkomen transparant kan zijn, en zo hoort dat ook in deugdelijk onderwijs en toetsing. Want leerlingen moeten zich doeltreffend op toetsen en examens kunnen voorbereiden (De Groot, 1970, tekst in https://benwilbrink.nl/publicaties/70degroot.htm).

PS Ik heb deze aantekeningen (in de loop van de dag) gemaakt omdat het intense gesprek met Tjip de Jong een aantal verdere ideeën triggerde die ik meteen wilde uitwerken. Ik had er meer tijd en rust voor dan bij de ideeënstroom in de podcast zelf, maar naar hun ontstaan zijn ze hetzelfde: de ene gedachte triggerde de andere, ik heb verbanden kunnen leggen die ik niet eerder zo heb gelegd. Een creatief proces op basis van een ‘lifetime’ aan toetskennis, zeg maar. In de podcast waren het vooral ook de vragen van Tjip die als triggers werkten. In zowel de twitterdraad (waar deze blog uit voortkomt) als de podcast is de gedachteontwikkeling als het ware in ‘real time’ te volgen. Excuus voor de Engelse termen. Wie mij de laatste weken op Twitter heeft gevolgd, weet dat er het nodige voorwerk is geweest: ik heb mijn kennis ‘geactiveerd’ (in jargon gaat het om ‘spreading activation’), daarmee ook de condities gecreëerd voor het mogelijk leggen van nieuwe verbanden. Het is niet dat ik worstelde met een probleem waar ik maar geen oplossing voor kon vinden, er zijn ook oplossingen mogelijk waarvoor geen voorafgaand probleem was. Haha. ‘Aha Erlebnisse’. Het kunstje is dus eigenlijk vrij simpel: verdiep je onbevangen in complexe informatie, slaap er een nachtje over, en een verrassend nieuw verband is vaak de beloning. Het is een techniek die ik als onderzoeker veel heb toegepast. Leuk hè? Wat is hier eigenlijk de psychologie van? Die is in de literatuur op meerdere plaatsen te vinden, maar het beste boek hierover is ongetwijfeld:

Stellan Ohlsson (2011). Deep Learning. How the Mind Overrides Experience Cambridge University Press. https://benwilbrink.nl/literature/ohlsson.htm

Advertisement

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s