Ik kom tegen: Sanne Schaap, Pauline Vos, Ton Ellermeijer en Martin Goedhart (2011). De vertaalslag van een situatie naar een wiskundige formule; een studie naar vraagstellingen en leerlingprestaties op het centraal examen wiskunde B1. Tijdschrift voor Didactiek van Beta-Wetenschappen.
Het probleem hiermee is het onbepaald voornaamwoord bij ‘situatie’. De auteurs problematiseren dat niet, terwijl hier toch echt met zoveel woorden staat dat dit ‘vertalen’ een generieke vaardigheid is. Er is zelfs een rare term voor gevonden: wiskundige denkactiviteit WDA.
Een cognitief psycholoog zou zo’n term niet kunnen bedenken: ‘denken’ is immers geen activiteit, al suggereert het werkwoord-karakter ook dat er een ‘denker’ aan te pas komt. Afijn, dit terzijde.
Het verbazingwekkende is dat wiskundigen, toch verzot op verzamelingen, niet beseffen dat ‘een situatie’ verwijst naar een oneindige verzameling van situaties.
In tegenstelling tot bijvoorbeeld verzamelingen van situaties met specifieke natuurkundige problemen (katrollen, etc).
Nu gaan examens wiskunde niet over natuurkundige problemen, daar is een afzonderlijk examen voor. De bedoelde situaties zijn evenmin wiskundige situaties, want het gaat om situaties die uit het leven gegrepen zijn: ze kunnen van alles zijn, al is het uit science fiction.
Dat onbepaalde, dat oneindige, is geen slordigheidje in de formulering. Er circuleren meerdere formuleringen die allemaal op datzelfde neerkomen. Om het los te koppelen van realistisch rekenen/wiskunde: ook in doelstellingen uit de 50er en 60er jaren komen die ‘situaties’ voor.
Omdat situaties in de examens wiskunde van alles en nog wat kunnen zijn, is het voor leerkrachten en leerlingen onmogelijk om zich doeltreffend op dat omgaan met ‘situaties’ voor te bereiden, anders dan te zorgen op zijn minst de wiskunde goed te beheersen.
Op blz. 7/8 gaan de auteurs wat verder in op wat onder ‘situaties’ is te verstaan. Elders worden dat contexten genoemd. Geen enkele aanwijzing dat de auteurs zich bewust zijn van het probleem dat deze ‘generieke situaties’ stellen, in zowel onderwijs, als examens.
Een testpsycholoog zou opmerken dat het werken met generieke situaties ervoor zorgt dat examens wiskunde niet cultuur-vrij zijn. Dat cultuur-aspect speelt in de testpsychologie een grote rol, vandaar ook mijn verbazing dat wiskundigen er zo makkelijk aan voorbijgaan.
In de intelligentie-testerij is geprobeerd om ‘cultuurvrije intelligentietests’ te ontwerpen. Een bekende ‘cultuurvrije’ intelligentietest is de ‘Raven Matrices’. en.wikipedia.org/wiki/Raven%27s… In ons land is hij altijd gebruikt bij de keuring voor militaire dienstplicht.
Over de jaren heen bleken de scores op deze ‘cultuurvrije’ test te stijgen. Jaap Dronkers correspondeerde erover met James Flynn. Flynn ging er verder onderzoek naar doen: het effect van toenemende scores op intelligentietests deed zich algemeen en internationaal voor:
het ‘Flynn-effect’. (Anderen gingen het zo noemen, James was er geloof ik niet blij mee). Het effect is echt enorm, over een eeuw heen zo’n twee standaarddeviaties ( = ca 30 IQ-punten).
Het springende punt is: deze ‘cultuurvrije’ test is dus allesbehalve cultuurvrij.
En terugkoppelend naar de situaties/contexten waar leraren wiskunde zo verzot op zijn (maar ik mag niet generaliseren, natuurlijk): ook die zijn allesbehalve cultuurvrij. Dat betekent dat examens wiskunde getroebleerd zijn met intelligentietest-achtige opgaven. Weg validiteit!
Over het Flynn-effect heeft wikipedia ook een uitgebreid lemma: en.wikipedia.org/wiki/Flynn_eff…
James Flynn heeft er veel over gepubliceerd, ook in wat beter toegankelijke boeken zoals ‘Are We Getting Smarter? Rising IQ in the Twenty-First Century.’
TEDx-talk:
Why our IQ levels are higher than our grandparents’It’s called the “Flynn effect” — the fact that each generation scores higher on an IQ test than the generation before it. Are we actually getting smarter, or just thinking differently? In this fast-p…https://www.ted.com/talks/james_flynn_why_our_iq_levels_are_higher_than_our_grandparents
Met het bovenstaande / deze draad denk ik al doende een bewijs te hebben geleverd voor de ontoelaatbaarheid van ‘generieke situaties’ in examens wiskunde. Hetzelfde hoeft niet te gelden voor gebruik in onderwijs, daar kunnen ze best motiverend of illustratief worden ingezet.
Wetsvoorstel contextopgaven rekenen en wiskunde. Motivatie: gebruik van contextopgaven in toetsen en examens afremmen. Artikel 1. Alleen díe contextopgaven zijn toegestaan die door een computerprogramma goed oplosbaar blijken. [noodzakelijke voorwaarde]
Aan welke technieken is dan te denken? Zoek het in de sfeer van ‘intelligent tutoring’. Bijvoorbeeld:
M. W. Lewis, Robert Milson, John R. Anderson (1987) ‘The Teacher’s apprentice: Designing an intelligent authoring system for high school mathematics’ act-r.psy.cmu.edu/?post_type=pub…
Ik stel dit wetsontwerp ook voor om daarmee toetsontwerpers te dwingen exact in kaart te brengen welke ‘stappen’ nodig zijn om een bepaalde contextopgave tot een goede oplossing te brengen. ‘Stappen’ is metaforisch hè! Hersenen moeten het oplossen doen [check via fMRI mogelijk]
Wanneer situaties van alles en nog wat kunnen zijn, is doeltreffende voorbereiding op examens met contextopgaven niet mogelijk. Ik schreef dat een beetje terloops op, maar dit is dus een ernstige zaak. Het is kwaliteitseis #1 voor examens: A.D. de Groot http://benwilbrink.nl/publicaties/70degroot.htm
Er zijn tal van beroepen waarin pittig moet worden gerekend, en dat is dus rekenen in situaties die helder zijn afgebakend. Verpleegkundig rekenen is een voorbeeld. In het onderwijs zelf doet natuurkunde een sterk beroep op wiskunde: ook een afgebakende verzameling situaties.
Het is al met al zo ernstig omdat die generieke situaties de validiteit van de examens wiskunde aantasten. In gewoon Nederlands: zo’n examen toetst niet alleen wiskunde, maar ook de afkomst en intelligentie. Vergelijk het medebeoordelen op taalverzorging: http://benwilbrink.nl/EXAMENSCOMPLEET_sept_2010.pdf
“Psychometrisch gezien valt te verwachten dat meebeoordelen van een tweede domein zoals taalverzorging leidt tot een lagere validiteit van het examenonderdeel, tot meer ruis – onsystematische variantie – in de scores en tot het ontstaan van bias.” Generieke situaties vormen zo’n tweede domein.
“… het is evident dat een maatregel die de psychometrische kwaliteit van examens eigenlijk alleen maar kan verlagen, hooguit genomen mag worden wanneer het echt niet anders kan.” En het kan anders: beperk situaties tot een afgebakende set, in het onderwijs behandeld/geoefend.
“Cohen (1981 http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981) heeft gedetailleerd de eisen beschreven die in juridische zin voor examens gelden. Zo mogen kandidaten verwachten dat een eindexamen natuurkunde gaat over natuurkunde, niet tevens over Nederlands.” Rekentoetsen gaan niet over fietswinkels.
Stelling van @P_A_Kirschner en mij, op een KNAW-bijeenkomst over rekentoetsen: “Rekentoetsen met ‘situaties uit het dagelijks leven’ testen het vermogen om te leren: opgedane rekenvaardigheid zo aanpassen dat de contextopgaven zijn te maken.” http://benwilbrink.nl/publicaties/14wilbrink_kirschner_rekentoetsen.htm
Dit is een nieuw argument waarom er met generieke situaties in examens wiskunde iets anders wordt getest dan wiskunde. In dit geval gaat het over de rekentoets, in de jaren ’10 onderdeel van de eindexamens in vo en mbo. (rekenen is onderdeel van wiskunde, uiteraard).
“Omdat kandidaten zelfstandig werken is het leren hier (zelf)ontdekkend leren. Is het vermogen tot dit soort leren een legitiem (reken-)onderwijsdoel? Wij menen van niet. Is een test hiervan dan een legitiem eindexamenonderdeel? Ons inziens zijn dit vragen die dringend antwoord behoeven.”
Bij deze rekentoetsen is het examineren met contextopgaven dramatisch mislukt, terwijl betrokken instituties—Cito, CvTE, SLO, Inspectie, FIsme—erbij stonden en ernaar keken. Dramatisch: kosten een half miljard, en een politiek fiasco omdat er helemaal mee moest worden gestopt.
Heel Nederland heeft kunnen zien hoe deze rekentoetsen ook ‘intelligentietests’ zijn: omdat havo en vwo dezelfde toetsen moesten maken (3F-toetsen) was het evident dat het havo niet in staat was leerlingen daar doeltreffend op voor te breiden: scoren bleven veel lager dan vwo.
Hierboven heb ik hopelijk duidelijk kunnen maken waarom dat gat tussen havo en vwo niet door goed onderwijs viel te dichten. Kijk, wanneer de landelijke expertisecentra niet in staat blijken om dit enorme probleem überhaupt maar te zien, dan blijft het sukkelen met onze examens.
In een posterpresentatie hebben Paul en ik een en ander nog eens samengevat. Zie hier ‘Met die contexten toetsen wij geen rekenen maar vermogen tot (zelf)ontdekkend leren’ http://benwilbrink.nl/14Wilbrink_Kirschner_poster.pdf Aan het slot van de poster komt de fietsenwinkel als voorbeeldopgave terug. Try it!
Zie ook mijn werkdocument ‘Intellectuele capaciteiten in contexten: rekenopgaven’ http://benwilbrink.nl/projecten/capaciteiten_in_contexten.htm
Voor een (ongeordende) bak literatuur op het thema ‘contextopgaven’ zie http://www.benwilbrink.nl/projecten/contexten.htm
PM (nog uitwerken) Voorbeelden van de waanzin in rekentoets: Jan van de Craats maakte een toets (zijn website). Kwaliteitseisen Cotán geformuleerd in de Amerikaanse Standards. Nu nog die Standards ook toepassen! Wat meten die contextopgaven? Wie het weet mag het zeggen.
De info in deze draad komt in twitterstijl: kort en net te bondig. Veel punten hebben extra toelichting nodig. Vaak heb ik die gegeven in de vorm van verwijzing naar bronnen, maar dus niet overal. Ik ga dat ook niet doen, ik moet het overzichtelijk houden.
Toch wil ik diverse aanvullingen geven. Zo geeft de Proeve van een leerplan voor het basisonderwijs rekenen 1967 op de eerste bladzijde een uitvoerige rekenideologie gebaseerd op het idee dat rekenen gaat om rekenen in situaties. Contexten dus. Ik maak nog een transcriptie.
En dat doet me vermoeden dat die nadruk op situaties historische wortels heeft: rekenonderwijs was eindonderwijs, leerlingen moesten kunnen rekenen bij hun timmer of naaiwerk. Daniël van Pelt zorgde ervoor dat lln. van school gingen met een schrift met praktische rekenvoorbeelden
Daniël van Pelt (1903/1912 4e). Overzicht der methode gevolgd in ‘De nieuwe rekencursus’. Tiel: D. Mijs. Scan van inleiding: http://www.benwilbrink.nl/VanPelt_1912_tm14.pdf uitvoerige annotatie in http://www.benwilbrink.bl/projecten/hist_rekendidactiek.htm#Pelt_1903
Ik verwees al naar Willem Bartjens, vrijwel volledig op marktsituaties gericht.
Is het een idee om dat toepassen van rekenen en wiskunde in situaties/contexten in het onderwijs te behandelen als wat elders wel in de vorm van practicumopgaven gebeurt. Het toepassen wordt geoefend in practica die GEDAAN worden, niet GETOETST. (A.D. de Groot: het H-onderdeel)
In 1972 (Selectie) De Groot emphasizes that practicals (called ‘H-onderdelen’) need not be completed by having students take a summative test also. That is an interesting position taken: students need not always be tested, lab work may be assessed on the fly, subjectively.
[Deze blog is tot hier gelijk aan twitterdraad https://twitter.com/benwilbrink/status/1587462183209803776 3 november 2022]
[Hierbeneden is deels gelijk aan twitterdraad https://twitter.com/benwilbrink/status/1588256819461267458%5D
Is het gek dat ik vermoed dat al die contexten in ons reken- en wiskundeonderwijs, en vooral in toetsen en examens, een verdienmodel zijn voor voorstanders van realistisch rekenen en vooral voor toetsenbakkers zoals het Cito? Hun raison d’être?
Daar zijn wel sterke aanwijzingen voor, zoals het ongelooflijke gedoe rond geheimhouding van de vragen voor de rekentoets in de eindexamens van de jaren ’10. Die contextopgaven zijn kostbaar om te ontwerpen. Maar het gaat wel om rekenen hè! Iedere wiskundeleraar schudt toetsen zo uit de mouw. Zonder contexten.
Wie denkt dat toetsen en examens vooral moeilijke vragen moeten bevatten, wat niet zo is, dan maakt het zichzelf ook moeilijker. Door Cito ontworpen examens zijn niet vanzelfsprekend het criterium. Eerste hobbel: wat is een goede wiskundevraag (zonder context).
Ik kreeg hierop als reactie dat examenopgaven voor vwo wiskunde B elegant in elkaar steken. Dat ontwerp kost tijd en vraagt creativiteit van de makers.
Ik ga verder. Geldt dat ook voor examenopgaven van, zeg, 60 jaar geleden? Oude examens zijn verzameld uitgegeven, of ook besproken in Euclides. Waar ik geen gegevens over heb: wie financierde het ontwerp van die examens wiskunde (OK&W?), hoeveel tijd vergde dat, wie deden dat?
“Voor het schriftelijk stuurde je als leraar examenopgaven in. Ik weet nog dat ik het een onderscheiding vond toen ik voor het eerst ervoor gevraagd werd. Het was leuk werk, je deed het zo goed mogelijk en borg de opgaven op in een map. Als het examen kwam, keek je dan of er één van jou bij was. Nou, en dan was je natuurlijk trots als dat het geval was. Je kreeg voor dat werk geen vergoeding. Later werd ik nauwer betrokken bij het samenstellen van de examens. Zo omstreeks 1955 vroeg Wim Burgers me of ik lid wilde worden van de commissie die de eindexamens wiskunde voor het gymnasium opstelde. Er was een vacature in zijn commissie. We deden het werk met zijn drieën: Wim, Piet Steenbergen en ik [Piet Vredenduin]. Eerlijk gezegd was ik apetrots dat ik mee mocht doen. Het ging toen nog erg gemoedelijk. Er was toen nog geen CEVO [tegenwoordig het CvTE], er waren ook geen typische wiskunde-inspecteurs. Inspecteur Van Dam, tegenwoordig erelid van de NVvW, hield een oogje in het zeil, en dat was alles. Elke keer dacht ik dat we een mooi examen gemaakt hadden. En elke keer viel het tegen. Het was vaak makkelijker dan we dachten, en toen plots, in 1958, veel te moeilijk. Dat heeft me weer wat bescheidenheid geleerd. Tegenwoordig wordt er meer zorg aan de examens besteed en daardoor is de kwaliteit toch betrouwbaarder.”
Het citaat komt uit ‘Ik was wiskundeleraar’, een bundel gesprekken van Fred Goffree met wiskundeleraren die ook overigens bekendheid hebben gekregen. Hier gaat het om het gesprek met Piet Vredenduin, auteur van de wiskundeboeken die ik in mijn gymnasiumtijd kreeg door te werken.
Zo’n examen kan echt heel goedkoop goed worden ontworpen, blijkt uit deze korte opmerkingen van een voormalig ontwerper; dan houden we een hoop geld over voor onderwijs zelf.
Een opmerking bij ‘daardoor is de kwaliteit toch betrouwbaarder’: dat is dus dat gedoe met N-termen. Maar wat kopen we ervoor? Dat het ‘betrouwbaarder’ wordt geldt vooral voor de gemiddelden. Individuele leerlingen hebben er weinig aan, voor die leerlingen ziet het examen eruit als een willekeurige steekproef uit denkbare examenvragen. Of een examen gemiddeld wat moeilijker is, betekent niet dat de leerling een ‘moeilijker’ examen doet. (Denk er even over na. Een rivier is gemiddeld 1 meter diep, maar hoe diep is hij op de plek waar ik wil oversteken?)
Nog een quote uit het gesprek van Goffree met Vredenduin: (blz. 160):
“Uit ervaring weet ik dat al die mensen die examenopgaven maken, een zekere vorm van ijdelheid hebben, en dan ook iets aardigs en iets nieuws willen bedenken.Dat zijn problemen waarmee je niet alleen het intellect [sic] van de leerling toetst, maar ook het intellect van de samensteller toont. En dat is alleen maar mogelijk doordat de opgave een nieuw bestanddeel bevat, iets dat nooit eerder gevraagd is. Als het dan erg aardig is, heb je kans dat het in de schoolboeken komt en dan behoort het ineens tot de gangbare leerstof. Zo wordt deze gaandeweg meer omvangrijk.”
Vredenduin zag direct na de oorlog dat het goed mogelijk was leerlingen op het examen voor te bereiden en daarbij veel leerstof over te slaan. (Leerlingen hadden langere tijd geen onderwijs kunnen volgen, en mohten daardoor niet al te zeer worden benadeeld, er was dus een bijzondere regeling om leerlingen hun overgang of eindexamen te bezorgen).
“Conclusie: een heleboel kan je best missen.”
Terugkomend op die creativiteit: daar zet ik vraagtekens bij. Het is een klassiek argument in van toetsontwerpers dat het ontwerpen van examenvragenvragen een kunst is, dat het creativiteit vergt. Mijn positie (ook Aula 809 ‘Toetsvragen schrijven’): het ontwerpen van examenvragen vraagt techniek, juist géén creativiteit.
Dat heeft er ook mee te maken dat toetsen en examens doeltreffend moeten zijn voor te bereiden door de leerlingen. Creativiteit van ontwerpers is daar juist een bedreiging voor.
Examenvragen moeten ‘nieuw’ zijn, als het even kan. Maar hóe nieuw precies? Niet totaal nieuw.
Wiskundeopgaven met meerdere stappen voor een oplossing kunnen bij iedere stap verkeerd lopen. Lijkt me onhandig om leerlingen daar grondig op te laten oefenen. Maar als die gelegenheid niet hebben gehad, dan zijn ze niet doeltreffend op het examen voorbereid. Wat toetst zo’n examen dan?
Het is te modelleren, zo’n examen met complexe opgaven met ieder 6 stappen. Ik heb er eens een vingeroefening op gedaan, voor een seminar van het COWOG: ‘Inzicht doorzichtig toetsen’ http://benwilbrink.nl/publicaties/98InzichtToetsenCOWOG.htm
Het inzicht bestaat eruit dat je die bijzondere combinatie van 6 stappen op de een of andere manier moet ‘zien’, of op zijn minst de mogelijkheid. Dat kan alleen maar wanneer de relevante wiskundige kennis zo verdomd goed onderling verbonden is dat het werkgeheugen er heel grote delen van tegelijk kan bereiken. Vergt koelbloedigheid, zeg maar.
Theoretisch: ‘spreading activation’. (meteen aan het begin genoemd, ik had dat bij mijn paper-presentatie nog niet paraat).
Dit mag je ook best opvatten als een operationalisatie van ‘wiskundig inzicht’. Dat is niet iets geheimzinnigs, maar het is te specificeren, te onderzoeken, te testen. Theorieën over cognitieve architectuur maken dat op spectaculaire wijze mogelijk. Bekende theorieën zijn Allen Newell a.o. SOAR, en John Anderson a.o. ACT-R.
Fair schooling & assessment 
Pingback: Waarom context-opgaven rekenen of wiskunde niet in examens horen – Nonpartisan Education Group