Taal die onderscheid aanbrengt tussen leerlingen; ‘presteren’

Een goed gesprek tussen Dirk van Damme en Maarten Vansteenkiste .  https://www.klasse.be/253297/kan-leerling-pas-presteren-op-school-als-hij-zich-goed-voelt/ Toch lees ik er onderliggende traditionele opvattingen in, overgehouden uit vele eeuwen van rangordenen en alleen toppers echt belonen.  Nadruk op presteren, niet op beheersen.  Nadruk op wie presteren, maar de anderen dan? Didactiek nog steeds rangordenend?

‘Presteren’, daar zit iets van rangorde in. Toch? Het is geen Nederlands woord (niet in Verdam). Van Wijk – Van Haeringen Etymologisch woordenboek: “Presteeren: Uit lat. praestare ‘leveren, presteeren’. 

Pinkster  Latijn/Nederlands: Se praestare  o.a. zich betonen, zich bewijzen.

Maar: 

Praestat amicitia propinquitati. Vriendschap gaat voor verwantschap. Cicero. (Oldekalter: Ad Fundum). 

Van Dale is uitvoeriger: prestatie, presteren, prestatiegericht, prestige (Fr). Een prestatie leveren is niet zomaar iets, er zit ook een zekere waardering in:

“dat is een prestatie! een knap stuk werk.” “prestatiedrang: innerlijke drang om iets groots te presteren.” De Van Dale laat vooral impliciet dat presteren niet gelijk is aan gewoon iets gedaan of bereikt hebben, maar dat er sprake is van iets opmerkelijks, ‘prijzenswaardigs’.  

Niet noodzakelijk in vergelijking met anderen, het kan ook vergelijking met jezelf zijn. 

Van Dale Etymologisch woordenboek, bij het lemma ‘prestant’ (hoofdregister in front van orgel): praestare: vooraan staan, uitmunten. prae [voor] + stare [staan].

Nog steeds Van Dale Etymologie. Prestige (Fr) (zedelijk overwicht) komt niet van praestare, maar van praestringere: van voren vastbinden, verblinden (van de ogen), in glans overtreffen. Alsjeblieft.  

Welke woorden we in het onderwijs gebruiken is natuurlijk niet neutraal.  

Koppel hedendaags woordgebruik eens aan een geschiedenis van het beoordelen in onderwijs.  http://benwilbrink.nl/publicaties/97AssessmentStEE.htm (Voor de fans van Yuval Harari: in ‘Homo Deus’ verwijst hij naar dit artikel: note 6 in chapter 4)). 

Mijn intuïtie is dat presteren in het onderwijs tot de 19e eeuw de connotatie heeft: hoog in de rangorde staan. Immers, tot vrijwel het einde van de 19e eeuw was rangordenen de algemeen gebruikte methode van waarderen van het werk van leerlingen, vaak ook meer dan alleen het werk: ijver en gedrag. Het laatste gymnasium dat rangordenen verving door cijfergeven is het gymnasium van Groningen, in 1903, het jaar waarin zijn zeer oude rector de geest gaf. Afijn, een studie in oude kranten en publicaties in Delpher zou daar iets van kunnen laten zien, van die connotatie dus. En natuurlijk herdenkingsboeken van scholen, biografieën (ego-literatuur).

Is het CvTE valide? Inspectie zegt ‘ja’

Is het CvTE valide? Inspectie zegt ‘ja’

Een draadje over hoe de Inspectie Onderwijs het CvTE de hand boven het hoofd houdt. 

De Inspectie houdt toezicht op het CvTE, in driejaarlijkse onderzoeken.  Het laatste onderzoek is van september 2020, gerapporteerd op 20 januari 2021 https://twitter.com/onderwijsinsp/status/1351810812332138500 

Ik vind het altijd weer spannend, want hoe gaan betrokkenen om met het evidente probleem dat het CvTE geen testpschologische expertise in huis heeft, en de Inspectie kennelijk evenmin?  Want dat is de ‘core business’ van het CvTE, toch?  Hoewel ik moet toegeven dat de logisiek van het organiseren van al die examens best een enorme uitdaging is, alle respect daarvoor, maar het is niet voldoende voor borging van de kwaliteit van examens. 

Uit het Inspectie-rapport: “In de vierde plaats kan het CvTE de deugdelijkheid van de validiteit, de betrouwbaarheid en van de normering van de centrale examens op een overtuigende manier aantonen.” 

Werkelijk? Het fiasco van de #rekentoets valt in deze periode. Geen woord erover.  #parlementair_onderzoek 

Het CvE, later het CvTE, is van begin af aan mede verantwoordelijk voor de #rekentoets.  Wegens gebrek aan validiteit compleet geflopt (na een investering van een half miljard), na vele vroegtijdige waarschuwingen ook.  Dat vraagt toch om een verklaring? Niet dan?

De Inspectie knijpt een oogje dicht.  Kan, wat de Inspectie dan wél heeft opgeschreven, de toets van serieuze kritiek kan doorstaan?  Het CvTE heeft in de #rekentoetsaffaire laten zien een krom idee van validiteit te hebben: procedures correct uitvoeren! https://www.cvte.nl/documenten/magazines/2012/11/01/rekentoetsen-vo-wel-degelijk-valide

Net als in de toeslagenaffaire zien we bij de #rekentoetsaffaire een keten van instituties die falen.  Het CvTE heeft het zelfs gepresteerd een WOB-verzoek om openbaar maken van de vragen in de #rekentoets (onderdeel van de eindexamens!) te blokkeren met beroep op landsbelang.

Wat is validiteit dan wel, Ben? Zie daarvoor de leidende publicatie: de Standards. 

Of, voor NL, de bewerking in de Cotan Richtlijnen 1988, hfdst 8 Toetsen. http://ben-wilbrink.nl/Richtlijnen_Toetsgebruik_in_het_onderwijs.pdf… Ik mocht eraan meewerken, evenals Wynand Wijnen. Ik zal mijn dossier daarover toch maar bewaren. 

PM. In twee blogs, die in de evaluatieperiode van de Inspectie vallen, heb ik nog eens uitgemeten wat het tekort aan testkennis bij het CvTE zoal inhoudt https://benwilbrink.wordpress.com/2017/09/20/examenonrecht-en-effet/ en https://benwilbrink.wordpress.com/2017/11/20/arresteren-van-bij-het-cvte-kiezen-deel-1-feiten/

Alle geslaagden zijn geschikt 1. Constanten in het debat

[1e versie]

Een halve eeuw debat over toelating bij studentenstops levert een paar toch wel erg simpele constanten op.  Aan het begin van mijn reconstructie van die halve eeuw, kan ik de meest opvallende wel vast uittekenen, daar heb ik de aansporing van Leppink en Veltman (Alle geslaagden zijn geschikt 0. https://benwilbrink.wordpress.com/2020/12/) niet voor nodig.

Nr. 1: de onderbuik.  Pais (net aangetreden): het domme lot, dobbelen. Vincent Icke: loten?—Malloten bedoel je.  Kok & Ritzen: druk op Cie-Drenth, weg met dat loten.  

Nr. 2: negeren van de politieke beslissing om het aantal plaatsen te beperken.  Bijvoorbeeld: Uit de numerus fixus volgt, hoe we het ook wenden of keren, dat er niet meer kandidaten dan die NF in de prijzen vallen.  We hebben geen selectieprobleem, maar een verdelingsprobleem. 

Nr. 3: Iedereen acht zich deskundig als het over onderwijs gaat (en al helemaal de professoren).  Wat te vaak ontbreekt is het besef dat specifieke expertise (ethiek, recht, research, andere landen) mogelijk echt ander licht werpt op deze kwesties. https://sites.oxy.edu/shtulman/

Nr. 4: Kokervisie.  In extreme mate is dat te zien bij argumenten dat eindexamencijfers samenhang tonen met succes in de studie, natuurlijk moeten we daar dan gebruik van maken. (70er jaren Werkgroep Wiegersma) (20er jaren:  proefschriften)

Nr. 5: Stroman-betoog.  Veel kokervisies  (oa Wg-Wiegersma) gaan er ten onrechte van uit dat voorstanders van loten zouden ontkennen dat eindexamencijfers enige samenhang tonen met studiesucces. Empirisch bewijs van die samenhang wordt zo geframed als bewijs van loten als onzin.

Nr. 6: Voorstellen om de rol van loten te verminderen gaan er typisch aan voorbij dat ook alternatieven (eindexamencijfers, toelatingstoetsen) voor loten een sterke toevalsfactor in zich bergen.  Edgeworth, mathematisch statisticus, legde het uit, in 1888: http://www.benwilbrink.nl/projecten/loten_nf.htm#Edgeworth

Nr. 7: Voorstellen om loten te verminderen gaan zelden in op de directe kosten voor instellingen en kandidaten, en op de gevolgen op lange termijn voor de samenleving.  Dat geldt ook voor de instelling van de numerus fixus zelf, natuurlijk. 

De verleiding is groot om ieder van deze constanten iets verder toe te lichten, maar laat ik dat nu juist niet doen. Ik zal er best nog wel een paar constanten bij kunnen plaatsen, zoals het aanvoeren van selectie voor topuniversiteiten in de VS als argument dat zoiets hier dan toch ook moet kunnen. Het niet op de hoogte zijn van de voorgeschiedenis van de numerus fixus. Het negeren van de belangen van andere betrokken partijen dan de betreffende opleiding (een publiek bekostigde opleiding is geen schoensmeerfabriek, waarmee ik niets ten nadele van fabrieken of van schoensmeer wil suggereren). Het negeren van de verworvenheden van de selectiepsychologie (tot die verworvenheden hoort overigens ook het inzicht dat selectie niet altijd de beste oplossing is, en dat sommige selectieproblemen in feite plaatsingsproblemen zijn). Dat laatste raakt aan een andere constante: het ontbreken van een behoorlijke probleemanalyse voorafgaand aan de aangedragen ‘oplossing’.

Eerstvolgende blog zal een dossier zijn: het rapport dat de Werkgroep selectie (Werkgroep-Wiegersma) in 1978 uitbracht, op verzoek van onderwijsminister Pais (kabinet Van Agt-Wiegel) die graag een alternatief voor die vermaledijde gewogen loting wilde hebben), en de stortvloed aan reacties op dat rapport. Dat dossier laat zich met rode oortjes lezen, omdat het krek dezelfde problemen betreft als die waar een latere onderwijsminister, Jet Bussemaker, de universiteiten en hogescholen, en de samenleving, mee opzadelde.

‘Alle geslaagden zijn geschikt — maar sommige geslaagden zijn meer geschikt dan andere’

Een knipsel uit 1974 in mijn archief. Het is een kritiek op het idee dat loten voor de numerus fixus van geneeskundige studies misschien verstandiger en rechtvaardiger is dan selecteren op examencijfers.  Ik ben zelf de persoon die hier belachelijk wordt gemaakt door twee wiskundige hoogleraren. Het artikel heeft mij zeer beschadigd.  Publicatie was in het Cultureel Supplement, NRC Handelsblad, 11-10-1974, onder redactie van K. L. Poll https://nl.wikipedia.org/wiki/K.L._Poll Deze oude jaargangen van de NRC zijn online beschikbaar in Delpher.nl https://www.delpher.nl/nl/kranten/results?query=wilbrink+selectie&page=1&cql%5B%5D=ppn+any+(400367629)&coll=ddd   In deze blog stel ik een nette versie van de tekst van dat Leppink en Veldkamp artikell beschikbaar.  Ik zal er in een volgende blog op reageren door stuk voor stuk de uitspraken van Leppink en Veldkamp te bespreken.  Het is een sport om de onjuistheden eruit te vissen, als u zich uitgedaagd voelt, reageer dan hierbeneden. En het is nog steeds van belang: de huidige decentrale selectie is een zootje, zoek uit waarom dat zo is!

Weet dat de koptekst en de titel van de hand van K. L. Poll zijn, en dat ik het artikel van prof. Bakker hierbuiten laat. Dat laatste om de eenvoudige reden dat mijn artikel dat de gram van Leppink en Veldkamp opwekte nu juist een reactie was op een artikel van Bakker enkele maanden daarvoor.  O ja, ik heb destijds geen dupliek ingediend, omdat mijn collega’s mij dat ten zeerste afraadden, en ik daarin meeging.  Heb daar altijd spijt van gehad, hoewel ik uiteraard Leppink en Veldkamp destijds wel persoonljk benaderd heb.  

Zoals K.L. Poll ook schrijft, lag er in september 1974 een wetsvoorstel van staatssecretaris Ger Klein (PvdA) bij de Tweede Kamer, een voorstel van integrale loting bij de numerus fixus. Dat leverde in 1975 een boeiend spektakel op met een Tweede Kamer die scherp verdeeld was tussen integraal loten en selecteren op examencijfers, maar zich uiteindelijk unaniem schaarde achter het compromis van het amendement-Vermaat: gewogen loting. ‘Disclosure’: in de Kamer werd het voorstel-Klein verdedigd door PvdA-woordvoerder Kees Kolthoff, vóór zijn kamerlidmaatschap mijn hoofd van het Centrum voor Onderzoek van het Wetenschappelijk Onderwijs van de Universiteit van Amsterdam.

Die gewogen loting, een unicum in de wereld, hield nipt meer dan veertig jaar stand, om plotsklaps vervangen te worden door ‘decentrale selectie’ met een verbod op iedere vorm van loting. Dat verbod is juist twee weken terug door het Kabinet opgeheven, via motie van Paternotte en Van der Molen https://www.tweedekamer.nl/kamerstukken/detail?id=2020Z02571&did=2020D05383

Er moet een boek komen over dit unicum, en wie is beter gepositioneerd dan Ben Wilbrink om dat te schrijven? Ik ga een goede poging doen, geschatte benodigde tijd: twee jaar. Het onderstaande artikel van Leppink en Veldkamp gebruik ik als bron van inspiratie, want het gaat vooral over de spanning tussen opvattingen van 17 miljoen onderwijsexperts, en wat er op basis van kennis en wetenschap over is te melden. Ik zal een serie blogs schrijven, onder de vlag ‘Alle geslaagden zijn geschikt’, beschouw deze blog als het nul-nummer. Voor een beetje een idee waar het over zal gaan, zie mijn voor de Commissie Drenth opgestelde overzicht http://benwilbrink.nl/publicaties/97OpsommingDrenth.htm

NRC CS 1974

De problematiek van selectie voor het wetenschappelijk onderwijs, actueel geworden door de numerus fixus voor een aanzienlijk aantal studierichtingen, is zonder twijfel uitermate ingewikkeld en moeilijk. Men kan trachten te selecteren op eindexamencijfers. Men kan ook zeggen: na 12 jaar onderwijs is er genoeg geselecteerd, nu loten we maar. De afgelopen paar jaren is een gemengd systeem gehanteerd: wie gemiddeld een 7,5 of meer had voor zijn eindexamencijfers werd zonder meer toegelaten, wie dit niet had moest loten. Thans ligt er evenwel een voorstel van staatssecretaris Klein om over te gaan op loting voor alle gegadigden. Voor de zomervakantie heeft prof. K. Bakker uit Leiden in het CS tegen dit voorstel bezwaar gemaakt. In het CS van 27 september j.l. [ http://benwilbrink.nl/publicaties/74SelectieIrrationeelNRC.htm ] verdedigt de heer B. Wilbrink van het Centrum voor Onderzoek van het Wetenschappelijk Onderwijs van de Universiteit van Amsterdam de loting. Van de reacties die wij op dit laatste artikel hebben gekregen, publiceren wij er vandaag twee, namelijk van prof. K. Bakker uit Leiden en van prof. G. J. Leppink en prof. F. D. Veldkamp uit Utrecht.  

Alle geslaagden zijn geschikt maar sommige geslaagden zijn meer geschikt dan andere

door G. J. Leppink, hoogleraar mathematische statistiek Utrecht, en F. D. Veldkamp, hoogleraar zuivere wiskunde Utrecht.

Het is niet ondenkbaar dat het artikel van de heer Wilbrink veel indruk heeft gemaakt. Deze laat immers met wiskundig statistische methoden en met grafieken zien dat de discussie over de relatie tussen eindexamencijfers en studieresultaten irrelevant is! Velen zullen geneigd zijn te denken dat hiermee het bewijs van het gelijk van Wilbrink is geleverd. Zij hebben een heilig ontzag voor wiskunde en voor statistiek en laten al snel de moed zakken om zelfs maar te trachten kritiek uit te oefenen. De deskundige heeft het immers wiskundig streng bewezen!

Laten wij eens nagaan hoe een dergelijke berekening tot stand komt. Zoals al gezegd, is het probleem: selecteren op eindexamencijfers of loten, buitengewoon gecompliceerd. Met de huidige kennis van zaken kan een wiskundige oplossing alleen worden verkregen door de complexe en onoverzichtelijke realiteit te vervangen door een sterk vereenvoudigd model. Eenvoudig is Wilbrinks model zeker. In de eerste plaats maakt hij alleen onderscheid tussen (poténtieel) *) ‘geschikte’ resp. ‘ongeschikte’ studenten; dat zijn studenten die bij toelating de studie wel resp. niet tot een goed einde brengen, wanneer er geen beperking in het aantal plaatsen zou zijn.

Ten tweede veronderstelt hij dat de capaciteit van de studierichting 50% is (door b.v. ruimtegebrek kan slechts 50% van de aangekomenen, zelfs als ze allen geschikt zijn, de studie afmaken). Tenslotte speelt in de berekening een door de z.g. Commissie Wiegersma genoemd getal een belangrijke rol: volgens deze commissie is 80% van de potentiële kandidaten ‘geschikt’ en dus 20% ‘ongeschikt’. 

Verschil tussen studierichtingen

Sommige veronderstellingen worden door Wilbrink nader bekeken. Zo stelt hij dat het in principe wel mogelijk is om verschillen in geschiktheid te onderscheiden. Na een voor ons onbegrijpelijke redenering komt hij dan toch tot de conclusie dat fijnere onderverdeling niet verantwoord is. Dit kan in het algemeen nog wel waar zijn ook, als wordt gedacht aan een soort ‘gemiddelde’, niet nader gespecificeerde studie. Over welke studierichting heeft Wilbrink het eigenlijk? 

Bij nalezing van het rapport van de Commissie Wiegersma blijkt het getal van 80% „geschikten” te berusten op ervaringen van een aantal Engelse, Amerikaanse en Oosteuropese universiteiten (90% studiesucces) en op een rapport van de T.H. te Delft over een studiegeneratie die in 1949 aankwam.  Als nu wordt bedacht dat men juist in Engeland, Amerika en Oost-Europa sterk selecteert op grond van eindexamencijfers, de studenten zwaar onder druk zet om hard te werken en er nogal flexibele programma’s op na houdt zodat zowel briljante als zwakke studenten aan hun trekken kunnen komen, dan zijn die 90% succesvolle studenten best te begrijpen. Als men zich verder realiseert dat de ge-neratie 1949 uit Delft vooral uit de categorie ‘betere’ geslaagden afkomstig was (wie in die tijd een matig eindexamen deed ging dikwijls niet studeren, zeker niet in Delft; het rijk gaf alleen maar renteloze voorschotten aan degenen die ge-middeld minstens 7 hadden!), dan zal men moeten toegeven dat het Delftse rapport in de huidige situatie, waarin vrijwel iedereen na z’n eindexamen gaat studeren, weinig bruikbaar is. Die 80% van de commissie is dus een slag in de lucht. Veel ernstiger is echter dat het irrelevant is om een dergelijk getal voor alle studierichtingen te hanteren. 

Hiermee zijn we meteen tot de kern van de zaak doorgedrongen. Het is onmogelijk — om geen onvriendelijker woord te gebruiken — om voor alle studierichtingen een gelijkluidende uitspraak te doen over selecteren of loten.

In de studierichtingen van de faculteiten der wiskunde en natuurwetenschappen bestaat er een vrij sterke correlatie tussen eindexamencijfers en studieresultaten. Bakker heeft in deze krant hierop al gewezen voor de studierichtingen der chemie, biologie en farmacie. Gegevens die in een lange reeks van jaren aan het Mathematisch Instituut te Utrecht zijn verzameld, laten hetzelfde beeld zien. Dit impliceert uiteraard niet eenzelfde correlatie bij andere studierichtingen. Niet alleen statistisch materiaal, maar vooral ook de persoonlijke ervaring van de betrokken docenten maken het in veel gevallen mogelijk uitspraken te doen over de kans op succes bij de studie. En die leren vooral ook dit: de geschikte studenten zijn wel degelijk te onderscheiden in categorieën van goed, redelijk, matig of ternauwernood geschikt Men make ons niet wijs dat de student die in 4 jaar zijn doctoraalexamen wiskunde cum laude haalt niet te onderscheiden valt van de zwakke broeder die er in 9 jaar met de hakken over de sloot komt. Best mogelijk dat de onderwijsdeskundigen daar in zijn algemeenheid geen kans toe zien. Dit bewijst dan alleen maar dat men dit soort problemen beter per studierichting kan benaderen, in nauwe samenwerking met de docenten van het betreffende vak. 

Het is duidelijk dat van de redelijkheid van het model van Wilbrink niets overblijft als wel differentiatie kan worden aangebracht in ‘geschiktheid’ en als er dan bovendien een correlatie bestaat tussen eindexamencijfers en studieresultaten (zoals b.v. in de biologie). 

In het model dient aandacht te worden geschonken aan de kwaliteit van de afgestudeerden. De as. promovendi bij-voorbeeld, een kleine maar voor de verdere ontwikkeling en toepassing van de wetenschap belangrijke groep, zijn als regel afkomstig uit de groep van de betere studenten. Verder moet de studieduur in het model worden opgenomen; zwakke studenten belasten bij veel studierichtingen het onderwijssysteem langer en zwaarder dan goede studenten. Wij komen dus tot de conclusie dat de titel van Wilbrink’s artikel ‘Selectie voor numerus fixus is irrationeel’ in zijn algerneenheid onjuist is. Het is jammer dat in het artikel wiskundige en niet-wiskundige argumenten dooreen zijn gevlochten. De niet wiskundig geschoolde lezer weet dan niet meer wat hij moet geloven en wat niet. Wij hopen dat dit nu wel het geval is. 

Over de verdere inhoud van het artikel willen wij kort zijn. Wij begrijpen niet waarom Wilbrink weinig vertrouwen heeft in de representativiteit van de propedeuse. Dacht hij daarbij (weer) aan de door ons al eerder genoemde ‘algemene’ studie? Wij menen dat in sommige studierichtingen (in de faculteit van de wiskunde en natuurweten-schappen bijvoorbeeld) een propedeuse zeer wel representatiéf kán zijn. Wat bedoelt Wilbrink met de zin — of moeten wij zeggen onzin — ‘wanneer maar over genoeg personen gegevens verzameld kunnen worden, kan altijd een verband aangetoond worden, al zou het tussen de lengte van het haar en het aantal jaren van de studie zijn’? 

Deze uitspraak getuigt van weinig inzicht in de statistiek. Wilbrink zal toch wel weten dat alleen beunhazen in de statistiek tot dergelijke merkwaardige conclusies kunnen komen? En dan de kreet: Wat is een 7,5? Tegenvraag: wat betekent onderwijskundig gezien de grens tussen geslaagd en gezakt bij eindexamen? Toch is deze grens beslissend in het lever& van veel mensen! 

Zakelijke en emotionele argumenten worden in dit soort dis-cussies dikwifs sterk dooreen-gemengd. Begrijpelijk als dit is, ten dele zelfs niet te vermijden, men moet er toch zeer voorzichtig mee zijn. Ais men het uiteindelijk over de boeg van de rechtvaardigheid wiI gooien (en dat doet het loch goed in onze moderne opvattingen„ nietwaar?) dan zal men moeten kiezen voor een systeem dat, zoal niet alle dan toch in elk geval zoveel mogelijk mensen de kans geeft te studeren. Als men dan voor een bepaalde studierichting voorspellingen kan doen over de kans op studiesucces en de te verwachten studieduur, dan ligt het toch voor de hand voor die richtingen in elk geval die categorie personen toe te laten die waarscijnlijk snel en goed studeren.  Zij belasten het onderwijssysteem, dat bij gegeven financiële en andere middelen nu eenmaal aan beperkingen onderhevig is, het minst.  Daardoor blijft er dan ruimte over voor een maximum aantal studenten. Onze conclusie kan op grond hiervan niet anders zijn dan voor zulke studierichtingen de huidige 7,5-regeling met kracht te bepleiten. Mocht op grond van gegevens en ervaringen bij andere studierichtingen de voorkeur worden gegeven aan loten, het zij zo. Maar dit laatste mag geen argument zijn om dan maar overal tot loting over te gaan. 

——–

*) Commissie Voorbereiding Herprogrammering WetenschappeIijk Onderwijs. Derde werkstuk: de propedeuse. Academische Raad, juli 1974

============================.



http://benwilbrink.nl/publicaties/gif/fixus.jpg

Bijdrage aan advies dat de Onderwijsraad voorbereidt over differentiatie

Aan de Onderwijsraad differentiatie@onderwijsraad.nl

Bijdrage advies differentiatie.

Ben Wilbrink, 29 oktober 2020

Ik wil graag mijn bijdrage leveren, maar zit wel een beetje met de handen in het haar over de omvang van de vraagstelling.  Het wordt linksom of rechtsom een uitvoerig stuk, of moet ik zeggen een uitvoerige publicatielijst, die ik gelijktijdig als blog publiceer.  Afijn, ik begin maar eens.  

Over toegankelijkheid van het onderwijs heeft de Raad zich al eens eerder gebogen, aan de hand van een bundel bijdragen geredigeerd  door Marian van Dijck-Lovink, 1997. Die bundel is helaas niet online beschikbaar (waarom eigenlijk niet?), maar het samenvattende hoofdstuk dat ik zelf mocht schrijven wel. Het heet ‘terugblik’ omdat het een samenvatting van de 10 bijdragen in de bundel is, een samenvatting langs de lijn van eerlijke kansen op diverse beslismomenten in onderwijsloopbanen, met uitzondering van de toegang tot het hoger onderwijs: 

Ben Wilbrink (1997). Terugblik op toegankelijkheid: Meritocratie in perspectief. Gepubliceerd als hoofdstuk 11 in Van Dyck, M. (Red.) (1997). Toegankelijkheid van het Nederlandse onderwijs. Studies (p. 341-384). Den Haag: Onderwijsraad. ISBN 90 346 3436 1  http://benwilbrink.nl/publicaties/97MeritocratieORaad.htm

De conclusie was dat we wel kunnen denken dat we ons onderwijs eerlijk hebben georganiseerd, maar bij nadere beschouwing blijkt zelfs het omstreden ideaal van kansen waarbij afkomst geen rol speelt, meritocratie, nog lang niet gehaald: er ligt een waslijst aan verbeterpunten op tafel.  

Nu weet u natuurlijk ook wel dat het idee van een meritocratie zijn oorsprong vindt in de gelijknamige dystopie uit 1958 van Michael Young: een meritocratie op basis van als erfelijk veronderstelde verschillen in intelligentie die uiteindelijk resulteert in een kloof tussen een bovenliggende en een onderliggende maatschappelijke klasse, met de onvermijdelijke revolutie die daaruit volgde in, ik meen, 2032.  Al tamelijk dichtbij, maar in de VS zijn de voorboden ervan al te zien.  

Over voorboden gesproken: Michael Sandel schreef er een indringend boek over verschenen in september 2020: The tyranny of meritocracy.  Zie mijn blog erover.  

Ben Wilbrink (7 oktober 2020). Annotaties bij Sandel (2020) ‘The tyranny of meritocracy’ https://benwilbrink.wordpress.com/2020/10/07/annotaties-bij-sandel-2020-the-tyranny-of-meritocracy/

De Raad sprak zich in 1997 uitdrukkelijk niet uit over de toelating tot het hoger onderwijs: in dat jaar boog de Commissie-Drenth zich over de toelating tot numerus-fixusstudies en publiceerde daar een uitvoerige advies over.  Voor deze commissie mocht ik een overzicht van de maatschappelijke discussie over deze toelating schrijven, dat als afzonderlijke bijlage 3 verscheen, met een samenvatting in het hoofdrapport.  Dit overzicht is nog steeds actueel in verband met de decentrale selectie die sinds het verbod op gewogen loting overal op meest amateuristische wijze georganiseerd wordt (zie ook Drenth 2013?).  Sterker: Michael Sandel (2020) heeft een hoofdstuk  gewijd aan de krankzinnig uit de hand gelopen selectie voor top-universiteiten in de VS, en ziet vormen van loting als een mogelijkheid om de menselijke maat weer terug te veroveren.  In Nederland heeft onderwijsminister Jet Bussemaker de gewogen loting, in 1975 een kamerbreed ondersteund compromis om de nood bij toelating tot numerus-fixusstudies eerlijk te verdelen, vervangen door decentrale selectie die decentraal door de plaatselijke selectie-amateurs uitgevoerd mag worden.  O ja, enige vorm van loting was meteen verboden, Jet Bussemaker kun je om een boodschap sturen! Alle gekkigheid terzijde, begin 2020 is met een motie-Paternotte de mogelijkheid om ook loting te gebruiken weer in zicht.  Terzijde: in de 60-er jaren was loting bepaald niet ongebruikelijk bij de toelating tot hoger beroepsonderwijs.

Commissie-Drenth (1997). Gewogen loting gewogen. Advies van de Commissie Toelating Numerus Fixusopleidingen. https://t.co/KJrv5nNz2W  

Ben Wilbrink (1997).  Opsomming van de discussie over toelating bij numerus fixus-studies. http://benwilbrink.nl/publicaties/97OpsommingDrenth.htm

Pieter Drenth (16 september 2013): Loting in geneeskunde. KNAW themaconferentie http://pieterdrenth.wordpress.com/2013/09/23/loting-in-de-geneeskunde/#more-57 “Mijn conclusie is derhalve: zolang er in Nederland een numerus fixus bij geneeskundige studies bestaat lijkt mij een vorm van gewogen loting het meest doelmatige, faire en wetenschappelijk verantwoorde systeem van selectie van studenten voor deze studies.”

De toelating tot hoger onderwijs begint met het goed afronden van een examen algemeen vormend of meiddelbaar beroepsonderwijs.  Ik wil dat in deze bijdrage meenemen omdat we in Nederland er wat al te vlot van uitgaan dat examens er helemaal bij horen.  Want dat is natuurlijk niet zo: er zijn landen die het zonder doen, ook zonder overal drempels voor het hoger onderwijs op te werpen. We hebben dus keuzemogelijkheden.  Allereerst: waarom vinden we het nog steeds normaal dat kandidaten voor een eindexamen kunnen zakken?  https://twitter.com/benwilbrink/status/1320760993333522433 Welke informatie voegt dat toe?  Een cijferlijst is op zich toch voldoende?  

Oh, en wat is het verschil tussen een eindexamencijferlijst en een laatste-jaar-cijferlijst? 

Wie denkt dat onze lieve heer de Aarde heeft geschapen inclusief eindexamens: dat is niet zo 😉  Veel  landen doen het zonder eindexamens, ook zonder dat het hoger onderwijs voor iedereen toelatingsexamens houdt.  Dat gaat prima (Jaap Dronkers dacht: nou, toch een onsje minder, bij een vergelijking van diverse Europese landen). Ofwel: laten we in vredesnaam wat meer ontspannen omgaan met die eindexamens.  Het gaat niet om bewaking van de poort naar de Hemel, een hemel die alleen is voorbehouden aan een selecte groep uitverkorenen.  Het CvTE denkt dat zij de maat van alle examen-dingen is: bedenker, uitvoerder en bewaker van de regels.  Laten we eens ophouden met dit examenextremisme, en richting ceremoniële eindexamens gaan.  Een beetje naar het model van de academische promotie, louter ceremoniëel. 

Ben Wilbrink (15 juni 2019). Geef het eindexamen een ceremonieel karakter. De Telegraaf. [Tegenover de stelling van Arjan van der Meij: Lat nu voor iedereen op dezelfde hoogte] https://www.telegraaf.nl/watuzegt/641511281/geef-eindexamen-een-ceremonieel-karakter € (alleen tekst: https://twitter.com/benwilbrink/status/1255155277101322244

Er is nog een overgang die voortdurend discussie oproept: van basis- naar voortgezet onderwijs. Het zijn boven de leerling gestelden die de onderwijskansen bepalen: de basisschool (advies) en de eindtoets (Cito/CvTE of andere aanbieders). In 

‘Doorgeschoten differentiatie in het onderwijsstelsel’ https://www.onderwijsraad.nl/binaries/onderwijsraad/documenten/adviezen/2019/02/22/doorgeschoten-differentiatie-onderwijs/Stand-van-educatief-Nederland-2019.pdf schrijft de Raad ‘Objectieve eindtoetsing helpt ongelijke kansen tegen te gaan’, onder verwijzing naar Van de Werfhorst, Elffers & Karsten, 2015.  Met alle respect voor de Raad en de genoemde onderzoekers, maar dit is puur ideologie.  Ik heb dat uitvoerig toegelicht in de volgende twee blogs.

Ben Wilbrink (7 oktober 2019). Jubileumboek 50 jaar Cito – Mantel der liefde https://benwilbrink.wordpress.com/2019/10/07/jubileumboek-50-jaar-cito-mantel-der-liefde/

Ben Wilbrink (24 september 2020). Kunnen eindtoetsen (voorheen de ‘citotoets’) valide zijn? https://benwilbrink.wordpress.com/2020/09/24/kunnen-eindtoetsen-voorheen-de-citotoets-valide-zijn/

In de laatste blog is nadrukkelijk ook aan de orde dat het extreem gedifferentieerde onderwijsstelsel de 12-jarigen discrimeert. Voor een discriminerend onderwijsstelsel kan een selecterende eindtoets natuurlijk nooit ook maar enige validiteit hebben.  Hetzelfde geldt voor het avies van de basisschool, uiteraard.  Moet ik hier nog bij vermelden dat de eis van validiteit absoluut essentieel is, ik hoop van niet toch?  Dit is geen dingetje van psychologen: de Amerikaans ‘Standards’ zijn leidend, in samenwerking tussen organisaties van psychologen en betrokkenen bij onderwijs. 

AERA, APA & NCME (2014). The Standards for Educational and Psychological Testing. https://www.apa.org/science/programs/testing/standards.

Voor een grappige aanval op de extreme claim van ‘objectiviteit’ zie een paper uit de oudheid (1977), een congrespresentatie waar ik de vrijwel volledige staf van het Cito tegenover mij vond.  Het Cito kon er toch niet omheen dat keuzevragen even subjectief zijn als open vragen.  In de VS zeggen ze dat er bij keuzevragen sprake is van ‘frozen subjectivity’, en zo is het.  Hoe raakt die huidige examens? Wel vol in de roos: de correctievoorschriften (CVs) van het CvTE hebben tot doel de examens objectief te maken.  Hel en verdoemenis voor de docent die van een CV afwijkt, volgens de voorzitter staat er gevangenisstraf op want die CVs zouden ‘algemeen verbindende voorschriften’ zijn.  Oké, dat leidt tot heel veel gedoe achteraf wanneer in het CV niet voorziene antwoorden toch goed blijken.  Een bekende beroepszaak is, na een omweg via de Hoge Raad, nog steeds onder de rechter, nu bij het Hof Den Bosch.  Zie mijn blog Examenonrecht. 

Ben Wilbrink (1977). Verborgen vooroordeel tegen andere dan meerkeuzevraagvormen http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm

Ben Wilbrink (20 september 2017). Examenonrecht ‘en effet’. https://benwilbrink.wordpress.com/2017/09/20/examenonrecht-en-effet/

De ernstige problemen bij de overgang van basis-naar voortgezet onderwijs liggen natuurlijk niet alleen aan het veel te gedifferentieerde voortgezet onderwijs: al in het basisonderwijs wordt er voortdurend voorgesorteerd op de selectie in groep 8.  Ons basisonderwijs is meer een sorteermachine dan onderwijs, denk ik wel eens.  Wat is eerlijk onderwijs dan?  Een vraag die veel lastiger is te beantwoorden dan de simpele vraag of leerlingen met gelijke capaciteiten wel gelijke kansen krijgen.  Die laatste opvatting, terug te vinden bij onder andere de Inspectie, bevestigt juist onderwijs dat leerlingen behandelt naar wat ze van huis uit al hebben meegekregen. Zie ook Michael Sandel (2020) over het begrip ‘equal opportunity’ in de VS.  Vandaar de volgende blogs, die de thematiek uitdiepen:  

Ben Wilbrink (2017). Op weg naar eerlijk onderwijs. Van Twaalf tot Achttien. https://www.van12tot18.nl/op-weg-naar-eerlijk-onderwijs

Ben Wilbrink (23 augustus 2018). Fair schooling — take-off. https://benwilbrink.wordpress.com/2018/08/23/fair-schooling-take-off/

Ben Wilbrink (2018). Een draadje over eerlijk onderwijs. https://benwilbrink.wordpress.com/2019/01/11/een-draadje-over-eerlijk-onderwijs/

Ben Wilbrink (september 2018). Benjamin S. Bloom, human characteristics, and school learning. https://benwilbrink.wordpress.com/2018/09/28/benjamin-s-bloom-human-characteristics-and-school-learning/

Ben Wilbrink (maart 2020). ‘Intelligentie’ in historisch perspectief. Van Twaalf tot Achttien. https://www.van12tot18.nl/intelligentie-in-historisch-perspectief

Ben Wilbrink (februari 2020). Intelligence and education: inventory of publications on their history. https://benwilbrink.wordpress.com/2020/02/23/intelligence-and-education-inventory-of-publications-on-their-history/

Ben Wilbrink (januari 2019). My blank slate; Twitter thread. https://benwilbrink.wordpress.com/2019/01/13/my-blank-slate-twitter-thread/

Ben ik nu een beetje klaar met het dumpen van blogs en artikelen?  Het probleem is een beetje dat de ideologie in het onderwijsveld over verschillen tussen leerlingen en hoe daarmee om te gaan nauw verknoopt is met de opkomst van de psychologie van persoonlijke verschillen, vooral die van verschillen in intelligentie, sinds eind 19e eeuw (Galton).  De geschiedenis van intelligentie en -tests is bepaald niet iets waarvoor psychologen zich trots op de borst kunnen kloppen.  En nog steeds zitten we met de erfenis van een belast verleden on onze maag, niet alleen in de vorm van psychologische claims over erfelijk bepaald zijn van verschillen in intelligentie, maar ook in de vorm van onderwijsopvattingen over omgaan met verschillen, met ‘talenten’, die teruggaan op de 19e eeuw, een standensamenleving.  De structuur van ons voortgezet onderwijs gaat terug op die standensamenleving, daar valt geen ontkennen aan. 

Mijn eerste reactie op de vraag van de Raad was al weer bijna twee maanden geleden: kantel het belonen van verschillen.  Investeer niet vooral in gymnasiasten, die komen er toch wel, maar investeer allereerst in de leerlingen die daar het meest profijt van trekken omdat zij van huis uit weinig hebben meegekregen.  Het is eigenlijk hetzelfde als triage voor een behandeling in het ziekenhuis: laat niet de meest gezonde patiënten voorgaan, maar de patiënten voor wie snel ingrijpen levensreddend is.  Gek eigenlijk dat we in ons onderwijs ertoe neigen om het omgekeerde te doen, en dat niet goed in de gaten hebben.

De Raad vroeg om meedenken over verschillen in het onderwijs, welnu, zie hierboven mijn inbreng.

Annotaties bij Sandel (2020) ‘The tyranny of meritocracy’

Ben Wilbrink

[tekst van de Twitterdraad die hier begint https://twitter.com/benwilbrink/status/1310663832164085760%5D

“... a perfect meritocracy … diminishes our capacity to see ourselves as sharing a common fate. It leaves little room for the solidarity that can arise when we reflect on the contingency of our talents and fortunes. This is what makes merit a kind of tyranny …” Sandel 25 

The notion that our fate reflects our merit runs deep in the moral intuitions of Western culture. Biblical theology teaches that natural events happen for a reason. Favorable weather and a bountiful harvest are divine rewards for good behavior, drought and pestilence are punishments for sin.” Sandel p. 35. Een indrukwekkend hoofdstuk over religieuze noties , en Amerikaanse politiek (heel passend voor dit moment).
Een voorbeeld uit 1946: een jonge piloot moest zo nodig een groet brengen aan zijn moeder in Apeldoorn, en stortte met zijn vliegtuig neer op een school. 22 scholieren stierven aan hun opgelopen brandwonden. In de gedenkdienst presteerde de predikant het om de ramp te duiden als een straf van God, ja, voor wat, ongelovigheid? destentor.nl/nieuws/vreseli…
Dit denken heeft alles met meritocratie te maken. 

These days, we view success the way the Puritans viewed salvation—not as a matter of luck or grace, but as something we earn through our own effort and striving. This is the heart of the meritocratic ethic. … Success is a sign of virtue. My affluence is my due.” Sandel 59 

But it also has a dark side. The more we view ourselves as self-made and self-sufficient, the less likely we are to care for the fate of those less fortunate than ourselves. If my success is my own doing, their failure must be their fault.” p. 59 Ofwel de #deplorables_fallacy 

Diane Reay (2020). ‘The Perils and Penalties of Meritocracy: Sanctioning Inequalities and Legitimating Prejudice’ The Political Quarterly, Vol. 91, No. 2, April–June 2020 researchgate.net/publication/33… to illustrate the damage the illusion of meritocracy inflicts on children.

Wist u dit? Of: Hoe de elite populisme kweekt:
– Toon Kuppens a.o. (2017) ‘Negative attitudes of higher educated people towards the less educated’ orca.cf.ac.uk/106246/1/Manst…
– Sandel (2 Sept 2020): ‘Disdain for the Less Educated Is the Last Acceptable Prejudice’ https://www.nytimes.com/2020/09/02/opinion/education-prejudice.html

Sandel beschrijft in zijn boek uitvoerig de gekkigheid in het Amerikaanse onderwijs, vooral voor wie toelating tot de beste universiteiten zoeken (hfdst 7). Als tegengif stelt hij voor om tot loting over te gaan (p. 184-8), zeer tot mijn genoegen. Nederlandse ervaring ermee, in wat in feite een belangrijk onderwijsexperiment van meer dan 40 jaar was: benwilbrink.nl/publicaties/97…

Recent was er ook aandacht voor onze onvolprezen polderloterij in Rebecca Zwick (2017). ‘Who Gets In? Strategies for Fair and Effective College Admissions’ Harvard UP. Helaas is zij onvolledig voorgelicht. Afijn, mijn bak literatuur over loten bij numerus-fixusstudies: benwilbrink.nl/projecten/lote…

Mijn internationale volgers die willen weten hoe dat dan zit, met loten voor bepaalde universitaire studies met ‘restricted lots’ in Holland, zie benwilbrink.nl/projecten/lott… Recent werd loten bij wet verboden (na >40 jaar!), maar dit jaar 2020 toch weer toegestaan als selectiemiddel.

Sandel verwijst o.a. naar Peter Stone 3013 ‘Access to higher education by the luck of the draw’ researchgate.net/publication/25…
Stone is a member of the Kleroterians (researchers on lottery use in politics and education), their blog site ‘Equality by lot’: https://equalitybylot.com/about/

Equality of opportunity is a morally necessary corrective to injustice. But it is a remedial principle, not an adequate ideal for a good society.
… Inspired by the heroic rise of a few, we ask how others might also be enabled to escape the conditions that weigh them down. Rather than repair the conditions that people want to flee, we construct a politics that makes mobility the answer to inequality. … But a good society cannot be premised only on the promise of escape. Focusing only, or mainly, on rising does little to cultivate the social bonds and civic attachments that democracy requires. …
It is often assumed that the only alternative to equality of opportunity is a sterile, oppressive equality of results. But there is another alternative: a broad equality of condition that enables those who do not achieve great wealth or prestigious positions to live lives of decency and dignity—developing and exercising their abilities in work that wins social esteem, sharing in a widely diffused culture of learning, and deliberating with their fellow citizens about public affairs.
” Sandel p. 224 

Ik blader wat door ‘De burger en de volksschool’, over de strijd om onderwijs in de jaren 1780 tot 1850 in Nederland (Jan Lenders, 1988 online repository.ubn.ru.nl//dspace31xmlui…), en kom er achter elkaar dezelfde thema’s tegen als in Sandel over het Amerika van vandaag. Nieuw project?

Ik heb het boek van Sandel niet in één adem uitgelezen, dat durfde ik niet, maar het scheelt weinig. Hij behandelt thema’s waar ik op een of andere manier al een leven lang mee bezig ben, en waar ik niet altijd goede antwoorden op heb kunnen vinden—ik zeg het voorzichtig. 

Het is niet dat Sandel de antwoorden wèl heeft, want dat is niet zo. Maar het leidend beginsel, de vernedering voor de verliezers van het meritocratische gevecht, is wel een krachtig bindmiddel in heel zijn maatschappelijke analyse. Sterk uitgewerkt, chapeau. 

Opmerkelijk is zijn kritiek op de ‘Theory of justice’ van John Rawls: prachtig hoor, het ‘difference principle’ dat ongelijke posities gerechtvaardigd zijn in de mate waarin ze de minst bedeelden in de samenleving ten goede komen, maar dat werkt meritocratie toch in de hand! Het valt nog te bezien of die kritiek hout snijdt, maar omdat ik op dat punt zelf ook altijd al mijn twijfels had, vermoed ik dat Sandel een punt heeft. Wat heeft Amartya Sen erover gedacht? (in zijn ‘The idea of justice’, blz. 60 en volgende; ik moet dat later nog eens nauwkeurig bestuderen.)

In heel het boek van Sandel zijn ‘talenten’ aan de orde, en de vraag of talenten aanspraak op beloning geven, of dat zij een gril van het lot zijn en dus geen persoonlijke verdienste (talrijke tussenposities denkbaar). Aangeboren of verworven maakt daarbij weinig of geen verschil: met gunstige genen of in een gunstig gezin geboren worden maakt geen verschil voor de vraag of talenten te belonen persoonlijke verdiensten zijn. Sandel verliest zich dan ook niet in de moerassige discussie over ‘nature or nurture’ van aanleg en intelligentie. Chapeau. 

Door het hele boek heen, maar in het bijzonder in hoofdstuk 6, is het thema van gelijke kansen (‘equal opportunity’) aan de orde.  Het is altijd oppassen geblazen met die gelijke kansen, want meestal wordt ermee bedoeld: ‘gelijke kansen bij gelijke capaciteiten’.  En dat is niet eens een veel te enge opvatting van gelijke kansen, het is een ronduit misleidende opvatting.  En wel hierom: het legitimeert mindere kansen voor wie door ‘nature’ danwel ‘nurture’ minder bevoorrecht is.  Sandel gaat er netjes mee om.  In Nederland hangen de instituties en de overheid aan de nauwe en misleidende interpretatie van gelijke kansen.  Ik bestrijd dat door er eerlijke kansen tegenover te stellen.  Niet omdat ‘eerlijke kansen’ een glashelder begrip zou zijn, want dat is het niet omdat het juist diepe vragen opwerpt, maar omdat het gaat om wat als eerlijk wordt ervaren.  Een eerste uitwerking in Van Twaalf tot Achttien: https://www.van12tot18.nl/op-weg-naar-eerlijk-onderwijs en een engelstalige blog on ‘fair schooling’: https://benwilbrink.wordpress.com/2018/08/23/fair-schooling-take-off/

Ik heb het boek van Sandel uit, en ben nog wel even bezig om het hele verhaal te laten bezinken. Wie een zeldzaam exemplaar van Michael Young’s 1958 dystopie ‘The rise of the meritocracy’ heeft gelezen (ha, Pelican versie online: https://newsroom.didactiefonline.nl/uploads/PDF/michael_young_the_rise_of_the_meritocracy_classbookfi.pdf), kan Sandel lezen als een actuele update. Of zoiets.

Literatuur

Paul de Beer, Maisha van Pinxteren (Red.) (2016). Meritocratie: Op weg naar een nieuwe klassensamenleving? Amsterdam University Press. Open access  http://nl.aup.nl/books/9789462983397-meritocratie.html

Willem K. B. Hofstee (1990). Allocation by lot: a conceptual and empirical analysis. Social Science Information, 29, 745-763. 10.1177/053901890029004004   pdf: https://tinyurl.com/y5d2aajd

Kleroterians. Equality by lot. The blog of the kleroterians. https://equalitybylot.com/

Toon Kuppens, Russell Spears, Antony S. R. Manstead, Bram Spruyt & Matthew J. Easterbrook (2017). Negative attitudes of higher educated people towards the less educated. Journal of Experimental
Social Psychology
. orca.cf.ac.uk/106246/1/Manst…

Jan Lenders (1988). De burger en de volksschool. Culturele en mentale achtergronden van een onderwijshervorming. Nederland 1780-1850. SUN, tevens proefschrift Leiden. Geheel online: https://repository.ubn.ru.nl//dspace31xmlui/handle/2066/2981

Martha Nussbaum (2019). The cosmopolitan tradition. A noble but flawed ideal. Belknap Harvard. https://www.hup.harvard.edu/catalog.php?isbn=9780674052499

Benjamin I. Page, Larry M. Bartels, and Jason Seawright (2013). Democracy and the Policy Preferences of Wealthy Americans. Perspectives on Politics, 11 #1, 51-73 https://faculty.wcas.northwestern.edu/~jnd260/cab/CAB2012%20-%20Page1.pdf

John Rawls (1972). A theory of justice. Oxford University Press.http://www.hup.harvard.edu/catalog.php?isbn=9780674000780 [vertaling, 1999: Een theorie van rechtvaardigheid. Lemniscaat]

John Rawls (2001). Justice as fairness. A restatement. Belknap Harvard. https://www.hup.harvard.edu/catalog.php?isbn=9780674005112

Diane Reay (2020). ‘The Perils and Penalties of Meritocracy: Sanctioning Inequalities and Legitimating Prejudice’ The Political Quarterly, Vol. 91, No. 2, April–June 2020 researchgate.net/publication/33… 

Michael J. Sandel (2020). The tyranny of merit. What’s become of the common good?  Allen Lane. [Vertaling: De tirannie van verdienste. Over de toekomst van de democratie. Ten Have] https://www.athenaeum.nl/zoek/?b=&q=TYRANNY+OF+MERIT

Michael J. Sandel (2020). in the New York Times: https://www.nytimes.com/2020/09/02/opinion/education-prejudice.html  

Michael J. Sandel. Laura de Jong (2020). Filosoof Michael J. Sandel: ‘De elite ziet te weinig dat succes óók komt door toeval, geluk en aanleg’. De Volkskrant 20 september. https://www.volkskrant.nl/cultuur-media/filosoof-michael-j-sandel-de-elite-ziet-te-weinig-dat-succes-ook-komt-door-toeval-geluk-en-aanleg~b1f3babe/

Michael J. Sandel. Tanny Dobbelaar (2020). Michael J. Sandel analyseert haarscherp de enorme kloven in westerse samenlevingen. Recensie. Trouw 20 september https://www.trouw.nl/religie-filosofie/michael-j-sandel-analyseert-haarscherp-de-enorme-kloven-in-westerse-samenlevingen~b19fc67c/

Michael J. Sandel. Stevo Akkerman (2020). Filosoof Michael Sandel ontrafelt de populistische opstand: ‘Arbeiders beseffen dat de elite op hen neerkijkt’. Trouw 20 september

Michael J. Sandel (2020). De waardigheid van werk. Meritocratische hoogmoed. De Groene, 30 september, #40 https://www.groene.nl/artikel/de-waardigheid-van-werk

Amartya Sen (2009).  The idea of justice. Allen Lane. http://www.hup.harvard.edu/catalog.php?isbn=9780674060470

Peter Stone (2013). Access to Higher Education by the Luck of the Draw. Comparative Education Review 57(3):577-599 https://www.researchgate.net/publication/259726274_Access_to_Higher_Education_by_the_Luck_of_the_Draw

Bernard Weiner (1994). Ability versus effort revisited: the moral determinants of achievement evaluation and achievement as a moral system. Educational Psychologist, 29, 163-172.  https://www.academia.edu/17369982/Ability_versus_effort_revisited_The_moral_determinants_of_achievement_evaluation_and_achievement_as_a_moral_system

Ben Wilbrink (1997). Terugblik op toegankelijkheid: Meritocratie in perspectief. Gepubliceerd als hoofdstuk 11 in Van Dyck, M. (Red.) (1997). Toegankelijkheid van het Nederlandse onderwijs. Studies (p. 341-384). Den Haag: Onderwijsraad. ISBN 90 346 3436 1 http://benwilbrink.nl/publicaties/97MeritocratieORaad.htm (het boek zelf is niet online beschikbaar, helaas).

Ben Wilbrink (1997). Opsomming van de discussie over toelating bij numerus fixus-studies. http://benwilbrink.nl/publicaties/97OpsommingDrenth.htm Gepubliceerd als Bijlage 3 bij Rapport van de commissie Toelating Numerus Fixusopleidingen (voorzitter P. J. D. Drenth) ‘Gewogen loting gewogen.’ 1997, p. 121-204. Sdu Servicecentrum. ISBN 90 346 34116 https://t.co/KJrv5nNz2W?amp=1 Een samenvatting is als bijlage in het advies van de commissie opgenomen, p. 82-89 http://benwilbrink.nl/publicaties/97SamenvattingDrenth.htm

Ben Wilbrink (2018). Op weg naar eerlijk onderwijs. Van Twaalf tot Achttien https://www.van12tot18.nl/op-weg-naar-eerlijk-onderwijs

Ben Wilbrink (2018). blog on ‘fair schooling’ https://benwilbrink.wordpress.com/2018/08/23/fair-schooling-take-off/

Ben Wilbrink. Documentatie van de numerus fixus en zijn toelatingsprocedures in het HO, i.h.b. loten — gewogen loten Literatuurbestand over toelating (loten, gewogen loting, decentrale selectie) bij numerus-fixusstudies http://benwilbrink.nl/projecten/loten_nf.htm

Ben Wilbrink. Intelligence. Literatuurbestand over intelligentie http://benwilbrink.nl/literature/intelligence.htm

Ben Wilbrink. Lottery. Literatuurbestand over loten, engelstalig http://benwilbrink.nl/projecten/loten_nf.htm

Michael Young (1958). The rise of the meritocracy 1870 – 2033. An essay on education and equality. Thames and Hudson. & A Pelican Book A 485. Van die Pelican is een pdf-bestand beschikbaar op https://newsroom.didactiefonline.nl/uploads/PDF/michael_young_the_rise_of_the_meritocracy_classbookfi.pdf Mijn aantekeningen bij het boek: http://www.benwilbrink.nl/literature/young.htm

Michael Young (2001). Down with meritocracy. The Guardian, june 28. theguardian.com/politics/2001/jun/29/comment

Toby Young (2017). BBC Radio 4 documentary. Toby Young asks whether the Brexit and Trump votes signal the death knell for the popular political vision of a meritocracy, as outlined by his father in 1958. https://www.bbc.co.uk/programmes/b08lgq9n

Rebecca Zwick (2017). Who Gets In? Strategies for Fair and Effective College Admissions. Harvard University Press. Interview: interview: https://www.ets.org/research/policy_research_reports/focus_on_rd/issue8

Kunnen eindtoetsen (voorheen de ‘citotoets’) valide zijn?

Ben Wilbrink september 2020

[Gebaseerd op een heel, heel lange twitterdraad. Desondanks: het is vooral heel erg telegramstijl, waardoor allerlei toelichtingen en toevoegingen achterwege zijn gebleven. De vele links zijn bedoeld om te gebruiken: neem kennis van wat erachter zit, zonder alles ook te lezen (dat neemt jaren in beslag). Stel gerust vragen. Hier en daar is het natuurlijk geen onbekende materie, maar wat ik heb proberen te doen is de discussie over die eindtoetsen uit de gangbare kokers te trekken. Tenslotte heb ik een halve eeuw onderwijsonderzoek achter de kiezen, en moet ik in staat zijn door de psychometrische bomen het bos van eerlijk onderwijs te zien. Of zoiets.]

========================================================

Komaan, ik moet eens aan de slag.
Vraag van de dag: kunnen eindtoetsen (voorheen de ‘citotoets’) valide zijn?

Dit is niet zomaar een vraag over de belangrijkste kwaliteit van eindtoetsen primair onderwijs. De vakliteratuur put zich uit in beslommeringen en berekeningen over hoe valide eindtoetsen zijn, en men neemt als het ware stilzwijgend aan dat zoiets een zinvolle onderneming is, dat validiteit er altijd wel is, zij het soms iets minder, dan weer iets meer. Deze blog breekt daar radicaal mee, de uitgangsstelling is dat het niet mogelijk is om in deze specifieke situatie op betekenisvolle wijze enige validiteit van eindtoetsen te bepalen. Of die oefening is gelukt? Beoordeel het zelf. Een hint: die eindtoetsen zijn van andere belanghebbende partijen dan de leerlingen en hun ouders zelf. Dat alleen al geeft te denken. Ik help een handje bij dat denken.


Validiteit is een open begrip, maar heeft wel een strak omschreven betekenis, vastgelegd in de Richtlijnen van het NIP (1988) en de Standards van APA AERA NCME (2014). Om een indruk te krijgen van wat er met validiteit zoal aan de orde is, zie bijv. (de bibliotheek over validiteit is zeer uitgebreid) van Sireci en Parker onlinelibrary.wiley.com/doi/abs/10.111… Dit abstract nodigt uit om ook het artikel zelf te lezen. Dat kan, kijk even wat er zoal in staat: sci-hub.tw/10.1111/j.1745…

Validiteit is niet een kenmerk van een toets, maar karakteriseert het gebruik ervan, in dit geval: de toewijzing van leerlingen aan schooltypen. (zie 1e kolom van Sireci & Parker). Veronderstel even, for the sake of argument, dat de eindtoets bepalend is voor die toewijzing. Tot zover klassieke stof, u vertrouwt er vast op dat het met validiteit wel goed zit. Hm, it depends.
Mijn vermoeden (in deze draad te onderzoeken) is dat validiteit van de eindtoetsen niet kan worden bepaald. Om een waaier van redenen rond de kernvraag Van wie is het onderwijs? Of, anders gezegd: validiteit van eindtoetsen is alleen te bepalen onder een reeks restricties en vooronderstellingen die het probleem versmallen tot een trivialiteit die vooral het huidige onderwijsstelsel bevestigt. Bijv.: zitten leerlingen na x jaar in het voorspelde onderwijstype? 

For English followers: this thread is about scholastic aptitude tests at the end of Dutch primary education; can they be called valid for for allocating pupils/students to one of six different types of secondary education—schools, not tracks, see

https://en.wikipedia.org/wiki/Education_in_the_Netherlands

Wat valt er te verwachten van dit kritische onderzoekje? Er zit een sterke analogie in, vermoed ik, met de thematiek van selectie voor numerus-fixusstudies; ik mocht voor de Cie-Drenth in 1997 dit overzicht van de publieke discussie 1972-1997 schrijven: http://benwilbrink.nl/publicaties/97OpsommingDrenth.htm Het rapport van de Cie, Gewogen loting gewogen:  archief06.archiefweb.eu/archives/archi…

Laten we eerst vaststellen dat ons stelsel van vo nog sterk de 19e eeuwse trekken van standsonderwijs heeft, zie matthijssen ‘Klasse-onderwijs’ (dbnl.org/tekst/matt023k…), en dat eindtoetsen daar dus voor selecteren (Bourdieu et Passeron 1970 ‘La reproduction’ Éléments pour une théorie du système d’enseignement. Zie bijv. sci-hub.tw/10.1177/053901…)

Waarom is die laatste constatering van belang? In de mate waarin eindtoetsen selecteren voor schooltypen die zich nog steeds laten karakteriseren als mede door ‘stand’ bepaald, bedienen ze leerlingen ongelijk = discriminatoir. Ze bevestigen standsverschillen. Niet valide dus. 

Mogelijke tegenwerping: ‘Maar ons onderwijs is toch meritocratisch? Bij gelijke capaciteiten zijn kansen toch ongeveer gelijk?’ De ongelijkheid zit hem nu juist in gelegenheid om gelijke capaciteiten te verwerven. Meritocratie: benwilbrink.nl/publicaties/97… Ook: Paul de Beer, Maisha van Pinxteren (Red.) (2016). ‘Meritocratie: Op weg naar een nieuwe klassensamenleving?’ Amsterdam University Press. Open access  http://nl.aup.nl/books/9789462983397-meritocratie.html. Een meritocratie is een dystopie, zoals de bedenker van de term, Michael Young 1957, uitstekend heeft beschreven.

Publiek onderwijs is er niet zomaar voor iedereen: er wordt voor geselecteerd. Is dat wel een eerlijke manier om dat kennelijk schaarse goed ‘onderwijs’ te verdelen? Meritocratie speelt in de kaart van bevoorrechte leerlingen. Is het onderwijs vooral van hoogopgeleide ouders? Sociologen zeggen dan dat onderwijs een positioneel goed is: kinderen van hoger opgeleide ouders kunnen zich proberen te onderscheiden van de overigen. Hun ouders zullen het oneerlijke onderwijsstelsel dat dit mogelijk maakt koste wat kost verdedigen. #onderwijsbeleid_is_oorlog

Beter geformuleerd: onderwijs geeft toegang tot schaarse begeerlijke maatschappelijke posities. Onderwijs heeft een signalerende functie, zegt econoom Bryan Caplan in zijn rijkelijk onthutsende ‘The case against education: Why the Education System Is a Waste of Time and Money’. Caplan contrasteert de volgens hem dominante signalerende functie met menselijk-kapitaaltheorie. Dus: het bewijs dat je een prestatie kunt leveren waar je later weinig aan hebt, versus het verwerven van maatschappelijk relevante kennis die rendeert voor individu en samenleving. 

Hoe zit het dan met de inhoud van eindtoetsen? Wat ‘toetsen’ zij, of wat ‘signaleren’ zij? Oppervlakkig bezien toetsen zij rekenen en taal. Maar ze zijn niet ‘curriculum aligned’ (scholen hebben verschillende curricula). Deze ‘scholastic aptitude tests’ testen intelligentie. Laat ik dat verduidelijken. De eindtoetsen hangen ergens tussen tests (intelligentie) en examens (in lijn met het curriculum). Dat is wel een validiteitsprobleem: op tests mag men NIET specifiek zijn voorbereid, op examens moet men juist WEL specifiek zijn voorbereid, en dat sluit elkaar uit. Over dat onderscheid tussen tests en toetsen zie: benwilbrink.nl/publicaties/86… (en dat komt terug in hoofdstuk 8 van de Richtlijnen van het NIP, 1988). Voorzover die eindtoetsen examens zijn die selectief toegang geven tot vervolgonderwijs, is de validiteit bedreigd omdat andere variabelen mede bepalend zijn. Hier uitgelegd: benwilbrink.nl/publicaties/77… Waar andere variabelen medebepalend zijn weten we dus niet goed wat we aan het meten zijn, en dat is een vrij ernstig gebrek voor eindtoetsen die voorspellend moeten werken.
Aha, uren studie zijn van belang, het advies van de leerkracht neemt dat wèl mee. Ik laat in deze draad het advies er buiten, maar hier wil ik toch opmerken dat het advies van de school sterk is bepaald door leerlingvolgsystemen, dat zijn ook scholastic aptitude tests. Helaas. Vrijwel alles wat hier wordt geschreven over eindtoetsen, geldt dus ook voor de schooladviezen. 

Laten we de ideeën van ‘signaling and sorting’ (Caplan en.wikipedia.org/wiki/The_Case_…) versus menselijk kapitaal (Becker nber.org/books/beck94-1) eens toepassen op eindtoetsen. Zij zijn ongetwijfeld een mix van beide.Een ingewikkelde mix ook, omdat de toetsen zelfs op de nuttige kennis van taal en rekenen (menselijk kapitaal) zo zijn ontworpen dat er op verschillen in die kennis kan worden geselecteerd (signaling and sorting). Dankzij een wetenschap in dienst van machthebbers: psychometrie. Dat laatste is onaardig geformuleerd; het slaat dan ook terug op de vraag ‘Van wie is het onderwijs?’. Kijk naar eindtoetsen die als hakmessen in een sorteermachine worden ingezet: die toetsen ‘zijn niet van’ leerlingen en hun ouders, zij hebben niets in te brengen. Terecht? 

Ik gebruik een onderscheid van Cronbach & Gleser (1957/1965 ‘Psychological tests and personnel decisions’ journals.uchicago.edu/doi/abs/10.108…): institutionele beslissingen, ten bate van instellingen zoals scholen, vs individuele beslissingen, ten bate van individuen zoals in adviesrelaties.U voelt hem misschien al aankomen: de vraag of leerlingen er zijn voor het onderwijs (institutioneel selecteren) of dat het onderwijs er is voor de leerlingen (individueel adviseren). Een onderscheid dat Co van Calcar en Siebe Soutendijk in de 60er jaren ook maakten, geloof ik. (Kindzwakke scholen, geen schoolzwakke kinderen)

Zonder glashelder antwoord hierop hangt validiteit van eindtoetsen in de lucht.
Ter inspiratie: Thorbecke vond ouders prima in staat zèlf te beslissen hun zoon naar zijn nieuwe HBS te sturen. Een paar jaar later lobbyden leraren met succes voor een toelatingsexamen. So it goes. 

Een dienstmededeling om het voor vandaag een beetje af te sluiten:
Op de lat staan in ieder geval nog:
– het zetten van grensscores (wanneer mag je dan nog net naar het vwo?)
– Als het allemaal niet valide is, wat dan wel? Is het niet één groot spel van afspraken? Wie maakt ze? 

– Er zijn alternatieven voor die cultuur van altijd maar benadrukken, vergroten, en testen van verschillen tussen leerlingen (oa het 2-sigma experiment van Bloom).
– Het is wel duidelijk dat (goed) onderwijs een schaars goed is. Hoe verdelen we dat eerlijk? (Theory of justice) – Mogelijke tegenwerpingen. ‘Ja maar, er zijn nu eenmaal grote verschillen tussen leerlingen’ Tegenvragen: waarom is dat zo; als er verschillen zijn, zijn die relevant bij de overgang naar vo? Wat telt uiteindelijk: bereikbaar scholingsniveau, of de daarvoor benodigde tijd? 

Grensscores, cesuren, zak-slaaggrenzen, drempels.

Karakteristiek voor het gebruik van toetsen is dat ze ook grensscores hebben: voor een ‘voldoende’, om toegelaten te worden, om behandeling A ofwel juist behandeling B te krijgen. Bijvoorbeeld bij eindtoetsen: grensscore tussen havo ofwel vwo. Ik wil wat langer stilstaan bij de vraag of beslissingen met een puntje verschil rond zo’n drempel wel valide zijn. De antwoorden geven een idee voor de richting waarin antwoorden te zoeken zijn op de vraag wat te doen met eindtoetsen waarvan we geen validiteit kunnen bepalen. A. D. de Groot, initiatiefnemer voor het Cito, auteur van ‘Vijven en zessen’, verantwoordelijk voor de Amsterdamse Schooltoets (1967 geloof ik; voorloper van de ‘citotoets’), deze A.D. zoals hij in de wandelgangen werd genoemd, zat met de handen in het haar over zak-slaaggrenzen. Want, schreef hij in 1972 in een bundel over selektie (helaas niet in de samenvatting ervan, zoals gegeven in zijn ‘Academie en forum’), iemand afwijzen, laten overdoen of laten zitten op een puntje verschil, dat is inhoudelijk op geen enkele manier te verdedigen. Hij signaleerde het probleem dat zo’n beslissing niet valide is, maar had er geen oplossing voor. Het probleem is zeer ernstig, al was het maar omdat validiteit nu juist bij uitstek het criterium voor kwaliteit van toetsen en tests is. Zijn toetsen met drempelbeslissingen dan alleen al daarom niet valide? Dat lijkt een te sterke conclusie, maar waarom zou dat zo zijn? 

Het probleem is ook zeer ernstig omdat juist rond die drempels, op dat ene puntje verschil, zich veel beroeps- en ook rechtszaken afspelen. Beroepszaken: Job Cohen 1981 ‘Studierechten in het wetenschappelijk onderwijs’ (scans beschikbaar:  benwilbrink.nl/projecten/toet…. ) Hoge Raad (maar terugverwezen naar Hof Den Bosch) eindexamen Frans https://benwilbrink.wordpress.com/2017/09/20/examenonrecht-en-effet/

Het zal niet verbazen dat dit drempelprobleem al eens eerder is gesignaleerd, en van een oplossing voorzien. Waar komen we dan terecht: bij Francis Y. Edgeworth (1888). ‘The statistics of examinations’ http://www.jstor.org/stable/2339898 Op een puntje verschil niet aangenomen bij de Civil Service; is dat oneerlijk? Nee, zegt Edgeworth. En daar heeft hij goede argumenten voor. Kijk, zegt hij, zo’n examen is een steekproef, en daar kun je ook best een beetje pech of geluk bij hebben. Kandidaten kunnen dat weten, en hebben het ook zelf een beetje in de hand: zorg voor goede voorbereiding. 

Eerlijk en valide, is dat hetzelfde of zijn dat toch verschillende zaken? Het is mij om het even; vermeldenswaard is dat De Groot eerlijkheid of billijkheid als extra criterium heeft voorgesteld in 1970, als belangrijkste criterium ook voor toetsen, het artikel is hier beschikbaar: benwilbrink.nl/publicaties/70…

Naar mijn bescheiden mening zijn de twee belangrijkste Nederlandse publicaties over toetsen, beide in 1970, beide uit dezelfde UvA-afdeling, en qua onderwerop eigenlijk nauw verbonden hoewel niet naar elkaar verwijzend: van A.D. de Groot en R. van Naerssen. Surprise. 

Voor De Groot 1970 zijn toetsen billijk als ze door leerlingen doeltreffend zijn voor te bereiden. Ze moeten gaan over de stof die is voorgeschreven of behandeld, niet daarbuiten. ‘Curriculum-aligned’ heet dat bij de buren. De Groot vult verder in waar Edgeworth al op hintte. 

Met het ten onrechte in vergetelheid geraakte pleidooi van De Groot kan men het eens zijn, of niet. Zijn collega Van Naerssen heeft in 1970 een wiskundig model ontworpen dat handen en voeten geeft aan dat ‘doeltreffend kunnen voorbereiden’, zie hier voor zijn rede uit 1970: benwilbrink.nl/publicaties/70…

‘Een puntje tekort’ mag op zich niet onder alle omstandigheden doorslaggevend zijn. Leerlingen zijn zelden gelijk, en als er bijzondere omstandigheden zijn dan worden die uiteraard in de besluitvorming betrekken: het professionaliteitsbeginsel (in vele beroepscodes en ethische codes vastgelegd). Willem Hofstee geeft er een uitgebreide beschouwing over war het gaat om psychologische tests, maar eindtoetsen zijn in dit opzicht ook psychologische tests. Ik citeer de conclusie van Hofstee in zijn geheel:

Commissie-Hofstee (1990). Toepasbaarheid van psychologische tests bij allochtonen. Rapport van de testscreeningscommissie ingesteld door het LBR in overleg met het NIP. LBR-reeks #11, Stichting Roodboek   LBR = Landelijk Bureau Racismebestrijding.    (Rapport met de bevindingen per test.)  

Hofstee’s rede bij de aanbieding van het rapport is gepubliceerd in De Psycholoog, juni 1990, 291-294 : Toepasbaarheid van psychologische tests bij allochtonen.  

Conclusie

De functie van de voorgaande algemene beschouwing over het professionaliteitsbeginsel is deze, dat invulling werd gegeven aan de twintig keer weerkerende conclusie van de TSC dat de toepasbaarheid van een psychologische test bij allochtonen ‘sterk beperkt’ is. Die uitdrukking betekent niet eenvoudig ‘minder van hetzelfde’. Hij betekent dat testafname en -interpretatie dienen te zijn ingebed in een proces van professionele oordeelsvorming. De algemene wending van de beschouwing diende om aan te geven dat deze aanbeveling niet uitzonderlijk is, en dat hier geen uitzonderlijke status voor allochtonen ten opzichte van psychologische tests werd bepleit. De noodzaak van verbijzondering geldt in principe bij ieder individu

In die zin is het dubieuze gehalte van psychologische tests in verband met allochtonen een geluk bij een ongeluk. Het bevat een aansporing ernst te maken met het elementair beginsel dat mensen recht hebben op een individuele benadering in aangelegenheden die voor hen van groot belang zijn. Het probleem van testgebruik bij allochtonen is geen geïsoleerd of technisch probleem.  Ieder mens bevindt zich van tijd tot tijd in een vergelijkbare situatie.

Hebben we nu een oplossing voor de vraag hoe we ‘dat ene puntje tekort’ moeten zien? In zekere zin een criterium voor wat ‘doeltreffend kunnen voorbereiden’ is: de leerling moet het risico van zakken of slagen zelf kunnen dragen. Leerkrachten hebben daar de zorg voor. Een oplossing voor dat probleem van grensscores is dan, in lijn met Edgeworth, De Groot, en Van Naerssen: het gaat om spelregels waar iedereen zich naar moet gedragen, ook leraren, zij hebben te zorgen voor billijke toetsen, doeltreffend voor te bereiden toetsen. #spelregels Die spelregels zijn deels ethiek (billijke toetsen), deels politiek (overgangsregelingen, examenregelingen). En dat is een radicale transformatie van wat in de testliteratuur validiteit heet. En dat is niet vrijblijvend: het recht ziet op de billijkheid (Job Cohen, 1981; Henk van Berkel 2019 en 2017 https://www.nvexamens.nl/wp-content/uploads/2017/12/Henk-van-Berkel.pdf). Uit de eis van billijkheid volgt onmiddellijk dat de grens onvoldoende-voldoende nooit bepaald mag worden als een vaststaand percentage. Wanneer alle leerlingen een extra inspanning plegen, moet dat tot uitdrukking kunnen komen in hogere scores. Ha, en omgekeerd ook! Ai ai. Hoe gaat dat bij de Centrale Eindtoets van het Cito/CvTE? De scores zijn gestandaardiseerd, tussen 500 en 550, zoveel is na enig zoeken wel duidelijk. Maar mij blijft onduidelijk of het zo is dat het gemiddelde in beginsel altijd op 335 wordt gezet. Leerlingen en scholen spelen tegen de bureaucratie van het CvTE (College voor Toetsen en Examens) (ik neem aan dat het voor de andere eindtoetsen in deze markt niet anders is). Kunnen zij dat winnen? Dat hangt ervan af: gaat het om beperkte aantallen plaatsen, of om geschiktheid? 

We komen nu bij de vraag of een test voor plaatsing in één van 8 typen brugklas (zoek. .nl/stcrt-2018-250…), een door-en-door traditioneel onderwijsstelsel, geworteld in de 19e eeuw, of zo’n test valide kan zijn. Of we kunnen weten/onderzoeken of er sprake kan zijn van validiteit.Stel nu eens dat het onderwijs in het vmbo kwalitatief onder de maat is, vergeleken met dat in het avo. En dat het juist kinderen van laagopgeleide ouders zijn die in het vmbo terechtkomen, kinderen van hoogopgeleide ouders in het avo. Dan zou er sprake zijn van discriminatie. 

Want hoe we kwaliteit ook definiëren, het kan niet zo zijn dat afkomst mede bepalend is voor de kwaliteit van het onderwijs dat wordt aangeboden. Toch? Dat zou in strijd zijn met de Grondwet art. 1, maar ik kan me vergissen, ik ben tenslotte geen jurist. denederlandsegrondwet.nl/id/vi7pkisz82r…

art. 1: ‘in gelijke gevallen gelijk behandeld’.
De eerste versie hiervan dateert van 1798, en lijkt veel duidelijker geformuleerd:
“Alle Leden der Maatschappij hebben, zonder onderscheiding van geboorte, bezitting, stand, of rang, eene gelijke aanspraak op derzelver voordeelen.” Juristen zullen onmiddellijk tegenwerpen dat gevallen zelden gelijk zijn, en dat dan verschillende behandeling gerechtvaardigd is naar de mate van de verschillen. Maar dus niet iedere verschillende behandeling, en het aanbieden van kwalitatief minder onderwijs lijkt ongepast. Als onderwijs in het vmbo kwalitatief minder is dan dat in het avo, dan zouden eindtoetsen instrumenten zijn die discriminerend werken. Einde van discussie over validiteit.

Dus: kan het kloppen dat de kwaliteit van het onderwijs in het vmbo onderdoet voor dat in het avo? Daar zijn wel aanwijzingen voor. Veel ouders zien hun kinderen liever in het avo dan in het vmbo, is dat onredelijk? Opleidingen in het vmbo leveren een lager ‘lifetime’ arbeidsinkomen op, daar heb je het al. Menselijk kapitaal. Fascinerende cijfers in dit CBS rapport: Marieke Rensman: ‘Menselijk kapitaal in cijfers’ CBS, hoofdstuk 8 uit ‘De Nederlandse economie 2011’ cbs.nl/-/media/import… Hoe belangrijk is dat menselijk kapitaal voor onze economie? “In 2009 bedroeg de waarde van het menselijk kapitaal in Nederland 6,7 biljoen euro.” “De omvang van menselijk kapitaal is veel groter dan dat van het niet-financieel en financieel vermogen, oftewel het nationaal vermogen.” Ik vermeld dit maar even, want het CPB vertikt het om kosten van onderwijs als investeringen te beschouwen, maar dat zijn ze dus in hoge mate! 

Een meer directe aanwijzing dat het niet goed zit met de kwaliteit van het onderwijs in het vmbo volgt uit een OECD-studie over kwaliteit van wiskundeonderwijs in OECD-landen:
Jill Barshay (2016). ‘Is it better to teach pure math instead of applied math? OECD study of 64 countries and regions finds significant rich-poor divide on math instruction’ hechingerreport.org/pure-math-bett…
OECD (2016). ‘Equations and Inequalities. Making Mathematics Accessible to All’ https://read.oecd-ilibrary.org/education/equations-and-inequalities_9789264258495-en#page1

Een quote daaruit: “While education systems have generally done well in providing equitable access to the QUANTITY of mathematics education […] the data show large differences in the QUALITY of learning experiences between social groups.
While disadvantaged students tend to learn simple facts and figures and are exposed to simple applied mathematics problems, their privileged counterparts experience mathematics instruction that help them think like a mathematician, develop deep understanding and advanced mathematical reasoning skills.” 

Er valt meer over te zeggen, maar laat ik het bot samenvatten met woorden van Vincent Icke, dat het vmbo het mag doen met raadseltjesrekenen, waar het avo serieus wiskundeonderwijs krijgt.
De kwaliteit van het onderwijs in het vmbo schiet tekort, dus ook de eindtoets-validiteit. 

De voorgaande tekst is qua lengte wat uit de hand gelopen. Begrijp eruit dat ontwikkelaars van eindtoetsen de dure plicht hebben de validiteit van gebruik van hun toetsen zorgvuldig te onderzoeken, en zeker ook mogelijk discriminatoir gebruik te signaleren.  #eerlijk_onderwijs 

Als er in dit vmbo-casus sprake is van discriminatie (of dat zo is, moet blijken uit toetsing door de rechter), dan kan gebrek aan validiteit van eindtoetsen niet worden gecompenseerd door dekking van de politiek. Discriminatie blijft discriminatie, en dat is niet aanvaardbaar. 

Laten we nu het algemene geval bekijken, voor twee behandelingen of schooltypen, A en B. Experimenteel onderwijsonderzoek gaat vaak over de vraag of A ‘beter’ is dan B, zo ja, dan blijft A.
Let op. Wat de eindtoets doet is iets ingewikkelds: leerlingen toedelen aan A òf aan B. De veronderstelling is kennelijk (stilzwijgend) dat sommige leerlingen het beter doen in A dan in B, en dat andere leerlingen het ‘beter’ doen in B dan in A, en dat de eindtoets dat kan voorspellen. Bij de buren heet dat de veronderstelling van een Aptitude Treatment Interaction (ATI). Lee J. Cronbach en Richard E. Snow onderzochten grondig wat daarover bekend is (uit Amerikaans onderwijsonderzoek, dat wel.) in hun 1977 ‘Aptitudes and Instructional Methods. A Handbook for Research on Interaction’ (voor een uur te leen in archive.org/details/aptitu…)
Enkele quotes: 

“We once hoped tat instructional methods might be found whose outcomes correlate very little with general ability. This does not appear to be a viable hope. (…)
The pervasive correlations of general ability with learning rate or outcomes in education limits the power of ATI findings to reduce individual differences.” (p. 500)

Bij een dubbelblind experiment zal het resultaat ongetwijfeld zijn dat in A de prestaties sterk correleren met eindtoetsscores, maar eveneens in B zal dat het geval zijn (regressielijnen zijn beide stijgend) Hm. Impasse? 

In het onderwijs is de correlatie tussen intelligentie en studieresultaten typisch ca. 0,7. Er is geen reden dat conditie A hierin verschilt van B, dus in ons gedachte-experiment zijn beide regressielijnen parallel, is er dus GEEN interactie, mogelijk wel een constant verschil. Bij een constant verschil, laten we zeggen dat de regressie voor conditie A een constante boven die van B ligt, levert A voor alle leerlingen het beste resultaat. De eindtoets zou alle leerlingen dan aan A moeten toewijzen. Dat zien we dus niet gebeuren. Wat is hier aan de hand? Misschien zie ik iets over het hoofd? Stel dat in conditie A de totale studietijd begrensd is, en dat er een groep is die tegen die grens aanloopt en daardoor lagere prestaties boekt. Maakt dat iets uit? Alleen als resultaten dan lager worden dan in B het geval zou zijn. Maar wat hebben we dan voor wonderlijke situatie? Vergelijk het met eindexamens, waar de toegemeten tijd ruim genoeg is zodat iedereen het werk binnen die tijd kan afronden; zou dat niet het geval zijn, dan verandert dat de prestatietoets in een kromme intelligentietest. Datzelfde kan ook met instructie- en zelfstudietijd: daar onhandige beperkingen aan stellen geeft leerlingen ongelijke kansen om goed te presteren. In dit eenvoudige gedachte-experiment vinden we dus dat het niet waarschijnlijk is dat een intelligentietest of eindtoets gebruikt kan worden om een rationele toedeling van leerlingen aan verschillende schooltypen te onderbouwen. In dit opzicht kan de eindtoets niet valide zijn. 

Verder met het gedachte-experiment. In de bereikte impasse komt de politiek langs en die zegt, na ampel beraad en advies van vele raden: we gaan die eindtoets toch gebruiken om leerlingen over A zowel als B te verdelen, omdat beide maatschappelijk noodzakelijk zijn. Dan komt de aap uit de mouw, er zijn andere belangen. Dat verandert de situatie radicaal: de politiek bepaalt een numerus fixus voor het aantrekkelijkste schooltype — in ons gedachte-experiment is gebleken dat dat type A was.
En de politiek zegt dat intelligentie bepalend is voor de toelating tot A. Wat hebben we dan: #meritocratie In een tweet eerder deze avond kwam een tabel langs die mooi laat zien hoe groot de overlap in ‘prestaties’ kan zijn, tussen de diverse opleidingstypen: https://twitter.com/ReMeij/status/1307370222014418949/photo/1
In de 90er jaren kon Nederland zien hoe prestaties in de basisvorming ook zo’n grote overlap hadden. Ik wil die uitkomst van meritocratie vanavond niet laten bungelen. Een meritocratie is een walgelijke, een dystopische samenleving, zoals Michael Young in 1957 schetste. En wel hierom: zie Michael J. Sandel 2020 ‘The tyranny of merit’. athenaeum.nl/boek/?authorti… (vertaald)

Dit is een goed moment om door te verwijzen naar een artikel over intelligentie, waar inderdaad nog wel iets meer over gezegd zou moeten worden: van12tot18.nl/intelligentie-…
[Wim van den Broeck bekritiseerde het: threadreaderapp.com/thread/1271064… ; mijn dupliek: benwilbrink.wordpress.com/2020/06/12/dup…]

Over het op rationele wijze (besliskundig) bepalen van grenzen tussen zakken/slagen zie het meer technische artikel in het TOR benwilbrink.nl/publicaties/80… vooral de paragraaf ‘Verbinding met het werk van Cronbach en Snow (1977)’ en Figuur 5.

Leuk hoor, die analyse op twee behandelingen/schooltypen A en B. Maar de eindtoetsen gaan over acht schooltypen, noem ze maar A, B, C, D, E, F, G en H. Ik heb die eindtoetsen gekenmerkt als type intelligentietests (SAT’s bij de buren). Die intelligentie moet wel heel veel werk doen! Hoe kan het bestaan dat leerlingen in acht verschillende schooltypen worden geplaatst op basis van slechts een enkele variabele? Er moeten dan zeven reële interacties intelligentie-studieresultaten zijn. En dat de toetsen voor die ene variabele dan ook nog ‘valide’ heten? Ik ben mij niet bewust van het bestaan van literatuur die dit bizarre casus analyseert. Iedere tip is welkom.

Ik zal zelf deze witte vlek op de toetskaart moeten verkennen. Ik ga gebruik maken van de analogie met selectie voor numerus-fixusstudies, ook een plaatsingsprobleem. In het hoger onderwijs is het mogelijk om opleidingen te rangordenen naar de mate waarin zij intellectueel minder of juist meer veeleisend zijn. Pedagogiek is in NL (maar ook in de VS) minder veeleisend, en staat ook ergens onderaan in status. Ruimtevaarttechniek is veeleisend. De VS kent een sterke hiërarchie tussen universiteiten. Wie wat beter kijkt, ziet dat die hiërarchie mede berust op de aard van aangeboden opleidingen: vooral pedagogiek (‘education’), of juist vooral techniek (bv. MIT). Er wordt in de VS volop geselecteerd, hoe gaat dat? Zie Rebecca Zwick (2017). ‘Who Gets In? Strategies for Fair and Effective College Admissions’ Info: hup.harvard.edu/catalog.php?is…
Interview: ets.org/research/polic…
Dit boek geeft weer hoe men in de VS over selectie denkt, in het bijzonder ook bij het Cito van de VS: Educational Testing Service. 

Who Gets In? — Rebecca ZwickOn the disputed topic of U.S. college admissions, everyone agrees that this high-stakes competition is unfair. But few agree on what a fair process would be. Stressing transparency in evaluating appli…http://www.hup.harvard.edu/catalog.php?isbn=9780674971912Selectieve tests in de VS zijn scholastic aptitude tests, zoals de SAT (van de College Board) en de ACT (act.org, ceo is Marten Roorda, voorheen ceo Cito eu.press-citizen.com/story/news/loc…)
En ja, het Cito, en de NL testpsychologie en psychometrie, zijn sterk georiënteerd op de VS. 

Roorda takes the helm at ACT

Al dat gedoe met tests suggereert dat alles dan ook draait om die tests. Maar zo gaat het niet. Men kiest eerst vooral zelf voor pedagogie, of ruimtevaarttechniek (zelf-selectie), en om dat te realiseren wacht er misschien een selectieve toelating (selectie-aan-de-poort).
Zo gaat het ook ongeveer bij onze 12-jarigen, toch? Op dit punt aanbeland zou ik graag een paar grote thema’s tegelijk behandelen, maar ja, dat kan dus niet. Stel vast dat er een reeks van 8 schooltypen is, in volgorde van intellectuele eisen die er gesteld worden (dalen, of klimmend), en een eindtoets/intelligentietest. Laten we inspiratie voor een vruchtbaar begin van de analyse halen uit wat Sandel zegt aan het slot van het interview dat Trouw (19 sept.) met hem had trouw.nl/religie-filoso…:
“De hoogopgeleide elites in de VS, maar ook in Nederland en de rest van Europa] waren zich niet bewust 

Filosoof Michael Sandel ontrafelt de populistische opstand: ‘Arbeiders beseffen dat de elite op hen neerkijkt’

van de belediging die besloten lag in hun meritocratische model, namelijk dat wie niet omhoog klimt, dat aan zichzelf te wijten heeft. Ze zagen niet hoe neerbuigend ze waren.”
Ons vo volgt het meritocratisch model: het ‘beste’ onderwijs is voorbehouden aan de ‘intelligentsten’! Grote thema’s zijn in ieder geval:
– onderwijs is kennelijk een schaars goed (maar dat zou het niet moeten zijn?)
– hoe kan dit schaarse goed eerlijk worden verdeeld?
– wat valt er te leren van meer dan 40 jaar gewogen loting voor numerus-fixusstudies?

 – wat is ‘intelligentie’ eigenlijk? Persoonlijke verdienste? Of het geluk van waar je wieg heeft gestaan?
– het bo slaagt niet in het beperkt houden van milieu-bepaalde verschillen
– voor dit falen van het bo worden de leerlingen gestraft met oneerlijke kansen op vo — vo in 8 typen, dat is te gek. Waarom is dat zo, hoe anders?

– eindtoetsen kunnen in deze constellatie van tekortschietende condities alleen maar valide worden genoemd door al die onvolkomenheden als onveranderlijke gegevenheden te beschouwen.

Maar zo kan het dus niet. Ik zou misschien het best verder kunnen gaan met de laatste stelling als uitgangspunt, en dan kort aanstippen op welke manieren zoal een selectie op basis van intelligentie/eindtoetsen oneerlijk/discriminerend is. Dikke boeken kan ik altijd nog schrijven. Ha ha. 

U vermoedde het mogelijk al: deze draad is een riskant avontuur waarin de stelling dat validiteit van eindtoetsen zich niet laat bepalen leidt tot een aantal voor mij nieuwe inzichten.

  • Zoals de vergelijking van selectie van 12-jarigen met die bij numerus-fixusstudies.
  • Zoals de stelling dat kwalitatief ondermaats wiskunde-onderwijs in het vmbo, samen met oververtegenwoordiging van kinderen van laagopgeleide ouders in dat vmbo, de toewijzing van kinderen aan vmbo-scholen mogelijk discriminerend is.
  • Zoals de stelling dat selectie voor vo-schooltypen sterke trekken heeft van selectie voor telkens beperkt aantal plaatsen (numerus-fixus), die veel ‘geschikte’ kandidaten afwijst, te veel dus.
  • Zoals het inzicht dat eindtoetsen problematisch bungelen tussen examens en tests: wel of juist niet doeltreffend voor te bereiden. 
  • Laat ik toch even aanhaken op dat ‘bungelen’, want daardoor gaan allerlei extra storende variabelen een rol spelen en raakt uit het zicht wat validiteit dan nog is. Storende variabelen, dat levert ‘construct-irrelevant variance’ op. Het zijn er heel wat, ook los van dat ‘bungelen’: zie tabel 1 ‘A Taxonomy … Systematic Errors …’ in Thomas M. Haladyna & Steven M. Downing (2005). Construct-Irrelevant Variance in High-Stakes Testing. Educational Measurement: Issues and Practice sci-hub.tw/10.1111/j.1745… Dit artikel bespaart mij weer een hoop schrijfwerk.
  • Ik moet daar toch dringend iets aan toevoegen, en wel dat ‘intelligentie’ zelf een optelsom is van ‘construct-irrelevancy’: het is immers niet een aangeboren stabiele persoonlijkheidstrek, maar mede resultaat van onderwijs. benwilbrink.wordpress.com/2020/05/24/int… Afijn, ik verwees er al naar.

Ik wil even terug naar de kernvraag: ‘van wie is het onderwijs’, waar is het allemaal goed voor? Als u een ultiem criterium voor maatschappelijk relevant onderwijs mag kiezen, wat zou dat zijn? Waar kan het aan worden afgemeten? Het mag ook een proxy zijn, een sterke indicator. 

Ik stel voor: laten we menselijk kapitaal nemen als (proxy)variabele waar het uiteindelijk bij het onderwijs om draait. Vat het breed op: ook gezondheid. En neem het zowel in maatschappelijke zin, als individueel. Bas Jacobs over menselijk kapitaal: personal.eur.nl/bjacobs/rendem…

We kwamen menselijk kapitaal eerder al tegen als het belangrijkste kapitaal in de (economische) samenleving. Meer ervan is beter. Onderwijs is de belangrijkste producent van menselijk kapitaal. Hamvraag: is er nog aanzienlijke ‘reserve’ in wat het onderwijs kan produceren? Die vraag doet denken aan die andere vraag, na de oorlog vaak gesteld, ‘wat is de reserve aan intellect in Nederland’? Want die reserve moet het onderwijs dan aanboren. Maar dit terzijde, want deze draad gaat over validiteit, if any, van eindtoetsen: wat moeten ze voorspellen? 

Velen, ook A.D. de Groot, hebben opgemerkt dat in het onderwijs niets zo goed voorspelt als recente prestaties. Er is in het onderwijs een groot vertrouwen in resultaten uit het verleden als voorspeller van de toekomst. Maar pas op: dit gaat over verschillen tussen leerlingen. Wat hebben we hier te pakken: het mechanisme dat verschillen tussen leerlingen in stand houdt. Ongelijkheid troef, hoe groter de ongelijkheid, des te beter de voorspellingen. Voorzover verschillen tussen leerlingen SES-bepaald zijn, reproduceert onderwijs verschillen in SES. Het geschetste mechanisme is rampzalig voor eerlijk onderwijs, maar dus ook voor wat het onderwijs aan menselijk kapitaal produceert. Wat eindtoetsen zouden moeten doen, is voorspellen wat opbrengsten in termen van menselijk kapitaal zijn, bij gegeven schooltypen. Kunnen ze dat? Laten we wel wezen, het gaat bij deze 12-jarigen om beslissingen die mede bepalend zijn voor hun verdere leven. Het is van de gekke om die beslissingen zo kortzichtig te nemen als nu in feite gebeurt. Toch is dat wat we doen: beslissen op de korte klap, voor de lange termijn. 

Een voorbeeld van wat ik bedoel. Selectie voor geneeskunde. Velen zijn van mening dat dat goed kan op basis van eindexamencijfers, want kandidaten met hogere cijfers blijken betere resultaten in het eerste of tweede jaar van de studie geneeskunde te halen. Goed argument? Als u ‘ja’ zegt, bent u in gezelschap van een aantal promovendi die zich beijverd hebben om dat verband weer eens opnieuw aan te tonen. U kunt ook ‘nee’ zeggen, want eindexamencijfers zeggen weinig of niets over later een goede arts zijn. En dat laatste klopt waarschijnlijk. Uiteindelijk gaat het om een goede arts zijn, niet of meer of minder tijd voor de studie nodig is.

Dat selectie op het criterium van beroepsuitoefening lastig of onmogelijk is, is geen argument om dan maar op verwacht studiesucces te selecteren. (Kan het niet zoals het moet … ) 

Nederland heeft een belangrijk en boeiend onderwijsexperiment achter de rug: meer dan 40 jaar gewogen loting voor numerus-fixusstudies. Dat ging gepaard met de nodige maatschappelijke discussie over wat eerlijk is, zie mijn rapportage voor de Cie-Drenth benwilbrink.nl/publicaties/97… ‘Kan het niet zoals het moet, dan moet het maar zoals het kan’ is te kort door de bocht: er zijn altijd alternatieve mogelijkheden voor het verdelen van schaarste. Zie bijvoorbeeld: Jon Elster (1992). ‘Local justice. How institutions allocate scarce goods and necessary burdens’ Cambridge UP. 

Tegenwerping: Je zegt toch dat die eindtoetsen (als ‘scholastic aptitude tests’) intelligentietests zijn? En intelligentie voorspelt toch succes in het leven, en dus ook menselijk kapitaal?
Klopt. Maar daar zijn een paar probleempjes mee, een drietal: 

1) Eindtoetsen zijn beroerde intelligentietests omdat ze niet als zodanig zijn ontworpen. Ze testen op intelligentie, maar we weten niet hoe dan precies, dus leerlingen worden onderworpen aan willekeur. Alweer: beroerde of in het geheel geen validiteit. 

2) Het kan zomaar zijn dat achtergrondvariabelen zoals sociaal-economische achtergrond betere voorspellers van succes in het leven zijn, en van menselijk kapitaal. En wel in deze zin dat intelligentietests daar geen voorspellende waarde aan toe kunnen voegen. 

3) Intelligentie is niet aangeboren, maar vooral een resultaat van onderwijs. Ieder jaar extra onderwijs voegt intelligentie toe. Het is ook een heel erg schools ding, bewust zo gekozen door Alfred Binet, rond 1900. We moeten het dus niet buiten die schoolse context gebruiken. 

Het laatste is dan weer een variant op: succes in school is niet hetzelfde als succes in de samenleving (breed opgevat).
Succes in school hebben is wat we intelligentie noemen; voor succes in de samenleving is bijvoorbeeld het hebben professionele expertise van belang. Dat neemt niet weg: in onze ongelijke samenleving is het onderwijs poortwachter voor schaarse maatschappelijke posities. Het verband tussen intelligentie en maatschappelijk succes is dus een self-fulfilling prophecy: zo is het bedoeld te functioneren. #onderwijsbeleid_is_oorlog 

Linksom of rechtsom kunnen we er niet omheen dat die selectie van 12-jarigen een groot maatschappelijk onrecht is, een onrecht dat mede in stand wordt gehouden door eindtoetsen die belanghebbenden graag ‘objectief’ noemen, alsof ze geen toedekkende rol in een kwaad drama spelen. I

k wil hier de ontdekkingsreis afsluiten.Ik heb laten zien dat de vraag naar validiteit van eindtoetsen niet los mag worden gezien van de schoolse en maatschappelijke context waarin die toetsen worden gebruikt om belangrijke beslissingen OVER (niet VAN) leerlingen te legitimeren. 

Ik heb eerder over problemen rond eindtoetsen geschreven, en over de kwaadaardige nadruk op verschillen tussen leerlingen waar zij stilzwijgend van uitgaan. ik geef een aantal links. 

– Talent: aangeboren of aangeleerd? Dat maakt nogal uit voor onderwijs! komenskypost.nl/?p=2971
– Advies en eindtoets — beide eufemismen — Wat is ervan te vinden? komenskypost.nl/?p=4849
– Over maantjes, sterretjes en zonnetjes en veel meer. https://komenskypost.nl/?p=4883

– De rode draad is het thema ‘eerlijk onderwijs’ komenskypost.nl/?p=4110
– Jubileumboek 50 jaar Cito – Mantel der liefde benwilbrink.wordpress.com/2019/10/07/jub…
– [een literatuurbestand over aansluiting bo-vo: benwilbrink.nl/literature/aan… ]

PM Dit is nog een heel ruwe tekst, waarin sommige belangrijke inzichten wat onhandig zijn geformuleerd. Ik zal er nog wel eens op terugkomen met een betere uitwerking van de pareltjes in deze molshoop, mogelijk voor een publicatie.

Gelijke kansen, of eerlijk onderwijs?

[Toegevoegd 20 oktober 2020; Twitter draadje https://twitter.com/benwilbrink/status/1317863786485788672 ]

Wanneer houden die onderwijskansen eigenlijk op? Over ongelijke kansen gesproken: wij selecteren 12-jarigen naar ongelijke-kansen-onderwijs: beroepsonderwijs of algemeen vormend. Als we het nu eens zo blijven benoemen, dan is minder makkelijk om ervoor weg te duiken.

De drogreden die we vaak, zij het meestal impliciet, te horen krijgen: het basisonderwijs geeft gelijke kansen, dus die selectie van 12-jarigen is volkomen terecht. Maar dat slaat natuurlijk nergens op. Zie Sandel: https://benwilbrink.wordpress.com/2020/10/07/annotaties-bij-sandel-2020-the-tyranny-of-meritocracy/

Ik kan het ook anders, korter, duidelijk maken. We jammeren wat af over oneerlijke kansen bij het advies van de school, in vergelijking met uitslagen van de eindtoets. Maar het gaat toch om de ongelijkheid inherent in die beslissingen zèlf: wie mag naar havo, wie moet naar mavo.

Ho ho, krijg ik te horen: ‘het gaat om gelijke kansen bij gelijke capaciteiten’. Wat zijn dan die capaciteiten? Wanneer zijn ze gelijk? Geven ‘meer’ capaciteiten rechten die anderen niet hebben? Ooit een ‘capaciteit’ gevangen, gezien, gewogen, onderzocht?

capaciteiten ~ talenten ~ intelligentie ~ vermogens ~ expertise ~ kennis ~ beheersing. Geleerd op school, geleerd buiten school, of aangeboren? Nog in ontwikkeling, of al uitontwikkeld? Hoe gunstig waren omstandigheden (inclusief school!), hoe gunstig zijn ze in de toekomst?

Tja, het is complex, maar we kunnen toch met elkaar afspreken hoe we ermee omgaan, ook al schiet onze kennis tekort? Ja, dat kan. Maar wie zijn dan de betrokken partijen, en hoe bepalen zij hun onderlinge invloed, in overeenstemming met het belang dat zij erbij hebben?

Kijk, daar heb je dan al gauw een batterij filosofen voor nodig, over wat rechtvaardig is, en alles wat daar mogelijk uit volgt, ten goede, of ten kwade. John Rawls. Amartya Sen, Martha Nussbaum. Dat het om kinderen gaat maakt het niet eenvoudiger; kunnen zij achteraf oordelen?

De lastige knoop wordt natuurlijk doorgehakt door de politiek, in meerder of mindere mate beïnvloed door tradities en gewoonten. Kortom, we kunnen onmogelijk zeggen dat die selectie van 12-jarigen een zaak is van eerlijke kansen, voor de kinderen is het eerder gestolde willekeur.

Gelijke kansen, wat zijn dat? [draadje

Dat hangt ervan af. Ik heb de indruk dat we in NL het Amerikaanse begrip ‘equal opportunity’ hebben overgenomen: gelijke kansen bij gelijke capaciteiten. Maar dat is een meritocratisch begrip. Zie Sandel ‘The tyranny of merit’ p. 224 de par. ‘Beyond equality of opportunity’.

De Nederlandse discussie over gelijke kansen, zoals bijv. door de Inspectie, gaat over dat meritocratische begrip: gelijke kansen bij gelijke capaciteiten. Maar die capaciteiten zijn stromannen: ze bestaan immers niet als bij de geboorte al vastgelegde kennis/vermogens.

Dat betekent dat de vervolgvraag moet zijn: wat zijn gelijke kansen op het verwerven van die capaciteiten? Voor het antwoord daarop moeten we niet kijken naar wat ‘gelijk’ is, maar naar wat ‘ongelijk’ is. Al die nadruk op ‘gelijke kansen’ leidt tot wegkijken van ongelijkheid.

Daarom pleit ik voor in de discussie inwisselen van die misleidende ‘gelijke kansen’-retoriek voor EERLIJKE kansen. Wat dat zijn, dat weet ik ook niet, maar het is bitter noodzakelijk daar maatschappelijk over te discussiëren. https://van12tot18.nl/op-weg-naar-eerlijk-onderwijs

meer literatuur

Niki De Bondt, Vincent Donche & Peter Van Petegem (2020). Are contextual rather than personal factors at the basis of an anti-school culture? A Bayesian analysis of differences in intelligence, overexcitability, and learning patterns between (former) lower and higher-track students. Social Psychology of Education. Abstract: https://link.springer.com/article/10.1007/s11218-020-09597-5

George F. Madaus (1983?). Minimum competency testing for certification: The evolution and evaluation of test validity. Ch. 2, pp 21-61, in George F.Madaus & Daniel L. Stufflebeam: The courts, validity, and minimum competency testing. Kluwer-Nijhoff Publishing.  $ only Preview and references: https://link.springer.com/chapter/10.1007/978-94-017-5364-7_2

Hans van der Vleugel, Willem K. B. Hofstee, Henk van Dijk, Henk Groen, Janke Cohen-Schotanus (1973). Begripsvalidatie van een studietoets. Nederlands Tijdschrift voor de Psychologie, 1973, 28, 237-347. Zie ook http://benwilbrink.nl/literature/validity.htm#VHDGC voor een gedeeltelijke transcriptie. Van belang in verband met de stelling dat bij beschouwing van de validiteit van eindtoetsen de aard van het stelsel van middelbaar onderwijs niet buiten beschouwing kan blijven is de laatste alinea in het artikel: “Tot slot zij vermeld dat op een bespreking in de Werkgroep Meet-methoden als kritiek op de gedachte van begripsvalidatie van toetsen (zoals uiteengezet in Hofstee 1971) naar voren kwam, dat de onderzoeksprocedure meer slaat op het onderwijs in kwestie dan op de toets (P.J. Drenth, mondeling). Inderdaad lopen in het bovenstaande deze zaken door elkaar. Als herformulering zou dan ook gegeven kunnen worden, dat beoordelingsgegevens als invalshoek worden gebruikt om uitspraken te doen over het onderwijsstelsel als geheel. Toetsvalidatie, zo opgevat, is een variant van de indirekte of “averechtse” systeem-diagnostiek (Hofstee 1969).” [Hofstee (1969). Individuele verschillen, en averechtse toepassing. Ned. Tijdschr. Psychol., 24, 482-493] [Hofstee (1971). Begripsvalidatie van studietoetsen: een aanbeveling. Ned. Tijdschr. Psychol., 26, 491-500, herdrukt in P. J. van Strien (Red.) (1976). Personeelsselectie in discussie. Meppel: Boom. 121-140 ]

Linda Sturman (2003). Teaching to the test: science or intuition? Educational Research, 45, 261-273. https://sci-hub.se/10.1080/0013188032000137256

Lloyd G. Humphreys, David Lubinski, and Grace Yao (1993). Utility of Predicting Group Membership and the Role of Spatial Visualization in Becoming an Engineer, Physical Scientist, or Artist. Journal of Applied Psychology, 78, 250-261. https://tinyurl.com/y5tbh37g

tekst op p. 250:      “The Standards for Educational and Psychological Testing (American Educational Research Association [AERA1, American Psychological Association, & National Council on Measurement in Education, 1985) discusses criterion-related evidence and lists specific standards solely in terms of relations between individual differences on predictor tests and in criterion performance. Consider, for example, the following quotation that was presented by the authors as the central question in criterion-related validation: “How accurately can criterion performance be predicted from scores on the tests?” (p. 11). It is not obvious to us, however, that this is the only question or always the most important question. We argue that the prediction of group membership also is a desirable criterion for consideration in predictive validation. To illustrate the importance of predicting group membership, we exemplify how spatial ability tests are useful in predicting group membership in various engineering and physical science educational/occupational categories. This empirical demonstration not only reveals the usefulness of this methodology but also has implications for identifying individuals, at both the undergraduate and graduate level, with exceptional talent for and commitment to engineering and physical science disciplines, the second objective of this article. Before proceeding, however, a brief review of the traditional form of predictive validation is necessary to point out its distinctiveness from the group membership approach.      Regressions of criterion performance on predictors may be considered the “classic” approach. Although this approach has much to offer, it also has numerous problems associated with it, as illustrated in the discussion in Standards (AERA, 1985) concerning the evaluation of criteria documents. Research in both civilian occupations and military assignments, extending over many years, points clearly to two concerns: First, any one criterion measure contains a substantial quantity of unique variance, and a composite of several measures of performance having widely varying methods variance components is likely to be the most valid (Carroll, 1985; Humphreys, 1985; Lubinski & Dawis, 1992). A second problem with the classic approach to predictive validation arises from the instability of individual differences in performance over successive occasions of measurement during training, from training to performance on the job, and over occasions on the job. Hulin, Henry, and Noon (1990) have recently reviewed this literature, which led to the following question: How many different time periods between testing on predictors and obtaining criterion measures are required in studies of predictive validity? We really do not know. “

C. L. Hulin, R. A. Henry & S. L. Noon (990). Adding a dimension: Time as a factor in the generalizability of predictor relationships. Psychological Bulletin, 107, 328-340. https://tinyurl.com/yymyngts

Frederick Mosteller, Richard J. Light and Jason A. Sachs (1996). Sustained inquiry in education: lessons from skill grouping and class size. Harvard Educational Review, 66, 797-842. https://tinyurl.com/yyak8k3q Indrukwekkend artikel. Skill grouping (ipv ability grouping want dat suggereert een onwrikbare eigenschap): research ontbreekt voornamelijk, en wat er is levert geen eenduidige resultaten.

H. Blok, & W. E. Saris (1980). Relevante variabelen bij het doorverwijzen na de lagere school; een structureel model. Tijdschrift voor Onderwijsresearch, 5, 63-  . https://tinyurl.com/y27h9zpa p. 78: “Uit het feit dat de score op de Cito-toets een uiterst klein effect heeft op de plaatsing, menen wij te kunnen afleiden dat plaatsingscommissies geen beslissingen baseren op de toetsscore alleen. Via het tweede advies oefent de Cito-score nog enige indirecte invloed uit op de plaatsing, maar ook dit effect (.016) is zeer gering. Blijkbaar voegt de toetsscore nauwelijks nog iets toe aan de informatie over schoolprestaties en voorspelde toetsscore die reeds in de adviezen en de aanmelding verwerkt zijn. Als gevolg daarvan concluderen wij dat de invloed van de score op de toets tijdens de LO-VO overgang verwaarloosbaar klein is. Dit betekent niet dat de toets zelf geen invloed heeft op de LO-VO overgang. Want van de door de leerkracht verwachte score op de toets blijkt een grotere invloed uit te gaan. Via dit direct effect van predictie op advies 1 heeft de Cito-toets een invloed op de uiteindelijke plaatsing die niet verwaarloosd kan worden (.228). Het merkwaardige feit doet zich dus voor dat de toets wel enige invloed heeft op de overgang, niet via de behaalde maar via de verwachte score.”<li>Het eerste advies van de school is dus be&iuml;nvloed door wat men denkt dat de Cito-toets aan cognitieve vaardigheden toetst. b.w.<li>p. 78: “Tot slot merken wij op dat de invloed van schoolprestaties gedurende de gehele overgang erg groot is. Zowel de beslissingen van onderwijzers als van ouders als van toelatingscommissies blijken voor het grootste deel direct dan wel indirect gebaseerd te zijn op de schoolprestaties van leerlingen. Alleen in het eerste advies en de aanmelding is nog ruimte aanwezig voor directe effecten van andere variabelen. Over de identiteit van deze variabelen levert ons onderzoek geen aanwijzing op. Het lijkt echter niet onwaarschijnlijk dat het gaat om kwaliteiten als ijver, motivatie, doorzettingsvermogen en de eigen wens van de leerling.”

Henk Blok en Hildo Wesdorp (1979). De schooltoets na twaalf jaar. Deel I: Een evaluatie van de op de leerling gerichte functies: selectie voor het V.O., advisering aan de ouders en opsporing van reserve aan talent. Paedagogische Studiën, 56, 335-347. https://tinyurl.com/yy8ykz26

Henk Blok en Hildo Wesdorp (1979). De schooltoets na twaalf jaar. Deel II: Een evaluatie van de op het onderwijs gerichte functies: analyse van de stand van het onderwijs, concretisering van doelstellingen en beïnvloeding van het lager onderwijs.. Paedagogische Studiën, 56, 388-396. https://tinyurl.com/yyb5dgrf

Lisette Swart, Wiljan van den Berge en Derk Visser (2019). De waarde van eindtoetsen in het primair onderwijs. CPB Policy brief. https://www.cpb.nl/sites/default/files/omnidownload/CPB-policy-brief-2019-03-de-waarde-van-eindtoetsen.pdf Er is heel wat over getwitterd, op 3 en 4 april. Het CPB slaagt erin een rapport te schrijven over de waarde van advies en eindtoets in de voorspelling van vo-trajecten zonder het woord ‘validiteit’ te schrijven. Dat vind ik toch knap.  Het geeft aan dat het rapport amateuristische trekjes heeft. <p>Het rapport babbelt maar voort, er komt van alles en nog wat aan de orde, maar er zit geen samenhang in.  Een behoorlijk theoretisch kader ontbreekt, de onderzoekers doen maar wat, met de data die toevallig beschikbaar zijn. Testpsychologische kennis ontbreekt totaal. Een vergelijking met het Utrechtse onderzoek (zie NRC vandaag) zou een en ander duidelijker kunnen doen uitkomen, maar ik heb dat Utrechtse onderzoek nog niet gezien (artikel in het aprilnummer van De Psycholoog, heb ik nog niet op mijn deurmat aangetroffen. Komt nog wel).

Kimberley Lek (2020). Teacher knows best? On the (dis)dvantages of teacher judgments and test results, and how to optimally combine them. Thesis. https://www.cito.nl/kennis-en-innovatie/kennisbank/proefschrift-teachers-knows-best-kimberley-lek-2020

Kimberley Lek & Rens van de Schoot (2019). Wie weet het beter, de docent of de centrale eindtoets? De Psycholoog. Lees online: https://www.tijdschriftdepsycholoog.nl/wetenschap/wie-weet-het-beter-de-docent-of-de-centrale-eindtoets/ (Voor annotaties en een gedachtewisseling met Rens van de Schoot zie http://www.benwilbrink.nl/literature/aansluitingbovo.htm#Lek_Schoot)

Geert Driessen (2005). De totstandkoming van de adviezen voortgezet onderwijs: invloeden van thuis en school. Pedagogiek, 25, 279-298. https://www.researchgate.net/publication/47682245_De_totstandkoming_van_de_adviezen_voortgezet_onderwijs_invloeden_van_thuis_en_school

Geert Driessen (2006). Het advies voortgezet onderwijs: is de overadvisering over? Mens en Maatschappij, 81, 5-23. https://www.aup.nl/journal-downloads/mens-en-maatschappij/vol_81_no_1_-_het_advies_voortgezet_onderwijs.pdf

G. Driessen, J. Doesborgh, G. Ledoux, M. Overmaat, J. Roeleveld en I. van der Veen (2006). Van basis- naar voortgezet onderwijs. Voorbereiding, advisering en effecten. ITS/SCO-Kohnstamm Instituut. https://repository.ubn.ru.nl/handle/2066/211591

Egbert Warries (1972). De invloed van een toetsprogramma. Pedagogische Studiën, 49, 73-82. https://tinyurl.com/y6rkrqht

D. J. Bos (1973). De Amsterdamse schooltoets en de differentiatie van brugklasleerlingen. Paedagogische Studiën, 50, 62-69. https://tinyurl.com/y6eug4oq

D. J. Bos (1974). Schoolkeuze-adviezen. Resultatencontrole na vijf jaar. Universiteit van Amsterdam (proefschrift). Den Haag: Mouton. [Jan Bos was medewerker van A. D. de Groot op het R.I.T.P. Het gaat om onderzoek naar schooladviezen uit enkele jaren voordat de Amsterdamse schooltoets werd ingezet. Conclusies zijn ondoorzichtig geformuleerd. 50% van de adviezen komt overeen met het resultaat na vijf jaar, maar wat betekent dat precies? ]

M. Groen (1967). De voorspelbaarheid van schoolcarrières in het voortgezet onderwijs. Groningen: Wolters. [Enkele longitudinale studies van vijftiger-jaren groepen; proefschrift, promotor A. D. de Groot; gebruikt o.a. Cronbach & Gleser (1965) als methodologische basis]

<a name=”Vedder_92″></a><p><br><hr><p class=’lit’>

Paul Vedder (1992). Het Cito-Leerlingvolgsysteem. Spelen met oogkleppen op. Pedagogische Studiën, 69, 284-290. https://tinyurl.com/y3m95dco

T. Kuiper (1930). Maatschappelijk milieu, algemene intelligentie en de selectie voor het middelbaar onderwijs. Mensch en Maatschappij, september 1930. Ook als no. 13 in de Mededelingen van het Nutsseminarium voor Paedagogiek aan de Universiteit van Amsterdam. Herdrukt in Pedagogische Studiën, 1974 (51), 23-27. https://tinyurl.com/yxrw4lr9

Herman Wieberdink en Heleen Kuster (6 juni 2011). Cito bepaalt niet wat goed onderwijs is. De Volkskrant https://www.volkskrant.nl/columns-opinie/cito-bepaalt-niet-wat-goed-onderwijs-is~b6644387/ Zie ook mijn blog (ook al staat mijn naam er niet boven) https://www.beteronderwijsnederland.nl/blogs/2011/06/cito-bepaalt-niet-wat-goed-onderwijs-is/

Matthijs Warrens, Monique Dijks, Erik Fleur en Hanke Korpershoek (17 juni 2019). Schooladvies: de leerkracht weet het beter. Didactief https://didactiefonline.nl/artikel/schooladvies-de-leerkracht-weet-het-beter (gebaseerd op empirische gegevens (via DUO) van meer dan honderdduizend leerlingen) Maar ja, of leerlingen na enkele jaren op de voorspelde plek zitten, of niet, is op zich niet doorslaggevend voor de vraag naar de validiteit van advies en/of eindtoets, daar gaat juist mijn betoog over.

M. A. Dijks, M. J. Warrens, E. Fleur, H. Korpershoek, I. J. M. Wichgers, en R. J. Bosker (2020). The predictive power of track recommendations in Dutch secondary education. Pedagogische Studiën. http://www.pedagogischestudien.nl/download?type=document&identifier=718914

Livingston, Samuel A., & Lewis, Charles (1995). Estimating the consistency and accuracy of classifications based on test scores. Journal of Educational Measurement, 32, 179-196. http://www.ets.org/Media/Research/pdf/RR-93-48.pdf [Dit gaat over sorteren in meerdere categorieën, op basis van scores op een enkele (samengestelde) test. Het artikel laat het ambacht van de psychometrici zien: er kan fijn aan worden gerekend, maar hoe zinnig het allemaal is blijft onduidelijk. Het probleem is dat de categorieën geen natuurlijke categorieën zijn, maar een willekeurige indeling op een continuum van testscores]

Hillel J. Einhorn & Robin M. Hogarth (1978). Confidence in judgment: persistence of the illusion of validity. Psychological Review, 85, 395-416.  https://tinyurl.com/y4ph8q7y [Dat artikel komt uit een psychologisch toptijdschrift. Het is moeilijk leesbaar en vooronderstelt veel kennis. Probeer eens wat artikelen die het citeren (1613 stuks!) https://tinyurl.com/y4tejoyt Nog beter is dat ik een keer probeer het in 2 of 3 blogs te vertalen naar onderwijs.]

“Kamer verbaasd over uitkomsten CITO-onderzoek” NRC 19 februari 1996. https://www.nrc.nl/nieuws/1996/02/19/kamer-verbaasd-over-uitkomsten-cito-onderzoek-7299732-a114062 “Een kwart van de Mavo-leerlingen scoorde vorig schooljaar ten minste zo goed als de gemiddelde VWO’er. Ook bleek dat één op de tien leerlingen in het voorbereidend beroepsonderwijs de helft van de VWO-leerlingen in absolute schoolprestaties voorbijstreeft.”

Wubby Luyendijk (26 februari 1996). CITO-toets basisvorming is ‘reinste volksverlakkerij’ NRC https://www.nrc.nl/nieuws/1996/02/26/cito-toets-basisvorming-is-reinste-volksverlakkerij-7300584-a274453 “Op het VWO leer je in de basisvorming bij Nederlands niets wat je niet al geleerd hebt op de basisschool, is het oordeel van dr. H. van den Bergh van de Universiteit Utrecht.”

‘Wat moet citotoets aantonen: kennis of begrip?’ Door Xandra van Gelder en Mergreet Vermeulen opgetekend in de Volkskrant, 3 februari 2001. Een grappig twistgesprek uit 2001, dat tegelijk ook het falen laat zien van een overgewaardeerde (want zogenaamd ‘objectieve’) test. https://twitter.com/benwilbrink/status/1340317813764976641

(10-2-2020). Kamerbrief rondom eindtoetsing en schooladviezen. https://www.tweedekamer.nl/kamerstukken/brieven_regering/detail?id=2020Z24560&did=2020D51534Met deze brief informeer ik u over drie zaken rondom de eindtoets en de overgang van primair onderwijs (po) naar voortgezet onderwijs (vo). In het eerste deel van deze brief ga ik in op het wegvallen van de eindtoets in 2020 en de inzet om de eindtoets dit schooljaar door te laten gaan. Het tweede deel zoomt in op de governance rondom de eindtoetsen. Afgelopen jaar zijn de checks and balances in het huidige stelsel versterkt. Tot slot licht ik in het derde deel van de brief enkele onderdelen bij het Wetsvoorstel doorstroomtoetsen po toe, waaronder een toelichting op de uitvoeringstoets van het amendement-Bisschop.

Camilla Addey ,Bryan Maddox &Bruno D. Zumbo (2020). Assembled validity: rethinking Kane’s argument-based approach in the context of International Large-Scale Assessments (ILSAs). Assessment in Education: Principles, Policy & Practice, Volume 27, Issue 6 https://doi.org/10.1080/0969594X.2020.1843136

The concept of individual differences

  • [de blog is gebaseerd op deze Twitter thread thread;
    unrolled: here]

Question #1: do they really exist? Is it possible for a difference to really exist?
I can hear you shouting: ‘Of course they do, come and visit my classroom!’ Yet I once surprised Denny Borsboom (research on validity) with my question.

In decision making: choose the option with the higher expected utility. Even if the differences between expected utilities of your options are small and statistically not significant. (where is that publication of Herb Simon?)
How does that impact educational decision making?
[On utility functions, see my SPA-Project here].
Expected utility is the ‘product’ (weighting) of the probability density and the utility function.
F.e. the threshold utility function 0 (fail) and 1 (pass) a test. Expected utilities then equal chances to pass the test].

Utility and expected utility, totally different concepts, tend to be confused / mixed up In the literature on criterion referenced testing. There is still work to do here 😉
In personnel testing the employer will choose the candidates he expects will contribute best.

An example: 19th c. admissions to the U.K. Civil Service. The exams order candidates, available slots (numerus clauses) get filled by the relatively best.
There’ll be a small and definitely insignificant difference between the last person selected and the first one rejected. Is that a problem? How can a small and definitely insignificant difference be a ‘valid’ difference? It can not. Here we have a small difference having large consequences. How is that to be defended or explained?

Edgeworth 1888 answers that question, see here.
The answer goes somewhat as follows. The examination is the best we can do. Because of the restricted number of slots not everybody can be admitted, only the relatively best. Of course, close to the cut-off the chances will be about 0.5. Candidates will have to bear the risk.
Up to a certain point candidates can better their chances to get admitted by investing more (time, means) in preparation. They are free to do so. They are free not to participate in the examination (yet).

I like this case, and its illuminating treatment by Edgeworth.
That case might illustrate many crucial points regarding individual differences and we use to deal with them.
For starters, de dimension of differences is a valued one; scores typically are valued as relatively ‘better’ or ‘worse’. Better or worse for whom: the Civil Service.
The better candidate is expected to contribute more (expected utility, EU) to the goals of the organization. For all practical purposes the EU of the last candidate admitted is nearly the same as the EU of the first candidate rejected [if instead he would have been admitted], yet the Service sticks to its decision.

The concept of scores being ‘better’ or ‘worse’ is itself a complex one. Better for whom? For the Civil Service; the Service decides who to admit. Better for the candidate; the better score is the less risky one (before the cut-off score is known). Is it better for society? The CS is important, of course. But so are the health service, the military, private businesses, the culture sector. Insofar as they are competing with each other for the same human capital, selective admissions to the CS might be harmful to society at large.
Hiring psychologists to improve personnel selection for the CS might have a large profit, for the CS. ‘To improve’ meaning: developing an examination that has better validity (higher total EU). However, if every sector in society does the same, the profits are negative.

In Holland medical studies have a restricted number of slots (numerus fixus); they are allowed to select from the larger number of candidates. Is that a selection for the good of society, or does it benefit only the particular departments involved?
[More on the Dutch ways of selecting for higher education, esp. the weighted lottery system used from 1976 until 2017?:
‘The weighted lottery in the admission to ‘restricted’ university studies in the Netherlands’ explained here
[Rebecca Zwick 2017 is not quite correct on the Dutch weighted lottery.
Rebecca Zwick (2017). Who Gets In? Strategies for Fair and Effective College Admissions Harvard University Press. info en interview]

What I am thinking now is: the concept of individual differences is highly abstract, in the sense of abstracted from content and context. It reminds me of the concepts of remembering or understanding: treated as processes that exist as such, separated from specific content. If your spontaneous association here is with the cognitive taxonomy of Bloom c.s. 1957: you are right. See
J. E. Furst (1981). Bloom’s taxonomy of educational objectives for the cognitive domain: philosophical and educational issues. RER read online
Furst (section ‘Questions of epistemology’) cites Sockett 1971 pdf:

  • “We cannot posit remembering in any sense APART from content. If remembering is thought of as content-free we have an empty concept which could not be even part of an educational objective.”

What I am trying to do here is problematizing the idea of individual differences. Complicating it.
On a math test Ben scores just short of the passing score, Ed scores exact the passing score. What does it mean here to say Ed scores 1 point better than Ben?
We happen to secretly know that Ben has not prepared himself for this test, while Ed has worked very hard. Ben’s parents are poor workers, Ed’s parents are well to do and highly educated. Etcetera. The question being: how are test results to be explained? And their differences?

To get an idea how this might work: a fully recursive path model in benwilbrink.nl/publicaties/77… (text itself is in Dutch) :
How to explain individual differences in assessment test scores, given: capabilities, aspiration levels, and time on preparation.
77Studietijd3ORD.GIF

A simple individual difference on the assessment (‘studieresultaten’) can be effected by a myriad of possible combinations of capabilities (‘exogene variabelen’), aspiration levels (‘streefniveau’) and time on preparation (‘tijdbesteding’) of two students.
And do not take those scores on the assessment for granted: the same testscore can be reached also in a myriad number of ways of combining right and wrong answers on the separate items of the assessment. There is no particular ‘sameness’ in the same score on the same test!

Which brings me to another issue: the ‘same’ test might be just another test on the same course content. What is the sameness of different tests on the same content? [technically: equivalence, or even: tau-equivalence] Test developers worry about it, students couldn’t care less. Developers will try to make the next test just as difficult as the last one. ‘Just as difficult’: about the same mean score and standard deviation that is. For the student the situation is quite another one: every test looks like a random sample from a domain of possible items.

Suppose, for the sake of argument, that the student knows his mastery of all possible items on this articular course content to be 0.6 (60%). What would he know about his score on the next 20 item test?
Recognize the binomial model here.

binomial distribution 20 0.6 – Wolfram|Alpha
binomial

Your score (you are that student) can be anywhere onder that curve!
To bring in individual differences: suppose your girlfriend also has a mastery of 0.6, her score can also be anywhere under that curve.
The DIFFERENCE of the two scores has no meaning at all: it is random!
More on the binomial model for tests: ‘The Generator – Module one of the SPA model: Scores’ here

It is possible to relax that assumption of knowing one’s mastery. Replace it with the assumption of having scored 12 on a preliminary test of 20. What do you know?
The preliminary test is drawn from the same domain. It is possible from your score of 12/20 to derive the likelihood for your mastery, as explained here. The function is known (Novick and Jackson 1974 p. 109) to be a beta function:
Beta(13, 9) – Wolfram|Alpha
beta

Your ‘true’ mastery can be anywhere under that curve, its maximum likelihood being 0.6. Suppose your friend also score 12/20, her true mastery might be anywhere under that curve. We do not know where, nor do we know of any difference. However, now we can predict the next score!
Knowing the likelihood, that prediction is known to be a betabinomial distribution, see here Assuming the 12 out of 20 score on a preliminary test, the predicted score on the next 60-item test is

betabinomial distribution(13,9,60) – Wolfram|Alpha

beta

Try some other values for the parameters.

Your score can be anywhere under that curve. Amazed? Rightly so. Your friend will not fare any better. Your scores will probably differ a lot more than you had thought without doing the math. Does such a difference mean that your ‘true’ mastery is different from hers? Yes.
Predicting the score on the next test turns out to be difficult, in the sense that there is a rather large spread around the expected value (the mean of the predictive distribution). Now empathize with the students: how can they know whether they are sufficiently prepared? Yet they have to bear the risk of obtaining scores that are too low (for whatever the decision is that will be taken on the basis of those scores). See the problem? Mainstream psychometrics (handbooks on educational measurement) disregards the interests of students.

The design of the test, quality of the test items, the regulations that the test is part of, they all influence student behaviors in preparation for the test. Teachers/institutions have lots of possibilities to nudge student behaviors, and that way affect individual differences.
For references to the literature, see my ResearchEd Netherlands paper [in English] here
Nudging student behavior is one thing, be warned that the reverse will also happen: students nudging teacher behavior. The complex result is a kind of collective negotiation, students investing time, teachers investing grades. How to model this kind of implicit give-and-take was worked out by James Coleman (1990) Foundations of social theory info). A research case

It is nice to be able to show this dynamic, it does not mean however that this dynamic is productive of good education. Individual differences get abused by both parties in this game, yet neither party is particularly aware of what is happening. Break the spell, get rational.

Opvattingen over intelligentie in Nederland (1)

Wie wat bewaart die heeft wat.
[draadje: https://twitter.com/benwilbrink/status/1272100966842712070 ]
M. J. M. Daniëls & M. Albinsky (1958). ‘Vraag en aanbod van intellect. Enkele beschouwingen en berekeningen naar aanleiding van de prognose voor het Hoger Onderwijs’ Universiteit & Hogeschool, 4, #4, 168-177. #IQ

1958, is dat lang geleden? In my lifetime. Ik ging naar de 3e klas gym.

De auteurs (psycholoog en socioloog) stellen de vraag:
“beschikt ons volk inderdaad over een reserve aan jeugdig intellect, groot genoeg om het voor 1970 geraamde aantal studenten [8.700 eerste inschrijvingen, bw] op te brengen?”

“Indien men aanneemt dat een goede intelligentie door een aantal overerfbare factoren zo niet bepaald, dan toch mogelijk gemaakt wordt, dan zegt het reeds genoeg dat het aantal kinderen per gezin omgekeerd evenredig pleegt te zijn met het begaafdheidspeil van hun ouders.” #IQ

“Verscheidene auteurs hebben dan ook reeds gewezen op het gevaar van een progressieve debilisering van onze bevolking” Zoals:
Ph. M. v. d. Heyden (1950). ‘Over de erfelijkheid der aanlegstructuur en de hiermede verband houdende economische problemen’ Het Gemenebest, X, #11/12.

Mogelijk ongunstige omstandigheden & curieus begrip ‘begaafdheid’:
“Men kan zich afvragen of er wel een rechtstreeks verband bestaat tussen de intellectuele prestaties die door de intelligentie-test vastgesteld worden en de intellectuele begaafdheid der onderzochte personen. Misschien behalen vele begaafden lage testresultaten omdat hun de opleiding en de verstandelijke vorming heeft ontbroken waarop de test mede een beroep doet. Ons antwoord hierop moet luiden, dat noch in het gezinsmilieu, noch op de scholen voor lager en middelbaar onderwijs veranderingen te voorzien zijn die binnen het genoemde korte tijdsbestek [van ’58- tot’70, bw] tot actualisering van grote reserves aan latente begaafdheid zullen leiden.”

[hier is de twitterdraad gebroken. Het vervolg:]
[draad: https://twitter.com/benwilbrink/status/1273266757608845313%5D

Het was rond de 50er jaren gebruikelijk om te filosoferen over ‘de reserve aan hoger intellect’ in Nederland, een niet erg transparant concept zeg maar. De titel van het boek van Van Heek over zijn beroemde onderzoek gaat daar ook op terug: ‘Het verborgen talent. Milieu, schoolkeuze en schoolgeschiktheid’.

Verborgen talent was er natuurlijk in overvloed, kijk eens hoeveel ‘verborgen talent’ er bij de vrouwen was: Daniëls en Albinsky schatten voor begin 50er jaren de inschrijving voor instellingen van hoger onderwijs (die examen HBS of gymnasium eisen) op 7,2% (van iedere jaargroep) voor mannen, en maar liefst 1,8 % voor vrouwen.

Vervolgens wagen zij zich aan een schatting van de instroom in 1970: 11,5% mannen, 3% vrouwen, waarvan telkens iets meer dan de helft naar universiteit of (technische) hogeschool, de overigen naar M.O. opleidingen, seminaria, KMA en dergelijke.

“Dit alles wijst in de richting van een nog verdere verlaging van het intelligentie-peil der eerst-ingeschrevenen bij het H.O. in 1970, omdat hun aantallen steeds zullen moeten worden aangevuld door minder-intelligenten.”
Dit is wel erg oppervlakkig geredeneerd, met permissie.

De auteurs gaan er steeds van uit dat het hoger onderwijs wordt bevolkt door de meest intelligente jongeren, alsof er een volledig op intelligentie berustende meritocratie zou zijn (vergelijk de dystopie van Michael Young, eveneens 1958: ‘The rise of the meritocracy 1870 – 2033. An essay on education and equality’ http://www.benwilbrink.nl/literature/young.htm)

Een socioloog zou toch beter moeten weten, zou ik denken: de samenleving ontworstelde zich na de oorlog aan de klasse-samenleving van voor die oorlog.
Zie M. A. J. M. Matthijssen (1972). ‘Klasse-onderwijs’, in zijn geheel online https://dbnl.org/tekst/matt023klas01_01/index.php

Interessante data zijn te vinden in:
CBS (1977). ‘Factoren die de studieresultaten bij het wetenschappelijk onderwijs beïnvloeden. Cohorten 1961-1962.’ M3. ‘s-Gravenhage: Staatsuitgeverij. En dan speciaal voor geneeskunde. Het volgende citaat met tabel is uit (1980, Universiteit & Hogeschool) http://benwilbrink.nl/publicaties/80ToelatingUenH.htm

  • Niet ieder verband is een oorzakelijk verband. De meest recente CBS cijfers betreffen de cohorten 1961 en 1962 (CBS 1977). Ik geef hier een analyse van de numerieke rendementen voor geneeskunde, waarmee bedoeld is de percentages geslaagden voor het kandidaatsexamen na 8 jaar. Van de 1519 studenten slaagden 74%. Vier opsplitsingen zijn interessant (percentages geslaagd):Sexe 76% van 1223 mannen; 68% van 296 vrouwen; Opleiding: 82% van 593 met gym-b; 70% van 926 met HBS-b.
    Leeftijd: 82% van 513 die 18 jaar of jonger (gym), resp. 17 jaar of jonger (HBS-b) waren; 77% van 464 19/18 jarigen; 65% van 542 ouderen;
    Gem. eindexamencijfer: 88% van 156 met 71/, of hoger; 80% van 281 met 7 tot 71/2; 74% van 437 met 6% tot 7; 71% van 494 met 6 tot 6%; 65% van 151 met lager dan 6%.Het probleem met deze rendementen is dat ze telkens over de totale groep genomen zijn. Het valt dan niet te zeggen of bij gelijkhouden van “leeftijd” er nog een verband tussen eindexamencijfers en slagen overblijft, bijv. Gegevens voor deelgroepen van gelijke sexe, opleiding, en leeftijd zijn relevanter, en te vinden in CBS (1977, staat 6), waaruit tabel 1 is afgeleid.

    ____________________________________________________________________________
    Gem.	       Gym-b (mannen)	           Hbs-b (mannen)
    eind
    cijfer      ≤ 18 jr     ≥ 19 jr        ≤ 17 jr    ≥ 18 jr
    ____________________________________________________________________________
    < 6,5      92% ( 86)   81% (139)      68% ( 50)  60% (238)
    6,5-7,5    90  (117)   82  ( 72)      77  ( 60)  73  (339)
    ≥ 7,5     100  ( 25)   89  (  9)      86  ( 36)  81  ( 52)
    ===========================================================
    Gem.	      Gym-b (vrouwen)           Hbs-b (vrouwen)
    eind
    cijfer      ≤ 18 jr     ≥ 19 jr        ≤ 17 jr    ≥ 18 jr
    ---------------------------------------------------------------------------
    < 6,5      70% ( 44)   60% ( 42)      85% ( 13)  39% ( 33)
    6,5-7,5    67  ( 33)   69  ( 16)      68  ( 28)  72  ( 43)
    ≥ 7,5     100  (  9)  100  (  1)      83  ( 12)  92  ( 12)
    ____________________________________________________________________________
    

    TABEL 1. Numerieke rendementen (kandidaats 8 jaar) geneeskunde, cohorten 1961 en 1962. (tussen haakjes de aantallen).


Bij de inschrijving voor geneeskunde in 1961 is de verhouding mannen-vrouwen heel erg scheef ten gunste van de mannen: het intellect van de vrouwen telde kennelijk niet echt mee in de samenleving van die tijd. Trouwens, in die van mijn moeder, de 30-er jaren, al evenmin.

Maar de tabel laat nog iets zien: de instroom van studenten bij geneeskunde bestond voor een heel groot deel uit studenten die een of meer keren hadden gedoubleerd in het vo, en/of echt geen hoge eindexamencijfers hadden. Dit was bepaald geen selectie op intellect! Hier past de volgende anecdote bij:

  • Staatssecretaris van onderwijs Ger Klein kreeg in 1975 bezoek van hoogleraren geneeskunde die claimden dat kandidaten met een acht of hoger eindexamengemiddelde toch zonder loten direct tot de studie toegelaten zouden moeten worden. Ger Klein, die zelf als ingenieur diensten aan de geneeskunde had geleverd, was bepaald niet onder de druk, en stelde de wedervraag: ‘Wie van u had een acht of hoger gemiddeld op zijn eindexamen?’. Het bleef stil. Einde lobby.
  • Overigens is eind 90er jaren die directe toelating van kandidaten met gemiddeld 8 of beter gemiddeld eindexamencijfer er toch gekomen: de ministeriële commissie die zich over de gewogen loting boog, was gezwicht voor directe druk van Minister-President Kok en minister Ritzen. Voorzitter Drenth gaf daarover opening van zaken in een ingezonden brief aan de NRC, kort na oplevering van het eindrapport. Het is me wat.

Waarmee ik ook ben bij het springende punt: groeiende deelname aan hoger onderwijs hoeft niet samen te gaan met daling van het gemiddelde IQ (niet vanwege het Flynn-effect dus) (over groeiende deelname zie ook: Wilbrink & Dronkers 1993 http://benwilbrink.nl/publicaties/93DilemmasOCenW.htm…)

Daniëls & Albinski: “Het lag slechts in onze bedoeling het probleem van de voorraad aan intelligentie scherper te stellen dan het CBS het gedaan heeft (…) en aannemelijk te maken dat de universiteiten en hogescholen in een nabije toekomst ernstig rekening moeten houden met een verlaging van het intelligentie-peil van velen der studenten.
Indien de — minimale — prognose van het CBS juist zal blijken te zijn, dan zullen in 1970 de mannelijke studenten aan onze Universiteiten en Hogescholen gerecruteerd worden uit de 10 à 20% meest-begaafden van hun generatie. Er zullen niet veel psychologen en beroepskeuzeadviseurs zijn, die menen dat men verder zou mogen gaan dan 5% (Luning Prak meent 2,5%).” [J. Luning Prak 1948 ‘De polen van het intellect’]
“Thans (…) zijn wij voor de mannen al over de 7%, hetgeen misschien mede verklaart waarom zovelen de eindstreep niet halen.”

Dit is de eeuwige thematiek van numerieke rendementen die zo beroerd zouden zijn. Een groot onderzoek aan de TH Delft in 50er jaren wees dat niet uit.
Veel hoogleraren psychologie, o.a. A.D.de Groot, waren bij dat uitvalonderzoek betrokken. Belangrijke uitkomst: veel studiestakers aan de TH studeerden verder aan de HTS: zij kozen voor een minder academische opleiding in hetzelfde vak, waren allesbehalve mislukt. En zeker niet in de maatschappelijke goot beland.

“Het lijkt erop, dat wij zullen moeten kiezen tussen een drastische devaluatie van het H.O. en het bouwen van steeds meer collegezalen en laboratoria tot het herbergen van jongelui die worden voorbereid op het zakken voor examens waarop hun capaciteiten niet waren berekend.”

Ik vind het maar bizar. Ik heb diverse publicaties over numerieke rendementen gedaan, oa. 1980 ‘Uitval en vertraging in het wo: een overschat probleem’ http://benwilbrink.nl/publicaties/80UitvalOverschatOvO.htm. Een vaak voorkomende methodologische misser is verzuimen te onderzoeken waar die studiestakers dan zijn gebleven. Studiestaken is vaak oversteken naar een andere studie, en hoeft niet met intelligentie verband te houden.

Dupliek Wim van den Broeck – ‘Intelligentie’ in historisch perspectief

Wim van den Broeck reageerde met veertig tweets op mijn artikel ‘Intelligentie’ in historisch perspectief. De tweets verzameld:
https://threadreaderapp.com/thread/1271064933497790465.html?refreshed=1591888075

Ben Wilbrink (maart 2020). ‘Intelligentie’ in historisch perspectief. Van Twaalf tot Achttien
https://www.van12tot18.nl/intelligentie-in-historisch-perspectief,
zie daar het volledige artikel (vrij toegankelijk).

Het is niet eenvoudig om op veertig tweets overzichtelijk te reageren. Twitter heeft er ook moeite mee, de duplieken staan niet netjes als commentaar bij de betreffende tweet. Daarom het onderstaand overzicht. Neem er de verzamelde tweets van Wim bij, ik verwijs telkens naar het betreffende tweetnummer.

De duplieken zijn van Twitter overgenomen.  Sommige duplieken kunnen best iets uitvoeriger worden uitgewerkt, dat doe ik mogelijk in een volgende versie van de blog.

Het format van veertig tweets en bijna veertig duplieken daarop is niet bepaald gelukkig.  Ik zal waarschijnlijk een poging doen om een en ander naar een behoorlijke tekst te vertalen.  Het wordt goochelen met de tekst van het artikel, de veertig tweets van Wim, en de duplieken erop. Ik moet voor een tweede versie dus sterk zien te vereenvoudigen.
 

dupliek

Veertig tweets, ik ben vereerd! Mijn dank, de gedachtewisseling zal ongetwijfeld verhelderend werken. Threadreader heeft ze allemaal in een enkel bestand geplaatst.
Naar wat ik zo snel heb gezien, is het wel mogelijk dat ik per tweet een antwoord geef (als antwoord nodig is).

ad 1. Ik weet nog niet wat je hier bedoelt. Wie doet het verwarren? Benieuwd naar de toelichting.

ad 2. Bedoel je ‘Bouwstenen voor een ambitieus onderwijs dat doeltreffend omgaat met verschillen’
Wim Van den Broeck en Eva Staels, in https://vlor.be/bijdragen-spots-op-onderwijs…
Heb je voor mij een pdf van dat hoofdstuk?

ad 2. Eens, onderwijs is een maatschappelijk goed en een maatschappelijke investering. Dat is politiek. Denkbeelden over de goede samenleving (ideologie) zijn (mede) bepalend. (in de VS is er een project dat zo heet, Howard Gardner e.a. ‘The Good Project’ https://thegoodproject.org)

ad 3 Dat is wat je gaat aantonen. De ideologie is mijn ideologie begrijp ik.
Iedere publicatie zal informatie over zijn onderwerp buiten beschouwing moeten laten, om niet eindeloos uit te dijen. Zeker bij een onderwerp als intelligentie is dat weglaten noodzakelijkerwijs drastisch.

ad 4. Ja, lastig is dat. Door te zeggen dat iets niet bestaat geef je het meteen een bestaan. Wat ik bedoel is toch duidelijk: intelligentie als zou het iets concreets zijn (reïficatie).
Wat je vervolgens schrijft, heb ik in het tweede zinnetje uitgelegd: ‘Het is de verzamelnaam …’

Wim van den Broeck: “Het is geen semantisch spelletje hoor! Als variabelen systematisch correleren, dan is daar een reden voor. ‘No correlation without causation’! Je kan die realiteit niet ontkennen: cognitieve taken hangen samen en dat hoefde niet zo te zijn.”

Zeg ik: verzamelnaam.

Wim: “van afzonderlijke intellectuele vermogens”. Je moet weten wat je wilt: hangen ze samen of niet? Is het niets of is het wel iets? En wat is het dan?

ad 5 Ik schrijf over intelligentie; IQ is iets anders. Neem lengte, daar hebben we niet de rare gewoonte ontwikkeld om over lengte-quotiënt te spreken.
Dat er discussie is, dat kun je wel zeggen. Dan noem je SES nog niet eens. Netwerkbenadering aan de UvA: https://www.mdpi.com/2079-3200/2/1/12

ad 6. Het zijn afzonderlijke vermogens (John B. Carroll https://cambridge.org/nl/academic/subjects/psychology/cognition/human-cognitive-abilities-survey-factor-analytic-studies…) , die een samenhang vertonen. De duiding van die samenhang is wel een dingetje in de geschiedenis van intelligentie. Er is niet noodzakelijk een g-factor voor nodig: vd Maas ea https://hvandermaas.socsci.uva.nl/Homepage_Han_van_der_Maas/Intelligence_files/psyrev4.pdf

ad 7. ‘dus toch bestaat!?’, nee, wat we meten met tests die we intelligentietests noemen.
‘iedereen weet’: dat is juist het springende punt. Zie het citaat waarmee ik mijn artikel begin ‘Intelligentie is aangeboren’.

ad 8. Bespreking van het werk van Alfred Binet overgeslagen? Vergelijken van mentale en fysieke leeftijd, om tijdig leerlingen te vinden die een gewoon schoolprogramma niet goed aankunnen. En die speciaal onderwijs aan te bieden. Amerikanen maakten er een IQ-alchemie van.

ad 9. Dat is niet precies uitgedrukt. Recent onderzoek (dna) heeft geen genen opgeleverd die met verschillen in intelligentie hebben te maken. Verrassing. Polygenic Risc Scores gaan uit van kleinere stukjes dna dan genen, verklaarde varianties vooralsnog beperkt.

ad 10. Klopt. Volgens krantenberichten rond 2013 maakte regeringsadviseur Cummings die fout: hij concludeerde uit de hoge erfelijke bepaaldheid van verschillen in studieresultaten dat investeren in onderwijs wel een tandje minder kon. Cummings had zich door Plomin laten bijpraten.

ad 11. Is dit commentaar op mijn artikel?

ad 12 Zeker. Ik leg dat uit in mijn 1972 ‘Spiegelgevechten om het IQ’ (Haagse Post) http://benwilbrink.nl/publicaties/72SpiegelgevechtenHP.htm… (Spiegel: de mate van erfelijk bepaald zijn van verschillen betekent ongeveer het omgekeerde van wat men er associatief aan toedicht).

ad 13 & 14. Dat is een stelling die door Robert Plomin (in zijn ‘Blueprint’) tot in het absurde is doorgetrokken. Alles is genetisch bepaald, en als dat niet zo is, dan is dat ook genetisch bepaald. Kritieken van gedragsgenetische collega’s zijn niet mals. Bijv.: http://people.virginia.edu/~ent3c/papers2/Social_Science_Blues.pdf

ad 15. Controversiële wetenschap tot wetenschappelijke feiten verklaren gaat niet helpen.
Interessante boek James Tabery (2014). ‘Beyond versus : the struggle to understand the interaction of nature and nurture’ MIT Press.
https://mitpress.universitypressscholarship.com/view/10.7551/mitpress/9780262027373.001.0001/upso-9780262027373

ad 16. Heb je misschien de referentie in diezelfde zin over het hoofd gezien?
Han L. J. van der Maas, Kees-Jan Kan and Denny Borsboom (2014). ‘Intelligence Is What the Intelligence Test Measures. Seriously’ Intelligence, 2014, 2, 12-15

Click to access 156065_442522.pdf

ad 17 ???

ad 18. Ja? Wat is je punt?

ad 19 & 20. Voor wie belangstelling heet voor Galton, een slechterik maar wel een reus in de wetenschap:
Nicholas Wright Gillham (2001). ‘Sir Francis Galton. From African exploration to the birth of eugenics’ Oxford University Press
https://global.oup.com/academic/product/a-life-of-sir-francis-galton-9780195143652

ad 21, 22, 23, 24. Mijn bewuste keuze is geweest om op eugenetica niet verder in te gaan dan die enkele vermeldingen. Ik wil dat ook hier niet doen, het is een misselijk makend onderwerp.
Standaardwerk over eugenetica Daniel J. Kevles 1985 ‘In the Name of Eugenics’
https://books.google.nl/books?id=NWBi9kyb8xUC

ad 25. Waar gaat het over: de schijnbaar ongekende mogelijkheden die hedendaagse op het menselijk genoom gebaseerde technieken bieden, samen met gigantische genetische databestanden. Lees ‘Blueprint’ van Robert Plomin, en je weet wat ik bedoel. Hij is overigens wel heel extreem.

ad 26. Dat ben ik met je eens. Ik had niet moeten generaliseren.

ad 27. Dat was niet mijn onderwerp. Ik weet niet of ik het op dat laatste punt met je eens ben, het is een lastige problematiek, goede evaluaties van gevoerd beleid zie ik niet langskomen.

ad 28. Verwees ik niet naar mijn historische oefening op dat onderwerp? http://ben-wilbrink.nl/wilbrink_assessment-in-historical-perspective.pdf

ad 30. Is het een visie, of is het een feit?
A. D. de Groot (‘Vijven en zessen’) had er nooit aan gedacht eens om te kijken naar de oorsprong van dat cijfergeven, en was prettig verrast over mijn vondst.
Ranking is een wetenschap 😉
https://press.princeton.edu/books/hardcover/9780691154220/whos-1

ad 31 “Het is helemaal niet zo’n gekke gedachte dat die psychometrie een apparaat is dat handig dient om het ‘minder intelligente’ deel van de bevolking zijn plaats te wijzen. Kijk eens naar ons vmbo versus havo/vwo, en hoe de … Eindtoets, die klus klaart (https://tinyurl.com/tzsl9od).”

ad 32. Ik had misschien een extra verwijzing naar eigen werk op moeten nemen: ‘Toetsen en testen in het onderwijs’, SVO 1986 http://benwilbrink.nl/publicaties/86ToetsenEnTestenSVO.htm…
Het onderscheid komt in 1988 terug in de NIP- ‘Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen’.

ad 33, 34, 35, 36. Je gaat hier helemaal los, zie ik. Waarom toch? Waar het artikel over gaat is het overtrokken belang dat in het onderwijsveld wordt gehecht aan verschillen in intelligentie; de nefaste gevolgen daarvan hoef ik niet uit te spellen, toch?
Wat je hier allemaal aan verbanden opsomt zal ik niet bestrijden. Maar wat vertellen ze ons over hoe de psychologische wereld in elkaar zit? De oorsprong van de intelligentietest bij Alfred Binet was louter pragmatisch. En dat is nog steeds zo. Als we dat ethisch doen, oké.

ad 37. Waar ik impliciet naar verwijs is de aloude tegenstelling tussen correlationeel en empirisch psychologisch onderzoek, beschreven door
Lee J. Cronbach (1957) ‘The two disciplines of scientific psychology’ http://psychclassics.yorku.ca/Cronbach/Disciplines/…
Een klinkklare klassieker. 😉

Een andere tegenstelling is die tussen institutioneel en individueel gericht testen, zoals door dezelfde Cronbach, met Goldine Gleser, beschreven in 1957 ‘Psychological tests and personnel decisions’. Raad eens wie in institutioneel testen de onderliggende partij zijn.

ad 38 Als er sprake is van restriction of range in een van die variabelen, tja, dan is er geen verband. Als.

ad 39 ‘Nature-nurture’ is geen kwestie van logica, van of-of. Dat beweert niemand, en ik dus ook niet.

ad 40 Dan zijn we daarmee terug bij de visie van Alfred Binet. Daar ben ik niet ontevreden mee.
Maar zeg eens eerlijk: was het nou nodig om mij ideologische vooringenomenheid te verwijten?

Ik heb de indruk dat ik er met mijn artikel niet in ben geslaagd jou te overtuigen dat ik een en ander niet uit mijn duim had gezogen. De literatuurlijst had dat niet kunnen corrigeren? Wat heb ik onhandig gedaan om deze lange lijst niet geweldig terechte verwijten te verdienen?