The concept of individual differences

  • [de blog is gebaseerd op deze Twitter thread thread;
    unrolled: here]

Question #1: do they really exist? Is it possible for a difference to really exist?
I can hear you shouting: ‘Of course they do, come and visit my classroom!’ Yet I once surprised Denny Borsboom (research on validity) with my question.

In decision making: choose the option with the higher expected utility. Even if the differences between expected utilities of your options are small and statistically not significant. (where is that publication of Herb Simon?)
How does that impact educational decision making?
[On utility functions, see my SPA-Project here].
Expected utility is the ‘product’ (weighting) of the probability density and the utility function.
F.e. the threshold utility function 0 (fail) and 1 (pass) a test. Expected utilities then equal chances to pass the test].

Utility and expected utility, totally different concepts, tend to be confused / mixed up In the literature on criterion referenced testing. There is still work to do here 😉
In personnel testing the employer will choose the candidates he expects will contribute best.

An example: 19th c. admissions to the U.K. Civil Service. The exams order candidates, available slots (numerus clauses) get filled by the relatively best.
There’ll be a small and definitely insignificant difference between the last person selected and the first one rejected. Is that a problem? How can a small and definitely insignificant difference be a ‘valid’ difference? It can not. Here we have a small difference having large consequences. How is that to be defended or explained?

Edgeworth 1888 answers that question, see here.
The answer goes somewhat as follows. The examination is the best we can do. Because of the restricted number of slots not everybody can be admitted, only the relatively best. Of course, close to the cut-off the chances will be about 0.5. Candidates will have to bear the risk.
Up to a certain point candidates can better their chances to get admitted by investing more (time, means) in preparation. They are free to do so. They are free not to participate in the examination (yet).

I like this case, and its illuminating treatment by Edgeworth.
That case might illustrate many crucial points regarding individual differences and we use to deal with them.
For starters, de dimension of differences is a valued one; scores typically are valued as relatively ‘better’ or ‘worse’. Better or worse for whom: the Civil Service.
The better candidate is expected to contribute more (expected utility, EU) to the goals of the organization. For all practical purposes the EU of the last candidate admitted is nearly the same as the EU of the first candidate rejected [if instead he would have been admitted], yet the Service sticks to its decision.

The concept of scores being ‘better’ or ‘worse’ is itself a complex one. Better for whom? For the Civil Service; the Service decides who to admit. Better for the candidate; the better score is the less risky one (before the cut-off score is known). Is it better for society? The CS is important, of course. But so are the health service, the military, private businesses, the culture sector. Insofar as they are competing with each other for the same human capital, selective admissions to the CS might be harmful to society at large.
Hiring psychologists to improve personnel selection for the CS might have a large profit, for the CS. ‘To improve’ meaning: developing an examination that has better validity (higher total EU). However, if every sector in society does the same, the profits are negative.

In Holland medical studies have a restricted number of slots (numerus fixus); they are allowed to select from the larger number of candidates. Is that a selection for the good of society, or does it benefit only the particular departments involved?
[More on the Dutch ways of selecting for higher education, esp. the weighted lottery system used from 1976 until 2017?:
‘The weighted lottery in the admission to ‘restricted’ university studies in the Netherlands’ explained here
[Rebecca Zwick 2017 is not quite correct on the Dutch weighted lottery.
Rebecca Zwick (2017). Who Gets In? Strategies for Fair and Effective College Admissions Harvard University Press. info en interview]

What I am thinking now is: the concept of individual differences is highly abstract, in the sense of abstracted from content and context. It reminds me of the concepts of remembering or understanding: treated as processes that exist as such, separated from specific content. If your spontaneous association here is with the cognitive taxonomy of Bloom c.s. 1957: you are right. See
J. E. Furst (1981). Bloom’s taxonomy of educational objectives for the cognitive domain: philosophical and educational issues. RER read online
Furst (section ‘Questions of epistemology’) cites Sockett 1971 pdf:

  • “We cannot posit remembering in any sense APART from content. If remembering is thought of as content-free we have an empty concept which could not be even part of an educational objective.”

What I am trying to do here is problematizing the idea of individual differences. Complicating it.
On a math test Ben scores just short of the passing score, Ed scores exact the passing score. What does it mean here to say Ed scores 1 point better than Ben?
We happen to secretly know that Ben has not prepared himself for this test, while Ed has worked very hard. Ben’s parents are poor workers, Ed’s parents are well to do and highly educated. Etcetera. The question being: how are test results to be explained? And their differences?

To get an idea how this might work: a fully recursive path model in… (text itself is in Dutch) :
How to explain individual differences in assessment test scores, given: capabilities, aspiration levels, and time on preparation.

A simple individual difference on the assessment (‘studieresultaten’) can be effected by a myriad of possible combinations of capabilities (‘exogene variabelen’), aspiration levels (‘streefniveau’) and time on preparation (‘tijdbesteding’) of two students.
And do not take those scores on the assessment for granted: the same testscore can be reached also in a myriad number of ways of combining right and wrong answers on the separate items of the assessment. There is no particular ‘sameness’ in the same score on the same test!

Which brings me to another issue: the ‘same’ test might be just another test on the same course content. What is the sameness of different tests on the same content? [technically: equivalence, or even: tau-equivalence] Test developers worry about it, students couldn’t care less. Developers will try to make the next test just as difficult as the last one. ‘Just as difficult’: about the same mean score and standard deviation that is. For the student the situation is quite another one: every test looks like a random sample from a domain of possible items.

Suppose, for the sake of argument, that the student knows his mastery of all possible items on this articular course content to be 0.6 (60%). What would he know about his score on the next 20 item test?
Recognize the binomial model here.

binomial distribution 20 0.6 – Wolfram|Alpha

Your score (you are that student) can be anywhere onder that curve!
To bring in individual differences: suppose your girlfriend also has a mastery of 0.6, her score can also be anywhere under that curve.
The DIFFERENCE of the two scores has no meaning at all: it is random!
More on the binomial model for tests: ‘The Generator – Module one of the SPA model: Scores’ here

It is possible to relax that assumption of knowing one’s mastery. Replace it with the assumption of having scored 12 on a preliminary test of 20. What do you know?
The preliminary test is drawn from the same domain. It is possible from your score of 12/20 to derive the likelihood for your mastery, as explained here. The function is known (Novick and Jackson 1974 p. 109) to be a beta function:
Beta(13, 9) – Wolfram|Alpha

Your ‘true’ mastery can be anywhere under that curve, its maximum likelihood being 0.6. Suppose your friend also score 12/20, her true mastery might be anywhere under that curve. We do not know where, nor do we know of any difference. However, now we can predict the next score!
Knowing the likelihood, that prediction is known to be a betabinomial distribution, see here Assuming the 12 out of 20 score on a preliminary test, the predicted score on the next 60-item test is

betabinomial distribution(13,9,60) – Wolfram|Alpha


Try some other values for the parameters.

Your score can be anywhere under that curve. Amazed? Rightly so. Your friend will not fare any better. Your scores will probably differ a lot more than you had thought without doing the math. Does such a difference mean that your ‘true’ mastery is different from hers? Yes.
Predicting the score on the next test turns out to be difficult, in the sense that there is a rather large spread around the expected value (the mean of the predictive distribution). Now empathize with the students: how can they know whether they are sufficiently prepared? Yet they have to bear the risk of obtaining scores that are too low (for whatever the decision is that will be taken on the basis of those scores). See the problem? Mainstream psychometrics (handbooks on educational measurement) disregards the interests of students.

The design of the test, quality of the test items, the regulations that the test is part of, they all influence student behaviors in preparation for the test. Teachers/institutions have lots of possibilities to nudge student behaviors, and that way affect individual differences.
For references to the literature, see my ResearchEd Netherlands paper [in English] here
Nudging student behavior is one thing, be warned that the reverse will also happen: students nudging teacher behavior. The complex result is a kind of collective negotiation, students investing time, teachers investing grades. How to model this kind of implicit give-and-take was worked out by James Coleman (1990) Foundations of social theory info). A research case

It is nice to be able to show this dynamic, it does not mean however that this dynamic is productive of good education. Individual differences get abused by both parties in this game, yet neither party is particularly aware of what is happening. Break the spell, get rational.

Opvattingen over intelligentie in Nederland (1)

Wie wat bewaart die heeft wat.
[draadje: ]
M. J. M. Daniëls & M. Albinsky (1958). ‘Vraag en aanbod van intellect. Enkele beschouwingen en berekeningen naar aanleiding van de prognose voor het Hoger Onderwijs’ Universiteit & Hogeschool, 4, #4, 168-177. #IQ

1958, is dat lang geleden? In my lifetime. Ik ging naar de 3e klas gym.

De auteurs (psycholoog en socioloog) stellen de vraag:
“beschikt ons volk inderdaad over een reserve aan jeugdig intellect, groot genoeg om het voor 1970 geraamde aantal studenten [8.700 eerste inschrijvingen, bw] op te brengen?”

“Indien men aanneemt dat een goede intelligentie door een aantal overerfbare factoren zo niet bepaald, dan toch mogelijk gemaakt wordt, dan zegt het reeds genoeg dat het aantal kinderen per gezin omgekeerd evenredig pleegt te zijn met het begaafdheidspeil van hun ouders.” #IQ

“Verscheidene auteurs hebben dan ook reeds gewezen op het gevaar van een progressieve debilisering van onze bevolking” Zoals:
Ph. M. v. d. Heyden (1950). ‘Over de erfelijkheid der aanlegstructuur en de hiermede verband houdende economische problemen’ Het Gemenebest, X, #11/12.

Mogelijk ongunstige omstandigheden & curieus begrip ‘begaafdheid’:
“Men kan zich afvragen of er wel een rechtstreeks verband bestaat tussen de intellectuele prestaties die door de intelligentie-test vastgesteld worden en de intellectuele begaafdheid der onderzochte personen. Misschien behalen vele begaafden lage testresultaten omdat hun de opleiding en de verstandelijke vorming heeft ontbroken waarop de test mede een beroep doet. Ons antwoord hierop moet luiden, dat noch in het gezinsmilieu, noch op de scholen voor lager en middelbaar onderwijs veranderingen te voorzien zijn die binnen het genoemde korte tijdsbestek [van ’58- tot’70, bw] tot actualisering van grote reserves aan latente begaafdheid zullen leiden.”

[hier is de twitterdraad gebroken. Het vervolg:]

Het was rond de 50er jaren gebruikelijk om te filosoferen over ‘de reserve aan hoger intellect’ in Nederland, een niet erg transparant concept zeg maar. De titel van het boek van Van Heek over zijn beroemde onderzoek gaat daar ook op terug: ‘Het verborgen talent. Milieu, schoolkeuze en schoolgeschiktheid’.

Verborgen talent was er natuurlijk in overvloed, kijk eens hoeveel ‘verborgen talent’ er bij de vrouwen was: Daniëls en Albinsky schatten voor begin 50er jaren de inschrijving voor instellingen van hoger onderwijs (die examen HBS of gymnasium eisen) op 7,2% (van iedere jaargroep) voor mannen, en maar liefst 1,8 % voor vrouwen.

Vervolgens wagen zij zich aan een schatting van de instroom in 1970: 11,5% mannen, 3% vrouwen, waarvan telkens iets meer dan de helft naar universiteit of (technische) hogeschool, de overigen naar M.O. opleidingen, seminaria, KMA en dergelijke.

“Dit alles wijst in de richting van een nog verdere verlaging van het intelligentie-peil der eerst-ingeschrevenen bij het H.O. in 1970, omdat hun aantallen steeds zullen moeten worden aangevuld door minder-intelligenten.”
Dit is wel erg oppervlakkig geredeneerd, met permissie.

De auteurs gaan er steeds van uit dat het hoger onderwijs wordt bevolkt door de meest intelligente jongeren, alsof er een volledig op intelligentie berustende meritocratie zou zijn (vergelijk de dystopie van Michael Young, eveneens 1958: ‘The rise of the meritocracy 1870 – 2033. An essay on education and equality’

Een socioloog zou toch beter moeten weten, zou ik denken: de samenleving ontworstelde zich na de oorlog aan de klasse-samenleving van voor die oorlog.
Zie M. A. J. M. Matthijssen (1972). ‘Klasse-onderwijs’, in zijn geheel online

Interessante data zijn te vinden in:
CBS (1977). ‘Factoren die de studieresultaten bij het wetenschappelijk onderwijs beïnvloeden. Cohorten 1961-1962.’ M3. ‘s-Gravenhage: Staatsuitgeverij. En dan speciaal voor geneeskunde. Het volgende citaat met tabel is uit (1980, Universiteit & Hogeschool)

  • Niet ieder verband is een oorzakelijk verband. De meest recente CBS cijfers betreffen de cohorten 1961 en 1962 (CBS 1977). Ik geef hier een analyse van de numerieke rendementen voor geneeskunde, waarmee bedoeld is de percentages geslaagden voor het kandidaatsexamen na 8 jaar. Van de 1519 studenten slaagden 74%. Vier opsplitsingen zijn interessant (percentages geslaagd):Sexe 76% van 1223 mannen; 68% van 296 vrouwen; Opleiding: 82% van 593 met gym-b; 70% van 926 met HBS-b.
    Leeftijd: 82% van 513 die 18 jaar of jonger (gym), resp. 17 jaar of jonger (HBS-b) waren; 77% van 464 19/18 jarigen; 65% van 542 ouderen;
    Gem. eindexamencijfer: 88% van 156 met 71/, of hoger; 80% van 281 met 7 tot 71/2; 74% van 437 met 6% tot 7; 71% van 494 met 6 tot 6%; 65% van 151 met lager dan 6%.Het probleem met deze rendementen is dat ze telkens over de totale groep genomen zijn. Het valt dan niet te zeggen of bij gelijkhouden van “leeftijd” er nog een verband tussen eindexamencijfers en slagen overblijft, bijv. Gegevens voor deelgroepen van gelijke sexe, opleiding, en leeftijd zijn relevanter, en te vinden in CBS (1977, staat 6), waaruit tabel 1 is afgeleid.

    Gem.	       Gym-b (mannen)	           Hbs-b (mannen)
    cijfer      ≤ 18 jr     ≥ 19 jr        ≤ 17 jr    ≥ 18 jr
    < 6,5      92% ( 86)   81% (139)      68% ( 50)  60% (238)
    6,5-7,5    90  (117)   82  ( 72)      77  ( 60)  73  (339)
    ≥ 7,5     100  ( 25)   89  (  9)      86  ( 36)  81  ( 52)
    Gem.	      Gym-b (vrouwen)           Hbs-b (vrouwen)
    cijfer      ≤ 18 jr     ≥ 19 jr        ≤ 17 jr    ≥ 18 jr
    < 6,5      70% ( 44)   60% ( 42)      85% ( 13)  39% ( 33)
    6,5-7,5    67  ( 33)   69  ( 16)      68  ( 28)  72  ( 43)
    ≥ 7,5     100  (  9)  100  (  1)      83  ( 12)  92  ( 12)

    TABEL 1. Numerieke rendementen (kandidaats 8 jaar) geneeskunde, cohorten 1961 en 1962. (tussen haakjes de aantallen).

Bij de inschrijving voor geneeskunde in 1961 is de verhouding mannen-vrouwen heel erg scheef ten gunste van de mannen: het intellect van de vrouwen telde kennelijk niet echt mee in de samenleving van die tijd. Trouwens, in die van mijn moeder, de 30-er jaren, al evenmin.

Maar de tabel laat nog iets zien: de instroom van studenten bij geneeskunde bestond voor een heel groot deel uit studenten die een of meer keren hadden gedoubleerd in het vo, en/of echt geen hoge eindexamencijfers hadden. Dit was bepaald geen selectie op intellect! Hier past de volgende anecdote bij:

  • Staatssecretaris van onderwijs Ger Klein kreeg in 1975 bezoek van hoogleraren geneeskunde die claimden dat kandidaten met een acht of hoger eindexamengemiddelde toch zonder loten direct tot de studie toegelaten zouden moeten worden. Ger Klein, die zelf als ingenieur diensten aan de geneeskunde had geleverd, was bepaald niet onder de druk, en stelde de wedervraag: ‘Wie van u had een acht of hoger gemiddeld op zijn eindexamen?’. Het bleef stil. Einde lobby.
  • Overigens is eind 90er jaren die directe toelating van kandidaten met gemiddeld 8 of beter gemiddeld eindexamencijfer er toch gekomen: de ministeriële commissie die zich over de gewogen loting boog, was gezwicht voor directe druk van Minister-President Kok en minister Ritzen. Voorzitter Drenth gaf daarover opening van zaken in een ingezonden brief aan de NRC, kort na oplevering van het eindrapport. Het is me wat.

Waarmee ik ook ben bij het springende punt: groeiende deelname aan hoger onderwijs hoeft niet samen te gaan met daling van het gemiddelde IQ (niet vanwege het Flynn-effect dus) (over groeiende deelname zie ook: Wilbrink & Dronkers 1993…)

Daniëls & Albinski: “Het lag slechts in onze bedoeling het probleem van de voorraad aan intelligentie scherper te stellen dan het CBS het gedaan heeft (…) en aannemelijk te maken dat de universiteiten en hogescholen in een nabije toekomst ernstig rekening moeten houden met een verlaging van het intelligentie-peil van velen der studenten.
Indien de — minimale — prognose van het CBS juist zal blijken te zijn, dan zullen in 1970 de mannelijke studenten aan onze Universiteiten en Hogescholen gerecruteerd worden uit de 10 à 20% meest-begaafden van hun generatie. Er zullen niet veel psychologen en beroepskeuzeadviseurs zijn, die menen dat men verder zou mogen gaan dan 5% (Luning Prak meent 2,5%).” [J. Luning Prak 1948 ‘De polen van het intellect’]
“Thans (…) zijn wij voor de mannen al over de 7%, hetgeen misschien mede verklaart waarom zovelen de eindstreep niet halen.”

Dit is de eeuwige thematiek van numerieke rendementen die zo beroerd zouden zijn. Een groot onderzoek aan de TH Delft in 50er jaren wees dat niet uit.
Veel hoogleraren psychologie, o.a. Groot, waren bij dat uitvalonderzoek betrokken. Belangrijke uitkomst: veel studiestakers aan de TH studeerden verder aan de HTS: zij kozen voor een minder academische opleiding in hetzelfde vak, waren allesbehalve mislukt. En zeker niet in de maatschappelijke goot beland.

“Het lijkt erop, dat wij zullen moeten kiezen tussen een drastische devaluatie van het H.O. en het bouwen van steeds meer collegezalen en laboratoria tot het herbergen van jongelui die worden voorbereid op het zakken voor examens waarop hun capaciteiten niet waren berekend.”

Ik vind het maar bizar. Ik heb diverse publicaties over numerieke rendementen gedaan, oa. 1980 ‘Uitval en vertraging in het wo: een overschat probleem’ Een vaak voorkomende methodologische misser is verzuimen te onderzoeken waar die studiestakers dan zijn gebleven. Studiestaken is vaak oversteken naar een andere studie, en hoeft niet met intelligentie verband te houden.

Dupliek Wim van den Broeck – ‘Intelligentie’ in historisch perspectief

Wim van den Broeck reageerde met veertig tweets op mijn artikel ‘Intelligentie’ in historisch perspectief. De tweets verzameld:

Ben Wilbrink (maart 2020). ‘Intelligentie’ in historisch perspectief. Van Twaalf tot Achttien,
zie daar het volledige artikel (vrij toegankelijk).

Het is niet eenvoudig om op veertig tweets overzichtelijk te reageren. Twitter heeft er ook moeite mee, de duplieken staan niet netjes als commentaar bij de betreffende tweet. Daarom het onderstaand overzicht. Neem er de verzamelde tweets van Wim bij, ik verwijs telkens naar het betreffende tweetnummer.

De duplieken zijn van Twitter overgenomen.  Sommige duplieken kunnen best iets uitvoeriger worden uitgewerkt, dat doe ik mogelijk in een volgende versie van de blog.

Het format van veertig tweets en bijna veertig duplieken daarop is niet bepaald gelukkig.  Ik zal waarschijnlijk een poging doen om een en ander naar een behoorlijke tekst te vertalen.  Het wordt goochelen met de tekst van het artikel, de veertig tweets van Wim, en de duplieken erop. Ik moet voor een tweede versie dus sterk zien te vereenvoudigen.


Veertig tweets, ik ben vereerd! Mijn dank, de gedachtewisseling zal ongetwijfeld verhelderend werken. Threadreader heeft ze allemaal in een enkel bestand geplaatst.
Naar wat ik zo snel heb gezien, is het wel mogelijk dat ik per tweet een antwoord geef (als antwoord nodig is).

ad 1. Ik weet nog niet wat je hier bedoelt. Wie doet het verwarren? Benieuwd naar de toelichting.

ad 2. Bedoel je ‘Bouwstenen voor een ambitieus onderwijs dat doeltreffend omgaat met verschillen’
Wim Van den Broeck en Eva Staels, in…
Heb je voor mij een pdf van dat hoofdstuk?

ad 2. Eens, onderwijs is een maatschappelijk goed en een maatschappelijke investering. Dat is politiek. Denkbeelden over de goede samenleving (ideologie) zijn (mede) bepalend. (in de VS is er een project dat zo heet, Howard Gardner e.a. ‘The Good Project’

ad 3 Dat is wat je gaat aantonen. De ideologie is mijn ideologie begrijp ik.
Iedere publicatie zal informatie over zijn onderwerp buiten beschouwing moeten laten, om niet eindeloos uit te dijen. Zeker bij een onderwerp als intelligentie is dat weglaten noodzakelijkerwijs drastisch.

ad 4. Ja, lastig is dat. Door te zeggen dat iets niet bestaat geef je het meteen een bestaan. Wat ik bedoel is toch duidelijk: intelligentie als zou het iets concreets zijn (reïficatie).
Wat je vervolgens schrijft, heb ik in het tweede zinnetje uitgelegd: ‘Het is de verzamelnaam …’

Wim van den Broeck: “Het is geen semantisch spelletje hoor! Als variabelen systematisch correleren, dan is daar een reden voor. ‘No correlation without causation’! Je kan die realiteit niet ontkennen: cognitieve taken hangen samen en dat hoefde niet zo te zijn.”

Zeg ik: verzamelnaam.

Wim: “van afzonderlijke intellectuele vermogens”. Je moet weten wat je wilt: hangen ze samen of niet? Is het niets of is het wel iets? En wat is het dan?

ad 5 Ik schrijf over intelligentie; IQ is iets anders. Neem lengte, daar hebben we niet de rare gewoonte ontwikkeld om over lengte-quotiënt te spreken.
Dat er discussie is, dat kun je wel zeggen. Dan noem je SES nog niet eens. Netwerkbenadering aan de UvA:

ad 6. Het zijn afzonderlijke vermogens (John B. Carroll…) , die een samenhang vertonen. De duiding van die samenhang is wel een dingetje in de geschiedenis van intelligentie. Er is niet noodzakelijk een g-factor voor nodig: vd Maas ea

ad 7. ‘dus toch bestaat!?’, nee, wat we meten met tests die we intelligentietests noemen.
‘iedereen weet’: dat is juist het springende punt. Zie het citaat waarmee ik mijn artikel begin ‘Intelligentie is aangeboren’.

ad 8. Bespreking van het werk van Alfred Binet overgeslagen? Vergelijken van mentale en fysieke leeftijd, om tijdig leerlingen te vinden die een gewoon schoolprogramma niet goed aankunnen. En die speciaal onderwijs aan te bieden. Amerikanen maakten er een IQ-alchemie van.

ad 9. Dat is niet precies uitgedrukt. Recent onderzoek (dna) heeft geen genen opgeleverd die met verschillen in intelligentie hebben te maken. Verrassing. Polygenic Risc Scores gaan uit van kleinere stukjes dna dan genen, verklaarde varianties vooralsnog beperkt.

ad 10. Klopt. Volgens krantenberichten rond 2013 maakte regeringsadviseur Cummings die fout: hij concludeerde uit de hoge erfelijke bepaaldheid van verschillen in studieresultaten dat investeren in onderwijs wel een tandje minder kon. Cummings had zich door Plomin laten bijpraten.

ad 11. Is dit commentaar op mijn artikel?

ad 12 Zeker. Ik leg dat uit in mijn 1972 ‘Spiegelgevechten om het IQ’ (Haagse Post)… (Spiegel: de mate van erfelijk bepaald zijn van verschillen betekent ongeveer het omgekeerde van wat men er associatief aan toedicht).

ad 13 & 14. Dat is een stelling die door Robert Plomin (in zijn ‘Blueprint’) tot in het absurde is doorgetrokken. Alles is genetisch bepaald, en als dat niet zo is, dan is dat ook genetisch bepaald. Kritieken van gedragsgenetische collega’s zijn niet mals. Bijv.:

ad 15. Controversiële wetenschap tot wetenschappelijke feiten verklaren gaat niet helpen.
Interessante boek James Tabery (2014). ‘Beyond versus : the struggle to understand the interaction of nature and nurture’ MIT Press.

ad 16. Heb je misschien de referentie in diezelfde zin over het hoofd gezien?
Han L. J. van der Maas, Kees-Jan Kan and Denny Borsboom (2014). ‘Intelligence Is What the Intelligence Test Measures. Seriously’ Intelligence, 2014, 2, 12-15

Click to access 156065_442522.pdf

ad 17 ???

ad 18. Ja? Wat is je punt?

ad 19 & 20. Voor wie belangstelling heet voor Galton, een slechterik maar wel een reus in de wetenschap:
Nicholas Wright Gillham (2001). ‘Sir Francis Galton. From African exploration to the birth of eugenics’ Oxford University Press

ad 21, 22, 23, 24. Mijn bewuste keuze is geweest om op eugenetica niet verder in te gaan dan die enkele vermeldingen. Ik wil dat ook hier niet doen, het is een misselijk makend onderwerp.
Standaardwerk over eugenetica Daniel J. Kevles 1985 ‘In the Name of Eugenics’

ad 25. Waar gaat het over: de schijnbaar ongekende mogelijkheden die hedendaagse op het menselijk genoom gebaseerde technieken bieden, samen met gigantische genetische databestanden. Lees ‘Blueprint’ van Robert Plomin, en je weet wat ik bedoel. Hij is overigens wel heel extreem.

ad 26. Dat ben ik met je eens. Ik had niet moeten generaliseren.

ad 27. Dat was niet mijn onderwerp. Ik weet niet of ik het op dat laatste punt met je eens ben, het is een lastige problematiek, goede evaluaties van gevoerd beleid zie ik niet langskomen.

ad 28. Verwees ik niet naar mijn historische oefening op dat onderwerp?

ad 30. Is het een visie, of is het een feit?
A. D. de Groot (‘Vijven en zessen’) had er nooit aan gedacht eens om te kijken naar de oorsprong van dat cijfergeven, en was prettig verrast over mijn vondst.
Ranking is een wetenschap 😉

ad 31 “Het is helemaal niet zo’n gekke gedachte dat die psychometrie een apparaat is dat handig dient om het ‘minder intelligente’ deel van de bevolking zijn plaats te wijzen. Kijk eens naar ons vmbo versus havo/vwo, en hoe de … Eindtoets, die klus klaart (”

ad 32. Ik had misschien een extra verwijzing naar eigen werk op moeten nemen: ‘Toetsen en testen in het onderwijs’, SVO 1986…
Het onderscheid komt in 1988 terug in de NIP- ‘Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen’.

ad 33, 34, 35, 36. Je gaat hier helemaal los, zie ik. Waarom toch? Waar het artikel over gaat is het overtrokken belang dat in het onderwijsveld wordt gehecht aan verschillen in intelligentie; de nefaste gevolgen daarvan hoef ik niet uit te spellen, toch?
Wat je hier allemaal aan verbanden opsomt zal ik niet bestrijden. Maar wat vertellen ze ons over hoe de psychologische wereld in elkaar zit? De oorsprong van de intelligentietest bij Alfred Binet was louter pragmatisch. En dat is nog steeds zo. Als we dat ethisch doen, oké.

ad 37. Waar ik impliciet naar verwijs is de aloude tegenstelling tussen correlationeel en empirisch psychologisch onderzoek, beschreven door
Lee J. Cronbach (1957) ‘The two disciplines of scientific psychology’…
Een klinkklare klassieker. 😉

Een andere tegenstelling is die tussen institutioneel en individueel gericht testen, zoals door dezelfde Cronbach, met Goldine Gleser, beschreven in 1957 ‘Psychological tests and personnel decisions’. Raad eens wie in institutioneel testen de onderliggende partij zijn.

ad 38 Als er sprake is van restriction of range in een van die variabelen, tja, dan is er geen verband. Als.

ad 39 ‘Nature-nurture’ is geen kwestie van logica, van of-of. Dat beweert niemand, en ik dus ook niet.

ad 40 Dan zijn we daarmee terug bij de visie van Alfred Binet. Daar ben ik niet ontevreden mee.
Maar zeg eens eerlijk: was het nou nodig om mij ideologische vooringenomenheid te verwijten?

Ik heb de indruk dat ik er met mijn artikel niet in ben geslaagd jou te overtuigen dat ik een en ander niet uit mijn duim had gezogen. De literatuurlijst had dat niet kunnen corrigeren? Wat heb ik onhandig gedaan om deze lange lijst niet geweldig terechte verwijten te verdienen?

Contexts in math education

[Twitter original thread Dec 17th 2019, 12 tweets, 5 min read]

Question: is ‘daily life (and its situations)’ a knowledge domain?
Can one learn to become an expert in ‘daily life’?
I am asking this for a friend who thinks that it is fair to test mastery of math by hiding math problems in situations of daily life.

A contrasting case might be the ‘culture free test’ (of intelligence) in the definition of the American Psychological Association

Oh wait. Culture-free tests are impossible. ‘Culture fair test’ might be better:

Note. Culture fair tests of intelligence should not show a strong ‘Flynn effect’ (rise in mean IQ over the 20th century). For if they did, they would evidently not be culture fair.
Guess what. Yes, indeed. The Raven test showed the strongest ‘Flynn effect’.

The contrasting case of the culture fair intelligence test suggests that tests of the mastery of pure math are culture fair tests in a meaningful way. Fine.
Reform math, e.g. RME [Utrecht based Realistic Mathematics Education], changed that, the idea being that math is only math if one can apply it, #transfer it.

Another school discipline, physics, is a heavy user of math. Physics is a knowledge domain, *inclusive* of the appropriate math. A true physics test is a test of mastery of physics, not a test of mastery of math; the math is necessary, not sufficient. #contexts #paradox

Why am I doing this exercise? In Holland an attempt is being made (by the minister of education) to reform the goals and goal structure of primary and secondary: Also math. The proposal further entrenches reform math, based on pseudopsychology.

The arguments for the uses of #contexts in instruction as well as in assessments and examinations of mathematics are are not grounded in sound psychology at all.
I try to show in this thread that #contexts in examinations invalidates them, in the sense of the APA standards.
The Standards are not open access, regrettably. Info on wikipedia

‘Far transfer’ might not be a special phenomenon at all, it is just continued learning (thanks to Stellan Ohlsson, in his 2012 ‘Deep learning’, reviewed:
If not guided (eg. private), it is problem solving. If guided (eg. vocational), it is training.

Another serious problem with contexts not being drawn from specific knowledge domains is that it obstructs students’ preparation for assessments and exams. One can’t prepare oneself for problem contexts that might just be anything, anywhere, anytime.

Writing the English essay in examinations had the same problem; it tended to be solved by letting students choose from among a small list of subjects. A lot better than just one subject, yet it still does not result in a level playing field for all students.


Annotations and literature on the subject of contextual questions in assessments:

Also on transfer:

A classic article on preparation for assessments:
Adriaan de Groot (1970). ‘Some badly needed non-statistical concepts in applied psychometrics’

The ‘Flynn effect’:
James R. Flynn (2012). Are We Getting Smarter? Rising IQ in the Twenty-First Century. Cambridge University Press. TEDx-talk:

‘Intelligentie’ in historisch perspectief

gepubliceerd maart 2020 in Van Twaalf tot Achttien,
zie daar het volledige artikel (vrij toegankelijk).

”[…] Intelligentie”, zegt een andere leerkracht, ”is aangeboren. Wij proberen er bij een kind uit te halen wat er in zit, maar meer dan dat lukt niet. Een Trabant kan ook niet tegen die Formule 1-wagen op.” Uit: ‘Gewoon les’ is vaak te moeilijk, Mieke de Waal, Volkskrant 9 april 1997

‘Intelligentie’ bestaat niet. Het is de verzamelnaam voor tal van cognitieve vermogens zoals die in intelligentietests aan de orde zijn. Zoals kennis het resultaat is van (o.a.) onderwijs, is intelligentie dat ook, maar dan als een meer abstract resultaat van (o.a.) onderwijs.

Intelligentie en IQ
Intelligentie groeit met ieder jaar extra onderwijs. “Intelligence test scores and educational duration are positively correlated”, zeggen Stuart & Tucker-Drob. ( Die jaarlijkse groei verbaast ons misschien. Dat kan komen omdat we denken dat IQ, het intelligentiequotiënt, hetzelfde is als intelligentie, maar dat is een misverstand.

Lees verder op de website van Van Twaalf tot Achttien:
Herblogd van

Weg met het realistisch rekenen

Pun intended.

Tijden van bezinning. Voor mij is nu wel het moment aangebroken om de rommel van Freudenthal en Treffers, het realistisch rekenen, achter me te laten. Die komt via het Wereld Wiskunde Fonds weer in roulatie, voor wie geschiedenis van ons recente rekenonderwijs wil schrijven.

Het Wereld Wiskunde Fonds is een goudmijn voor wie zich wat intensiever in wil lezen in wiskundeonderwijs van hier en elders, van nu en vroeger, en daar een bibliotheekje over wil vormen: een boekenveiling waarvan de baten ten goede komen aan ontwikkelingsdoelen 3e wereld.

Het realistisch rekenen (en wiskunde) is een typisch Nederlandse vorm van wat overigens een wereldwijde hervormingsbeweging van wiskundeonderwijs is. Het gaat om een ideologie (het constructivisme) die met de rug naar de wetenschap staat: er valt geen discussie mee te voeren.
Zie op deze debat-pagina bv. de aanvaring van Adri Treffers met Wim van der Linden en Michel Zwarts, en je hebt een antwoord.
Ik heb er eigenlijk alles al over gezegd in een serie rekenblogs in 2011, ook de tijd dat de #rekentoets vorm begon te krijgen onder dominante invloed van realistisch rekenaars. Zie hier voor deze rekenblogs, met werkende links naar de site van BON:

O ja: die #rekentoets is een razend interessant en buitengewoon omvangrijk (kosten: een half miljard) onderwijsexperiment geweest. Een belangrijk deelvan de onderwijsverzorgingsstructuur (SLO, Cito, CvTE) was erbij betrokken, en faalde jammerlijk. Geen haan kraait ernaar? $%#!(&*
De ramp van de rekentoets: ieder weldenkend mens kan toch eenvoudig zien hoe verantwoordelijke expertisecentra hier dramatisch faalden?
O wacht, het was een experiment zonder onderzoekers: er komt niet vanzelf wel eens een evaluatie uit de pijplijn rollen. Ik begrijp absoluut niet waarom de onderwijscommissie van de TK op dit dossier al heel lang in winterslaap is. SLO, Cito en CvTE zijn brokkenpiloten gebleken.

Daarom moet ik voor mijzelf dit dossier maar eens sluiten. Dat realistisch rekenen is een dossier waar ik acuut depressief van kan raken, ik draag het graag over aan sterkere geesten.


En de rekentoets?

Er is politiek ook iets afgesloten, op 21 april: de rekentoets. Althans, de rekentoets als onderdeel van centrale examens

Het is moeilijk te geloven, maar echt waar: de rekentoets in het CE is mislukt. De minister stelt voor om scholen dan zelf maar rekentoetsen te laten maken en afnemen in het SE. SLO helpt (maar is zelf schuldig).

Laat ik het ook anders zeggen: de minister heeft geen flauw idee waarom de rekentoets mislukt is, maar weet toch precies wat er bij afschaffen moet gebeuren: hetzelfde type rekentoets dan maar laten maken door scholen zelf, ipv door het Cito, in het schoolonderzoek af te nemen.

Dat de minister niet weet en niet heeft laten onderzoeken waarom de #rekentoets is mislukt mag verbazen, maar dat is gewoon zo. Een paar commissies van de minister kwamen er ook niet uit. Waarom is dat zo? Mijn vermoeden: de instituties (SLO, Cito, CvTE) lobbyen Den Haag plat.

En toen ging dit Algemeen Overleg, en daarmee het #rekentoets-debat, als een nachtkaars uit. Ik ben verbijsterd, moet ik zeggen. Er komt maar geen eind aan de reken-ellende in ons onderwijs.
Waarom hebben we geen ‘RIVM’ voor het onderwijs? Zijn we een achterlijk land, of zo?
Ik ben benieuwd hoe in Frankrijk een dergelijke commissie opereert (een soort WRR specifiek voor het onderwijs) met Stanislas Dehaene als voorzitter.


Weg met mijn boekenplanken realistisch rekenenen.

Je neemt die boeken dan toch nog een keer in handen, bladert er nog eens doorheen, leest hier en daar wat. Voor curriculum_nu wilde ik me nog eens een beeld vormen van de Freudenthalse beweging. Daar wordt een mens niet vrolijk van, vandaar uiteindelijk een drastisch besluit om (vrijwel) alles op te ruimen.

Waar zit hem dan de treurnis in? Het verpletterende amateurisme dat maakt dat het vrijwel onmogelijk is om op basis van psychologie kritische analyses van werk uit de school van Freudenthal te maken. Sectarisme is sectarisme, en dan ben je snel uitgepraat. Gelovigen in het woord van Freudenthal, hoe kom je daarmee in vruchtbaar gesprek? Het amateurisme druipt al die proefschriften uit: eindeloze beweringen en idiosyncratische waarnemingen uit rekenklassen, wat moeten we daarmee? Dat amateurisme heeft ook een naam: het heet ‘ontwikkelingsonderzoek‘. Dat is dus geen onderzoek, en het ontwikkelt niet. Jan van den Akker heeft er veel over gepubliceerd, over ontwikkelingsonderzoek als methode. Ik heb Jan maar een keer mogen ontmoeten, in Enschede. Korte uitwisseling over ontwikkelingsonderzoek: ‘zoals jij het beschrijft, Jan, kan het best werken, maar in de praktijk zie ik dat er verschrikkelijk mee wordt geprutst, zie bijvoorbeeld het laatste hoofdstuk in het proefschrift van Koeno Gravemeijer.’ Daar was Jan van den Akker het wel mee eens. Kijk, psychologen onderling (Van den Akker had ook bij Carel van Parreren gestudeerd, in Utrecht) kunnen het over dit soort zaken in heel erg korte tijd eens worden. En dat lukt mij nou nooit met aanhangers van realistisch rekenen. Die aanhangers zijn gelovigen, ongevoelig voor argumenten die berusten op wetenschappelijke methodologie. En dat straalt je tegemoet op iedere bladzijde literatuur uit de reken- en wiskundeschool van Freudenthal. En ook uit het werk van Freudenthal zelf, overigens. Freudenthal geloofde sterk in zichzelf en kon daarover dikke boeken vol schrijven (uitgegeven door Reidel waar Freudenthal uitstekende contacten mee had). Nee, ik heb het dan niet over zijn wiskundige publicaties; hij was briljant wiskundige. Die Reidel-boeken van Freudenthal gaan nu dus ook de deur uit, ik kan er werkelijk helemaal niets mee. Sterker: waar hij helemaal los gaat op broddelwerk dat door psychologen zou worden geleverd, word ik lichamelijk beroerd van zijn scheldpartijen. Zelden noemt hij man en paard, waarmee hij het effectief onmogelijk maakt om een antwoord op die scheldpartijen te formuleren. In deze zin vind ik het werk van Hans Feudenthal zelf wel het absolute dieptepunt in de geschiedenis van de sekte van realistisch rekenaars (waar overigens ook de realistische wiskundetak van Jan de Lange bij hoort).

Ik ben blij dat ik er nu vanaf ben.

New pandemic edtech power networks

code acts in education

Ben Williamson

networks alina-grubnyak New global networks of organizations have begun to propose technical policy solution to mass disruption to education systems during the coronavirus outbreak. Image by Photo by Alina Grubnyak on Unsplash

Mass closures of schools and universities plus rapid switches to remote online teaching and learning around the world have empowered technology vendors and promoters to position themselves as frontline emergency response providers during the current coronavirus outbreak. In the early stages of the crisis, individual organizations sought to offer up novel solutions and potentially gain advantage from the new pandemic markets stimulated by the shuttering of schools. Very rapidly, however, new coalitions, collaborations and alliances have formed around shared objectives to solve the global disruption of education.

Powerful networks, consisting of big tech companies such as Google, Microsoft and Facebook, international organizations including the OECD and UNESCO, as well as a global education industry of edu-businesses, consultancies, investors…

View original post 3,237 more words

Emergency edtech

code acts in education

Ben Williamson

markus-spiske-unsplash The education technology industry has positioned itself as an emergency response to the coronavirus pandemic. Photo by Markus Spiske on Unsplash

Education institutions around the world are switching to ‘remote’ teaching and learning, and the education technology industry is eagerly offering its products to support them in the current emergency. To a certain extent, the emergency edtech response is providing much-needed services to help educators provide some continuity of study and learning for their students. But the edtech sector has been preparing for remote education for years, and built up a marketplace of products that could radically alter how education is organized long after the world has recovered from the public health crisis.

The novel coronavirus pandemic is a health emergency, a political emergency, an economic emergency, and an educational emergency. Since its effects on education systems first became apparent in south east Asia early this year, education…

View original post 996 more words

Intelligence and education: inventory of publications on their history

[work in progress]

Bayley, Nancy (1955). On the growth of intelligence. American Psychologist, 10, 805–818. Classic.

Binet, Alfred & Simon, Théodore (1916). The development of intelligence in children. (The Binet-Simon Scale). 

Bisseret, Noelle (1979). Education, class language and ideology. Routledge & Kegan Paul.

  • Chapter 1: ‘Essentialist ideology. Its origins and its scientific form, the theory of natural aptitudes’ Section captions:
    •   ‘Prior to the nineteenth century, the word ‘aptitude’ designated a contingent reality’
    • ‘The first half of the nineteenth century: ‘aptitude’ becomes an essential hereditary feature: birth of a new ideology justifying social inequalities’
    • ‘The second half of the nineteenth century: ‘Aptitude’ refers to a strictly biological causal process. The word ‘becomes a part of everyday language’
    • ‘The age of tests: aptitude as a measurable reality.  The science of aptitudes as the warrant of a legitimate social order’
    • ‘Scientific definitions of the concept of aptitude. A criticism of the relevance of its use in the social sciences. Permanence of a nineteenth pattern of thought’

Block, N. J., & Gerald Dworkin (Eds) (1976). The IQ controversy. Random House.

  • reader of articles by. i.a., Walter Lippmann – Lewis M. Terman – Richard C. Lewontin – Arthur R. Jensen – Leon J. Kamin – Noam Chomsky – Richard J. Herrnstein – Carl Bereiter – Christopher Jencks
  • for the Lippmann-Terman debate see also: Chapman (1988) Schools as sorters [below], and Lee J. Cronbach, 1975, Five decades of public controversy over mental testing. American Psychologist, 30, 1-14

Blum, Jeffrey M. (1978). Pseudoscience and mental ability. Monthly Review Press.

Boring, Edward G. (1923). Intelligence as the tests test it. New Republic, 35, 35-37. pdf

Carroll, John B. (1982). The measurement of  intelligence, blz. 29-120 in Sternberg, Robert J., (Ed.): Handbook of human intelligence. Cambridge: Cambridge University Press.

  • (..) the inertia within the profession itself that resulted from complacency about the sufficiency of available methodologies and testing procedures and disquiet about misuses of these procedures made serious inroads on the ability of the testing profession to move forward. Large sectors of the profession were enmeshed in outmoded or at least debatable concepts of human behavior, particularly the assumption that mental abilities are relatively immutable even with extensive and prolonged experience or intervention and, furthermore, that they have almost overpowering genetic determinants.p. 108, quote Brigham” source

Carroll, John B. (1997). Psychometrics, intelligence, and public perception.  Intelligence, 24, 25-52. pdf

Chapman, Paul Davis (1988). Schools as sorters. Lewis M. Terman, Applied Psychology, and the Intelligence Testing Movement, 1890-1930. New York: New York University Press.

  • The Conclusion of the book sums it all up.
  • Much recent scholarship has consisted of emotionally charged attacks on tests and classification systems.  The testing establishment has contributed countless studies, many of them defending the value of tests.  Historical studies of testing have concentrated extensively on leadership and ideology.  Few have examined how and why intelligence tests and classification systems were actually introduced into the schools and what difference they made in the lives of students.p. xiii
  • This study explores the origins of the use of intelligence tests to classify students into ability groups. p. 3
  • (citing Minton, in Sokal 1987: Psychological testing and American society) Terman’s democratic ideal of a meritocracy based on innate ability was not, in the context of his own times, a bona fide democratic ideal. His legacy of mass intelligence testing served to perpetuate an unjust social order. p. 14

Cooke, Kathy J. (1998). The Limits of Heredity: Nature and Nurture in American Eugenics Before 1915. Journal of the History of Biology, 31, 263-278.

Crano, William D., Kenny, David A., and Campbell, Donald T. (1972). Does intelligence cause achievement? A cross-lagged panel analysis. Journal of Educational Psychology, 63, 258-275.

  • Does intelligence cause achievement, or is it the other way around? See also Watkins & Styck 2017.

Cronbach, Lee J., and Suppes, Patrick (Eds.) (1969). Research for tomorrow’s schools: Disciplined inquiry for education. London: Collier-Macmillan Limited.

  • Chapter 2: American scholars and educational progress: 1855-1958
  • Education emerges as a field of study 1855-1895: Henry Barnard: The Journal and the United States Office of Education – William T. Harris as Commissioner of Education – Other sources of leadership
  • The heyday of empiricism 1895-1938: Dewey and the promotion of innovation – The Office of Education: a middle-aged bureaucracy – Local surveys and local research bureaus – The humanities in decline – Education separates from the arts and sciences
  • Promotional activity supplants inquiry 1938-1958: Opposition to standardization and tradition – Research activity as an agent of change
  • Chapter 3: Some chains of significant inquiry.
  • Mental tests and pupil classification – Evolutionary theory and the idea of ‘fitness’ – Mental tests in American schools – Unified intelligence: a concept under attack – Test profiles in college selection Test technology in the service  of the individual
  • The philosopher and the concept of knowledge: Knowledge as the fruit of problem-solving – Educational aims suggested by the pragmatic view
  • Thorndike’d impact on the teaching of arithmetic: Principles of learning – The psychology of arithmetic – Teaching of arithmetic
  • The politics of education: a legacy of historical inquiry: Economic interests as a force in educational policy – Effects on the thinking of schoolmen
  • reviewed:

Dirkzwager, A. (1966). Intelligentie en schoolprestaties. Een empirisch onderzoek. Amsterdam: Swets & Zeitlinger. Proefschrift.  

  • We moeten hieruit de conclusie trekken dat schoolprestaties in belangrijke mate onafhankelijk zijn van de intelligentie  van de leerlingen; in ieder geval wanneer we beiden op korte termijn beschouwen, wanneer het ons primair om verschillen tussen leerlingen uit eenzelfde schoolklas gaat en wanneer we over de schoolprestaties in het eerste trimester handelen.  Deze conclusie is primair van belang voor hen die bij de dagelijkse gang van het onderwijs betrokken zijn of daarover theoretiseren: het is niet de intelligentie van de leerlingen die het directe effect van de onderwijs-inspanning bepaalt; ter verklaring van verschillen wat de effectiviteit van het onderwijs op korte termijn betreft moet naar andere gronden gezocht worden.    
  • Op langere termijn hangt, zo blijkt uit het longitudinaal onderzoek, de schoolloopbaan van  de leerling wel samen met zijn intelligentie. We schreven dit toe aan het feit dat de intelligentie een van de meest constante persoonlijkheidskenmerken is en dat een lage intelligentie derhalve een steeds aanwezige handicap is, waarvan, over een langere periode, het effect duidelijker is dan van in de tijd meer fluctuerende variabelen. De absolute waarden van de betreffende correlaties zijn echter niet zo hoog, dat we de intelligentie de belangrijkste factor voor het schoolsucces durven noemen. [p. 122]

Ebel, Robert L. (1963). The social consequences of educational testing. Reprinted in Anne Anastasi (1966). Testing problems in perspective. Twenty-fifth anniversary volume of topical readings from the invitational conference on testing problems.. American Council on Education.

  • Consider first, then, the danger that educational testing may place an indelible stamp of inferiority  on a child, ruin his self-esteem and educational motivation, and determine his social status as an adult.Most of us here assembled are well aware of the fact that there is no direct, unequivocal means for measuring permanent general capacity for learning. It is not even clear to many of us that, in the state  of our current understanding of mental functions and the learning process, any precise and useful meaning can be given to the concept of ‘permanent general capacity for learning’.  We know that all intelligence tests now available are direct measures only of achievement in learning, including learning how to learn, and that inferences from scores on those tests to some native capacity for learning are fraught with many hazards and uncertainties. But many people who are interested in education do not know this.  Many of them believe that native intelligence has been clearly identified and is well understood by expert psychologists.  They believe that a person’s IQ is one of his basic, permanent attributes, and that any good intelligence test will measure it with a high degree of precision.  They do not regard an IQ simply as another test score, a score that may vary  considerably depending on the particular test used and the particular time when the person was tested. p. 21 in Anastasi The concept of fixed general intelligence, or capacity for learning, is a hypothetical concept. At this stage in the development of our understanding of human learning, it is not a necessary hypothesis.  Socially, it is not now a useful hypothesis.  One of the important things test specialists can do to improve the social consequences of educational testing is to discredit the popular conception of the IQ.  Wilhelm Stern, the German psychologist who suggested the concept originally, saw how it was being overgeneralized and charged one of his student coming to America to ‘kill the IQ’. Perhaps we would be well advised, even at this late date, to renew our efforts to carry out his wishes. p. 22 in Anastasi

Ericsson, K. Anders (2018). Intelligence as Domain-Specific Superior Reproducible Performance  pp 85-100 in Sternberg, Robert J., The nature of human intelligence. New York: Cambridge University Press. book online

  • … the standard practice of selecting children and adolescents for future advanced-level education based on the traditional tests of intelligence needs to be reconsidered, given their lack of relation to performance among skilled performers.p. 97

French, Joseph L., & Hale, Robert L. (1990). A History of the Development of Psychological and Educational Testing, pp. 3-28 in Reynolds, Cecil R., & Kamphaus, Randy W. Handbook of psychological and educational assessment of children: intelligence and achievement. London: The Guilford Press. book info

Eysenck, H. J. / Leon Kamin (1981). Intelligence: The battle for the mind. Pan Psychology.   

Gould, Stephen Jay (1981). The mismeasure of man. New York: Norton. 

  • Gould doesn’t really consider the impact of ideas of intelligence on education; it is intelligence testing that gets debunked here.  My take on the book: Gould is right.  He might be mistaken in some technical details of testing and factor analysis, but what the heck.  Important contribution to the literature critical of psychological testing in the US.

Robert J. Gregory (2000 3rd ed). Psychological testing. History, principles, and applications. Allyn and Bacon.

  • Adequate first chapter on history: ‘The history of psychological testing’, containing: ‘The origins of psychological testing’ and ‘Early testing in the United States’. (pp. 1-28)

Hadow, Sir W. H. (chair) (1924). Board of Education. Report of the consultative committee on psychological tests of educable capacity and their possible use in the public system of education. London: His Majesty’s Stationary Office.   The Committee’s Report pp. 1-145. Appendices 146-238 (a.o. by Cyril Burt). Full text

  • Tijdsbeeld voor Engeland, toch iets anders dan de VS. Reception of the Binet-Simon tests in England.  Thinking on intelligence and abilities.  Fascinating.

Hanson, F. Allan (1993). Testing testing. Social consequences of the examined life. University of California Press.;brand=ucpress free online

Hoffmann, Banesh (1962/78). The tyranny of testing. Crowell-Collier. Reprint 1978. Westport, Connecticut: Greenwood Press.

Jarvin, Linda, & Sternberg, Robert J. (2003). Alfred Binet’s contributions as a paradigm for impact in psychology.  Chapter 3 in  Zimmerman, B. J., & Schunk, D. H. (Eds.) (2003). Educational psychology: A century of contributions. Erlbaum.  [p. 97] google.books

  • Unfortunately, the American developers of his work believed in fixed IQ and substantially modified Binet’s original ideas and intentions. p. 97

Kaufman, Scott Barry (2013). Ungifted: Intelligence Redefined. Basic Books.

Kevles, Daniel J. (1985). In the Name of Eugenics: Genetics and the Uses of Human Heredity. Cambridge, Mass.: Harvard University Press. info

  • And had he [Galton] been more self-aware he might have understood that his proto-eugenic pronouncements celebrated the social milieu—and met the psychic needs—of Francis Galton. p. 4

Lagemann, Ellen Condliffe (2000).  An Elusive Science: The Troubling History of Education Research. University of Chicago Press. info

Lemann, Nicholas  (1999). The big test. The secret history of the American meritocracy. New York: Farrar, Straus and Giroux. interview Lemann

Maas, Han L. J. van der -, Kan, K. -J., & Borsboom, D. (2014). Intelligence is what the intelligence test measures. Seriously. Journal of Intelligence2, 12–15. pdf

Nisbett, Richard E.  (2009). Intelligence and how to get it: Why schools and cultures count. New York, NY: Norton. info

Meier, Scott T. (1994).  The chronic crisis in psychological measurement and assessment. A historical survey.  Academic Press. info

  • Psychologists interpreted Binet’s results as evidence of an intelligence factor, which Spearman labeled g. Noting the intercorrelations of different components of intelligence tests, psychologists assumed that individuals applied g in all domains, g was assumed to be a hereditary factor, thereby largely stable and immune to situational influences. It was a psychological trait.  Thus, intelligence testing, which came to be the model and standard for all psychological testing, emphasized the importance of enduring psychological attributes—traits—over environmental influences.  p. 17

Peng Peng  Rogier A. Kievit (2020). The Development of Academic Achievement and Cognitive Abilities: A Bidirectional Perspective. Child Development Perspectives open access

Prinsen, B. A. (1935).  Intellectmetingen bij kinderen.  Bijdrage tot een vergelijkend onderzoek van stad en platteland.  (proefschrift) online

  • Onderzoek met 192 plattelandsschoolkinderen, met Binet-testjes.

Ritchie, Stuart & Tucker-Drob, Elliot (2018). How much does education improve intelligence? A meta-analysis. Psychological Science pdf

Scarr, Sandra (1997). Behavior-Genetic and Socialization theories of intelligence: Truce and reconciliation. pdf In Sternberg, Robert J. & Grigorenko, Elena (Eds.) (1997). Intelligence, heredity, and environment. (pp 3-41) Cambridge: Cambridge University Press. Contents and abstracts

Selden, Steven (2005). Transforming Better Babies into Fitter Families: archival resources and the history of American eugenics movement. Proceedings of the American Philosophical Society

  • The complex behaviors thought to be determined by one’s heredity included being generous, jealous, and cruel. In today’s context, the popular media often interpret advances in molecular genetics in a similarly reductive and determinist fashion. This paper argues that such a narrow interpretation of contemporary biology unnecessarily constrains the public in developing social policies concerning complex social behavior ranging from crime to intelligence.from the abstract

Snow, Richard E., with Yalow, Eleana (1982). Education and intelligence, blz. 493-584 in Sternberg, Robert J., (Ed.): Handbook of Intelligence. Cambridge: Cambridge University Press. [Not online] [Reprinted from Patrick Suppes (Ed.) (1978). Impact of Research on Education: Some Case Studies. Washington, D.C.: National Academy of Education.  

Sutherland, Gillian  (1984). Ability, Merit, and Measurement: Mental Testing and English Education 1880-1940. Oxford: Oxford University Press.

Thorndike, Edward L. (1911). Individuality. Boston: Houghton Mifflin Company.

  • The differences exist at birth and commonly increase with progress toward maturity. Individuality is already clearly manifest in children of school age.p. 7

Watkins, Marley W., and Styck, Kara M. (2017). A Cross-Lagged Panel Analysis of Psychometric Intelligence and Achievement in Reading and Math. Journal of Intelligence Does intelligence cause achievement, or is it the other way around?  See also Crano, Kenny & Campbell 1972.

Wilbrink, Ben (1997).  Assessment in historical perspective.  Studies in Educational Evaluation, 23, 31-48. page

Wilbrink, Ben (March 2020). Intelligentie in historisch perspectief. [Intelligence in historical perspective]  Van Twaalf to Achttien.

Loten bij numerus fixus: taboe bij motie opgeheven


English readers:

  • This blog (in Dutch) is about The Dutch weighted lottery for admission to, for example, the studies of medicine and dentistry.  The lottery was outlawed in 2017 or something, and will be allowed again as an instrument to effect  the reduction of the number of applicants to studies with a restricted number of slots in 2020.  This lottery is rather famous, and yet largely unknown. Read all about it: ‘The weighted lottery in the admission to ‘restricted’ university studies in the Netherlands’

Bij motie van Paternotte (D66) en Van der Molen (CDA), aangenomen 18 februari, gaat loten weer een toegestaan instrument worden om in de bijzondere situatie van een numerus fixus het aantal kandidaten te reduceren.  Ga ik er weer een nieuw artikel over schrijven? Nee, ik heb al genoeg geschreven.  Hierbij de opsomming van dat werk, sinds 1974.  Loten was toen al een feit: na een rechterlijke uitspraak in 1972, meen ik, werd de toegang tot de studie geneeskunde van de ene op de andere dag  getalsmatig beperkt.  Uit rechtvaardigheidsoverwegingen was er dus geen andere optie dan integraal loten, en zo geschiedde (minister De Brauw, DS70).


Standpunt Contactgroep Research Wetenschappelijk Onderwijs (1974) ‘Bij beperkte toelating beslist alleen het lot’ Onderzoek van Onderwijs

[Contactgroep: van de universitaire centra.] Loten voor geneeskunde gebeurde al; de vraag was: hoe toelating definitief wettelijk te regelen.

1974 ‘Selectie voor numerus-fixus irrationeel’ NRC

Hoogleraar biologie Bakker reageerde fel in de NRC op het CRWO-standpunt over loten, en kreeg daar meer dan duizend steunbetuigingen op.  Niemand had mij erover getipt, vandaar de late reactie in CS van de NRC.

Met Hans van der Vleugel, 1974: ‘Loten heeft slechts voorkeur bij gebrek aan beter’ (in themanummer ‘Selecteren of loten‘ van Onderzoek van Onderwijs).

‘Loot om oud ijzer’ CRWO-commentaar op het Rapport van de Werkgroep Selectie i.v.m. de Machtigingswet Inschrijving Studenten.  1979.

(destijds slechts op kleine schaal verspreid) Toont generatiekloof tussen De Groot, Wiegersma, en aanstormend talent 😉

‘Toelatingstoets voor het wetenschappelijk onderwijs?’ Tijdschrift voor Onderwijsresearch 1980

Over de opdracht van Pais aan Cito om zo’n toets te ontwerpen, en over opdrachtnemerschap: Cito wilde de opdracht teruggeven, maar minister Van Kemenade was eerder.

‘Toelating tot numerus fixus studies opnieuw in discussie’ Universiteit en Hogeschool

Vooruitlopend op parlementaire behandeling van de voorstellen van onderwijsminister Pais voor een sterk selectieve toelating tot gesloten universitaire studies.

‘Kansberekeningen bij Pais’ voorontwerp van wet toelating tot numerus fixus studies in het w.o.’ 1980

Dat voorontwerp regelde kansen voor allerlei bijzondere groepen.  Modelmatige doorrekening laat absurde resultaten daarvan zien. Voorontwerp ingetrokken.

‘De problematiek van de studentenstops en de toelatingsprocedure’ 1980 (COWO-rapport)

Weer een principieel stuk, met o.a. aandacht voor ontwikkelingen sinds 1972, en voor mogelijke verdelingsprincipes bij dit schaarsteprobleem.

W. K. B. Hofstee (1983). ‘The Case for Compromise in Educational Selection and Grading’ In Anderson & Helmick On educational testing  p. 109-127

Gewogen loting is een prachtig voorbeeld van wat compromis-modellen zijn gaan heten. Voor polder-selecteurs.

W. K. B. Hofstee (1990). ‘Allocation by lot: a conceptual and empirical analysis’ SSI.

Click to access 90hofsteeallocation.pdf

Een interessante beschouwing over het inzetten van loten in het algemeen.

‘Lot in eigen hand?’ NRC 1996

Als het aan onderwijsminister Ritzen ligt leidt de discussie over gewogen loting voor geneeskunde en andere studies met een numerus fixus tot afschaffing ervan, want het is beter dat kandidaten het lot in eigen hand hebben.

‘De discussie over toelating bij numerus fixusstudies’. In Commissie-Drenth Gewogen loting gewogen. 1997

Grondiger dan dit stuk gaat het voorlopig niet worden. Maar ja, de Commissie-Drenth is deels gezwicht onder druk van Ritzen en Kok (Drenth, in ingezonden brief NRC), zo gaat dat wel vaker?

‘Rechtvaardigheid en selectie voor numerus fixusstudies’ Tijdschrift voor Hoger Onderwijs 1999

Numerus-fixusstudies krijgen de mogelijkheid een deel van de schaarse plaatsen via een eigen selectieprocedure te verdelen.  Iedere morgen nieuwe zorgen.

Decentrale toelating, eerste stap naar selectieve toelating HO? Plaatsbepaling bij eindrapport van Commissie Sorgdrager.  Tijdschrift voor Hoger Onderwijs 2003

Het neoliberale sentiment leidt stap voor stap tot meer selectie-aan-de-poort, zeg maar.

‘Extra selectie aan de poort: wanneer is genoeg genoeg?’ Onderzoek van Onderwijs, 2004

Amerika is rolmodel voor poortselectie, maar dat gaat voorbij aan de eigen aard van het Nederlandse stelsel waar de selectie is georganiseerd in het vo.

Heb ik anno 2020 nog behoefte aan het schrijven van nog weer een stuk over loten versus selecteren?  Ik heb alles al opgeschreven, het is al decennia toegankelijk op www, maar beleidsmakers zoeken er niet eens naar.  Wat zal ik dan, de zon schijnt, trek erop uit.



Ik sluit aan in een draadje over loten, met o.a. Joost Zaat die juist in een column in De Volkskrant een balletje opwierp over loten als wenselijke procedure om de numerus fixus voor geneeskunde te effectueren. De tekst van mijn bijdragen:

Verband tussen eindexamencijfers en prestaties (maar wat zijn dat eigenlijk?) in latere beroepspraktijk is er niet of nauwelijks (altijd een slag om de arm houden, haha). Joost heeft groot gelijk. Met plezier zijn column vandaag gelezen.

Inzet destijds van staats Ger Klein: loten (ook wel loten-zonder-meer, of integraal loten genoemd). Zeer tot ongenoegen van zijn (onlangs overleden) minister Jos van Kemenade (info via Kees Kolthoff, in 1975 woordvoerder onderwijs PvdA, tot kort daarvoor hoofd Centrum voor Onderzoek van Wetenschappelijk Onderwijs, UvA, waar ik destijds werkte).

Ger Klein kreeg een delegatie hoogleraren geneeskunde op bezoek: zij eisten directe toelating voor kandidaten met gem. eindexamencijfer van 8 of hoger. Moet je net bij Ger Klein zijn: hij vroeg wie van de heren (het waren heren) zo’n mooie eindexamenlijst had. Einde gesprek.

Het lijkt alsof die numerus fixus was afgedwongen door een rechterlijke uitspraak: Bomhof (landelijke studentenraad) had een zaak aangespannen tegen de wachtlijsten voor co-assistenschappen, en won. Goede raad was duur, Kabinet koos voor een NF, niet voor andere mogelijkheden.

Van het ene moment op het andere (vgl stikstofbesluit Raad van State) waren er te weinig plaatsen voor kandidaten geneeskunde. Een extra examen op zo’n korte termijn was onmogelijk, dus werd het integraal loten (in 1972 meen ik, in 1973 geloot) (minister De Brauw, DS70).

Ik weet niet hoe dat geregeld was, misschien bij AMvB. Er moest natuurlijk wel een wettelijke regeling komen, maar die zou inbreuk maken op de ons onderwijsstelsel zoals dat wettelijk was geregeld. In zo’n situatie komt er dan een ‘Machtigingswet’, die een uitzondering regelt.

Het is aan het Kabinet Den Uyl om die Machtigingswet in te dienen, in 1975. Ger Klein begreep heel goed dat die wet inbreuk maakte op de toelaatbaarheid die kandidaten op grond van hun eindexamen hebben, en dat loten de enige oplossing daarvoor is.

Gek genoeg dachten de erfgenamen van Thorbecke (de VVD) daar heel anders over: zij wilden selectie op grond van eindexamencijfers. Maar dat is een wonderlijke figuur: de NF beknot rechten (toelaatbaarheid) van studenten, extra selectie maakt dat erger.

Maar ook: die NF is een oplossing voor een probleem waarvan opleidingen beweerden dat ze het niet konden oplossen: te weinig plaatsen voor co-assistentschappen, en geeft ipso facto GEEN titel om krenten uit de pap van zich aanmeldende kandidaten te kunnen pikken. Toch?

Het wonderlijke is dat dat laatste argument, bij mijn weten, in heel de discussie over meerdere decennia heen nooit is genoemd Wat er wel dichtbij komt: selectie gunnen aan geneeskunde betekent dat schaars talent onthouden wordt aan andere opleidingen.

Afijn dat laatste heb ik naar voren gebracht, in 1974. Geneeskunde is onderdeel van ons wetenschappelijk onderwijs. Die NF moet in dat brede kader worden bezien, en absoluut niet vanuit het ‘belang‘ van de opleidingen geneeskunde. Brr. Zie slot van dit artikel uit 1974.

Bedenk bij dit alles de bijzondere situatie van het NL onderwijsstelsel: de selectie voor het wo vindt plaats in het vo. Dat is volstrekt anders dan de situatie in de VS waar vaak naar wordt verwezen omdat topuniversiteiten daar ‘gewoon’ selecteren. De VS is een andere planeet.

Best een interessante planeet. Wie zich wil inlezen in de Amerikaanse problematiek van selectie-aan-de-poort van (selectieve) universiteiten: Rebecca Zwick 2017 ‘Who Gets In? Strategies for Fair and Effective College Admissions’ info

Eerlijk gezegd begrijp ik niet goed waarom het ene na het andere promotieonderzoek over selectie-aan-de-poort een kokervisie op het probleem presenteert: alsof het om personeelsselectie voor een bedrijf (de opleiding geneeskunde) zou gaan. Ook vorige week weer: “Manier van selecteren in Maastricht werkt wèl” webpagina

Ik heb toch ontelbare keren uitgelegd dat het breder is. Nou ja, ontelbaar …. Een lijstje: de bovenstaande blog ‘Loten bij numerus fixus: taboe bij motie opgeheven’.