Jubileumboek 50 jaar Cito – Mantel der liefde

/ benwilbrink

abstract

Op 3 oktober 2019 maakt het Cito een uitvoerig jubileumboek online beschikbaar

  • “Ons jubileumboek 1968-2018 is een feit! Een route via producten en gesprekken met collega’s, stakeholders en onderwijsprofessionals. Veel leesplezier! https://bit.ly/2nrqMHo ”

Het Cito feliciteert zichzelf. Wie daarnaast ook nog enige kritische zelfreflectie verwacht komt bedrogen uit, ben ik bang. Het woord ‘rekentoets’ komt er niet in voor. Wie dit boek leest krijgt niet mee dat bijvoorbeeld realistisch rekenen/wiskunde controversieel is.

  • Correctie. Het woord ‘rekentoets’ komt enkele keren voor: de WisCat (een Pabo-toelatinstoets) is een rekentoets, evenals de rekentoets voor verpleegkundigen. Over de rekentoets in eindexamens vo slechts het volgende:
    • “Passend bij de kwaliteitsslag in het Nederlandse onderwijs hoorde bijvoorbeeld de beweging rondom de verplichte Rekentoets voor het vo, die kwam en ook weer ging.” (p. 63)

    ‘Die kwam, en ook weer ging’: het gaat hier wel over een kostbaar drama voor honderduizenden leerlingen en voor de politiek, een drama waar het Cito een belangrijke verantwoordelijkheid voor heeft gedragen. Zeker, een jubileumboek mag een feestje zijn. Maar eigen falen op deze manier onder het dikke Cito-vloerkleed vegen is ongepast naar al degenen die onder dit fiasco hebben geleden en/of er veel van hun eigen kostbare tijd in hebben gestoken.

Illustratief voor het ontbreken van kritische zelfreflectie: de lezer van dit jubileumboek zal niet lezen dat er richtlijnen (NIP 1988) en Standards (APA etc 2014) bestaan voor de kwaliteit van toetsen. Zoals ooit ook Cito-CEO Marten Roorda verantwoordelijkheid voor kwaliteit wegtwitterde.

  • NIP (1988). ‘Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen’ Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. ‘Toetsgebruik in het onderwijs’ pdf ben-wilbrink.nl/Richtlijnen_To…] [disclosure: ik leverde er een bijdrage aan]
  • AERA, APA & NCME (2014). The Standards for Educational and Psychological Testing. apa.org/science/progra…
    Helaas, ‘the Standards’ is niet open access. In Nederland is het boek beschikbaar in universiteitsbibliotheken.
    Uit de ‘Standards’ bijvoorbeeld:

    • “If the rationale for a test use or score interpretation depends on premises about the psychological processes or cognitive operations used by examinees, then theoretical or empirical evidence in support of those premises should be provided. (p. 19, 1999 editie)”
  • Marten Roorda is wel zo sportief dat hij zijn onthullende tweet van 9 oktober 2013 heeft laten staan:

    Deze tweet van Roorda is een regelrechte ontkenning van ongeveer alles wat ooit over de eisen van validiteit van tests en toetsen is geschreven.

Historisch feitje: tot begin 80er jaren hield het Cito Freudenthal en realistisch rekenen op afstand (pers. meded. Pieter Drenth), eind 80er jaren kreeg Adri Treffers voet aan de citogrond (F. van der Blij & A. Treffers (1985). Rekenen-wiskunde. WB 7. WRR). Het Cito weet prima dat het realistisch rekenen controversiëel is, maar verkiest erover te zwijgen. #mantel_der_liefde

  • Robin Gerris, De Volkskrant 4 april 2006: ‘Staartdeling komt niet meer terug.’ ‘Het rekenen is op de basisschool niet meer wat het geweest is. Het niveau van de leerlingen is achteruit gehold, blijkt uit onderzoek.’
    https://www.volkskrant.nl/nieuws-achtergrond/staartdeling-komt-niet-meer-terug~b55aba38/ Het volgende citaat is onthullender dan Joop Bokhove heeft kunnen denken

    • “Waar is het misgegaan? In 1994 concludeerde CITO-onderzoeker Joop Bokhove van de PPON (Periodieke Peiling van het Onderwijs Niveau) nog tevreden dat leerlingen van groep 8 het op bijna alle terreinen van het rekenen beter waren gaan doen. Alleen het cijferen bleef achter. Maar ‘cijferen is een hogelijk overgewaardeerd onderdeel van het rekenen’, zei Bokhove in de Volkskrant, ‘daar zijn apparaten voor en je doet het buiten de schoolmuren nauwelijks.’”

Het Cito heeft tegenspraak en tegenkracht nodig om tot kwaliteitsverbeteringen te komen, lees het ook in dit RMO-rapport ‘Tegenkracht organiseren. Lessen uit de kredietcrisis’ https://beroepseer.nl/images/stories/documenten/tegenkracht_organiseren_rmo.pdf

Het is mijn project om aan die tegenspraak bijdragen te leveren 😉

Het woord ‘objectief’/‘objectieve’ komt in het jubileumboek 24 keer voor. Dat is superieure framing, echt waar.
Want er is niets aan meerkeuzetoetsen dat de kwalificatie ‘objectief’ rechtvaardigt. Ik heb het al in 1977 uitgelegd, ten overstaan van Solberg c.s.: Verborgen vooroordeel tegen andere dan meerkeuzevraagvormen http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm

De genoemde happening in 1977 op de ORD is overigens een voorbeeld van tegenspraak (en hoe: Solberg en Wesdorp waren zeer verontwaardigd) die het Cito verder heeft geholpen (pers. meded. Henk Kreeft): voor de eindexamens moest het Cito immers wel van het eigen dogma ‘vierkeuze’ af.

Ik kan het niet laten uit de ronkende tekst van de bestuursvoorzitter te citeren:

  • “Onze grondlegger A.D. de Groot ontwikkelde als briljant wetenschapper een onafhankelijke, wetenschappelijk gefundeerde toets, die de capaciteiten van een kind objectief en eerlijk op tafel legde.”

De werkelijkheid is dat de Amsterdamse Schooltoets in elkaar werd geknutseld door pedagoog Djien Thio. Daar is niets denigrerends mee bedoeld, veel werk van academici bestaat immers uit knutselen waar er nog geen gevestigde routines zijn. Djien ging later mee naar het Cito, was er adjunct-directeur.

Anneke Blok, voorzitter van de Raad van Bestuur van het Cito, geeft in een uitvoerig hoofdstuk de indruk dat de ‘citotoets’ een eind maakte aan afkomst als bepalend voor ieders onderwijsloopbaan. Gelooft u het? Het lastige is dat zij voor dat frame geen bronnen noemt.

Een actuele discussie over advies en toets bij de overgang naar het voortgezet onderwijs is dit artikel van Lek en Van de Schoot in De Psycholoog (niet genoemd in het jubileumboek): ‘Wie weet het beter, de docent of de centrale eindtoets?’
https://www.tijdschriftdepsycholoog.nl/wetenschap/wie-weet-het-beter-de-docent-of-de-centrale-eindtoets/
Zie ook de twitterdraad https://threadreaderapp.com/thread/1113378369549295617.html

Over afkomst en ‘citotoets’. In mijn geval, in 1956, was afkomst zeker niet bepalend voor toegang tot het gymnasium, wel mijn hoofdonderwijzer Kerkmeijer, en mijn prestatie in de selectieve proefklas. Democratisering was al gaande. Er was niet niets voorafgaand aan die ‘citotoets’.
Deze persoonlijke anecdote heeft een voorspel: mijn moeder’s hoofdonderwijzer Bloem pleitte als Brugman om haar verder te laten leren, maar mijn oma had haar eigen normen: 9 oudere broers en zussen hadden die kans ook niet gekregen, haar door laten leren zou dus oneerlijk zijn.

Anneke Blok lijkt op het verkeerde been gezet door de retoriek dat de ‘citotoets’ de eerste objectieve en eerlijke selectieve toets voor 12-jarigen zou zijn. Onzin natuurlijk, ik zal daar later uitvoeriger op ingaan aan de hand van De Groot & Van Naerssen (Red.) (1969) ‘Studietoetsen’.

Selectie voor het voortgezet onderwijs kreeg een markant begin met een wetswijziging voor de HBS. Thorbecke’s HBS kende geen selectie, ouders waren volgens hem best in staat daar zelf over te beslissen. Docenten kwamen in opstand, en kregen hun zin: al na 5 jaar kreeg de HBS zijn selectie-aan-de-poort. Ca 1870. Moet ik nog melden dat er na invoering van die toelatingsselektie evenveel leerlingen in die eerste klas bleven zitten als voorheen? (zie ook Posthumus, 1940, hierbeneden)

Selectie met toetsen dateert niet van 1966/68, maar is echt al wat ouder. Dat scholen dat ieder met eigen toetsen konden doen, doet daar weinig aan af. Niet afkomst, maar toetsresultaat was bepalend. Stellwag 1955: ‘Selectie en selectiemethoden: aansluitingsvraagstuk LO en VHMO’.

Op de vragen in die toetsen was felle kritiek van Theo Thijssen in zijn ‘De examenidioot’.
http://www.ben-wilbrink.nl/Thijssen_De_Examenidioot_1929.pdf
(24 Mb scan). Zoals er ook op de vragen in de ‘citotoets’ felle kritiek mogelijk is, tenslotte is ‘toets’ hier een eufemisme voor wat in feite een soort intelligentietest (‘aptitude test’) is.

Met ‘gelijke kansen’ bedoelt Anneke Blok hetzelfde als de onderwijsinspectie: bij gelijke capaciteiten. Maar daar zit een ideologie achter, een wereld van impliciete vooronderstellingen, onder andere dat verschillen in capaciteiten onveranderlijk zouden zijn. En deze ideologie zet de emancipatoire kwaliteit van het onderwijs zelf buiten haken!
Ik heb dat al eens uitgelegd in Van 12 tot 18: ‘Op weg naar eerlijk onderwijs’ https://www.van12tot18.nl/op-weg-naar-eerlijk-onderwijs en in ‘Fair schooling — take-off’
https://benwilbrink.wordpress.com/2018/08/23/fair-schooling-take-off/

Kortom, waar Anneke Blok de producten van 50 jaar Cito alleen maar bejubelt, is er ook een schaduwkant die waarachtig niet moeilijk te zien is: het Cito heeft ook een halve eeuw lang oneerlijk onderwijs helpen bevestigen. Was dat nodig? Nee. Had dat anders gekund? Best wel.

We zijn met zijn allen steeds hoger opgeleid; een proces van eeuwen waar de ‘citotoets’ niets mee heeft te maken. Ik mocht er ooit een aardige literatuurstudie over maken, met Jaap Dronkers, voor ARO en OCW: ‘Dilemma’s bij groeiende deelname aan hoger onderwijs’ http://benwilbrink.nl/publicaties/93DilemmasOCenW.htm
Democratisering van hoger onderwijs? Of ‘race to the bottom’?

Waarom kom ik daar nu mee?

De vraag is of onderwijs op aarde is

  1. om de arbeidsmarkt te dienen,
  2. om nieuwe generaties weerbaar te maken,
    of (voor de verzoeners onder ons)
  3. beide in een goede balans.

Ad 2): 15% functioneel ongeletterden bij de overgang naar het voortgezet onderwijs geeft aan dat het primair onderwijs gruwelijk faalt in het bieden van eerlijk onderwijs.

Ad 1) De arbeidsmarkt absorbeert al die steeds hoger opgeleiden, soms tegen alle verwachtingen in. En dat heeft lange tijd stijgende mobiliteit mogelijk gemaakt.

Maar aan die stijgende mobiliteit lijkt nu een (voorspelbaar) einde gekomen: Goldthorpe 2016 ‘Social class mobility in modern Britain; changing structure, constant process’
https://www.thebritishacademy.ac.uk/sites/default/files/05%20Goldthorpe%201825.pdf
Het zijn niet de citotoetsen van deze wereld die sociale stijging mogelijk maken, wat de claim van Anneke Blok lijkt, maar het is de economie die er de ruimte voor moet bieden. Zie Bukodi & Goldthorpe (2018). ‘Social Mobility and Education in Britain. Research, Politics and Policy’ Conclusies in dat boek:
https://sci-hub.tw/10.1017/9781108567404.012
Goldthorpe publiceerde eerder met Robert Erikson 1992 ‘The constant flux. A study of class mobility in industrial societies’, weer zo’n klassieker die ik van kaft tot kaft had moeten lezen, maar die wel in mijn boekenkast staat 😉

Terug naar de ‘core business’ van Cito, 50 jaar geleden, en nog steeds? Dat is de ‘objectieve vierkeuze-studietoets’. Met de kennis van nu is het mijns inziens evident dat de keuzetoets een (VS-)exoot is die niet in ons onderwijs thuishoort, maar het ondertussen wel heeft overwoekerd.
Het voltrok zich vooral in de 60er jaren. Drie sleutelpublicaties: A.D. De Groot 1961 ‘Methodologie’; idem 1966 ‘Vijven en zessen’; De Groot & Van Naerssen (Red.) 1969 ‘Studietoetsen’. Het is de hoogste tijd dat daar eens kritisch historisch onderzoek naar wordt gedaan.
Het frame van ‘objectiviteit’ is nog steeds een dingetje in het Cito, lees Anneke Blok. De Groot (1969, p 10) is het met mij eens dat niets objectief is, behalve dan het scoren van keuzevragen. Maar dat laatste is waarachtig triviaal, behalve bij grootschalig toetsen.

  • “Men spreekt ook wel van ‘objectieve examen-methoden (of: proefwerken)’. Daartegen bestaat geen bezwaar, mits men de beperkte betekenis van de term in het oog houdt. ‘Objectief geregeld’ is alleen alles wat er na de constructie van de studietoets gebeurt: de afname (1), de correctie (2), de bepaling van de scores der proefpersonen (3).
    ….
    Ad (2) en (3): De objectiviteitseis betekent, dat de regels voor goed- of fout-rekenen en voor bepaling van de score volstrekt eenduidig zijn.
    Men moet deze nogal specifieke definitie goed in het oog houden. In het gewone spraakgebruik worden dikwijls heel andere dingen bedoeld als er over ‘objectiviteit’ wordt gesproken. Daarbij gaat het weliswaar altijd om eenzelfde kerngedachte — ongeveer: het onderwerp (object) ‘recht doend’, vrij van subjectief bepaalde voorkeur (zie b.v. De Groot (1961) 1967, p. 176 e.v.) — maar die gedachte komt in vele variaties voor.”

De Groot zag dat die term ‘objectief’ tot misverstanden zou leiden, maar verhinderde niet dat zijn geliefde studietoetsen ooit nog ‘objectief’ zouden heten. Een halve eeuw later zien we politici, maar ook academici, nog steeds dwepen met ‘objectiviteit’ van bijvoorbeeld de eindtoetsen primair onderwijs.

In zijn ‘Methodologie’ besteedt De Groot veel aandacht aan allerlei vertekeningen (‘bias’) bij het beoordelen van opstellen en opstelvragen. Misschien wel te veel. Mogelijk is hij daardoor de keuzetoets als aantrekkelijk alternatief gaan zien, zonder dat goed te analyseren.

Tot een goede analyse hoort zeker ook diepgaand onderzoek van het cijfergeven, waar zijn ‘Vijven en zessen’ een prachtig begin van is. Maar wat de oorsprong van ons cijfergeven is, dat is een vraag die niet bij hem was opgekomen (pers. meded.). Die oorsprong is: rangordenen.
Over cijfergeven als moderne vorm van rangordenen: zie mijn 1997 ‘Assessment in historical perspective’
http://benwilbrink.nl/publicaties/97AssessmentStEE.htm
en daarin de sectie ‘Punishment or reward? Ranking and marking systems’.
Als we nu eens ophielden leerlingen altijd maar te rangordenen? Hallo Cito, bent u daar nog?

Don Mellenbergh schreef het openingshoofdstuk in ‘Studietoetsen’. Don gebruikt hier door elkaar: toetsen of de leerling het onderwijs met vrucht heeft gevolgd; onderwijsresultaten schriftelijk ‘meten’; correlatie tussen cijfers van verschillende beoordelaars voor hetzelfde werk; correlatie tussen cijfers op verschillende toetsen (bijv. opstel versus meerkeuze) over dezelfde stof. Welnu, correlatie is de samenhang tussen twee rangordeningen. Een rangorde zegt op zich weinig tot niets over de vraag of onderwijs met vrucht is gevolgd. ‘Meten’ is een eufemisme: een toets is geen meetinstrument maar een steekproef (twee kanten op: uit mogelijk te stellen vragen, en uit de specifieke kennis van de individuele student).

Met de kennis van nu is het bizar dat Mellenbergh en de redacteuren De Groot en Van Naerssen er blind voor zijn geweest dat rangordenen (=psychometrie) zich beroerd verhoudt tot vaststellen of onderwijs met vrucht is gevolgd. Toch is die misvatting nog steeds ‘core business’ van Cito.

  • Bekend pleitbezorger van een didakometrie (of edumetrie, met dank aan Casper Hulshof) ipv een psychometrie voor onderwijs was Bob van Naerssen, nota bene samen met De Groot redacteur van Studietoetsen (1969). Voorbeeld: zijn inaugurele rede 1970 http://benwilbrink.nl/publicaties/70vNaerssenLes.htm
    Het kernidee van Van Naerssen was dat het in het onderwijs gaat om de inspanningen en de belangen van de leerlingen (didakometrie), niet die van de instellingen (psychometrie). Dat besliskundig onderscheid was voorschaduwd in Cronbach & Gleser https://psycnet.apa.org/record/1965-10191-000 (institutioneel vs individueel belang). Concreet is dat ook het onderscheid tussen psychologische tests (en bijbehorende psychometrie) die vooronderstellen dat kandidaten juist niet specifiek voorbereid zijn en toetsen in het onderwijs die vooronderstellen dat leerlingen zich er specifiek op hebben voorbereid (met bijbehorende didakometrie/edumetrie, zoals bijvoorbeeld door mijzelf, staand op de schouder van reus Bob van Naerssen, uitgewerkt ‘Strategic preparation for achievement tests
    A model’ http://benwilbrink.nl/projecten/spa_project.htm

Zij waren ongetwijfeld op de hoogte van de ‘Wetmatigheid van Posthumus’, al was in die tijd de toegang tot De Gids uit 1940 minder makkelijk dan vandaag:
https://www.dbnl.org/tekst/_gid001194001_01/_gid001194001_01_0040.php
Wat er ook gebeurde in de wereld tussen 1870 en 1940, de HBS liet ca 23% van de leerlingen zakken. Jaarlijks. Echt, dat zittenblijven berust op geen enkele ratio, het is een uitwas van een altijd leerlingen onderling vergelijkende onderwijscultuur. Onderwijs(beleid) is oorlog tussen maatschappelijke klassen, zeg ik tegenwoordig vaak.

Nog even over ‘Posthumus’: zie het citaat hierbeneden voor wat Van Naerssen erover schrijft. Wat ik dan grappig/kenmerkend vind: een hoop gedoe om het % gezakten ‘eerlijk’ te maken (vgl N-term bij onze eindexamens), ondertussen een % gezakten de normaalste zaak van de wereld vinden. Dat doet me denken aan examens aan middeleeuwse universiteiten: daar slaagde iedereen altijd voor, omdat de student pas werd toegelaten tot het examen wanneer zijn meester hem voldoende voorbereid achtte (het examen werd afgenomen door andere meesters). Vergelijk onze academische promotie.

  • “Wanneer de kwaliteit van de groep personen wisselt — van klas tot klas of van jaar tot jaar — dan is het zeer belangrijk de ‘wet van Posthumus’ te doorbreken. Als we dit jaar een over het algemeen ‘betere’ groep hebben dan vorig jaar moet dit ook blijken uit het percentage onvoldoenden. De groep moet dit jaar gemiddeld minder onvoldoenden hebben. De meest voor de hand liggende methode is natuurlijk van te voren een constant percentage goed te beantwoorden items vast te stellen. Maar één moeilijkheid is om zonder speciale maatregelen telkens een even moeilijke toets samen te stellen. De methode gaat wel op als we dezelfde toets afnemen, maar dit doet men niet graag in verband met het bekend raken van de items. Doch bovendien is elk a priori vastgesteld percentage items volkomen willekeurig.
    Om deze willekeur te beperken en om tevens de wet van Posthumus te doorbreken is de zogenaamde Kernitemmethode ontwikkeld. Deze en andere methoden worden beschreven in hoofdstuk 19.”
    R. F. van Naerssen: ‘Van ruwe score naar standaardscore’ p. 209-210

Wat ik u wil meegeven is niet de volledige geschiedenis van de opmars van keuzetoetsen, maar de waarschuwing dat het boek uit 1969 van De Groot en Van Naerssen allesbehalve een wetenschappelijk werk is (wat Anneke Blok meent), maar een pamflet dat koste wat kost keuzetoetsen propageert. De invloed van deze 60er-jaren ideologie over studietoetsen op ons onderwijs is nog steeds enorm, en dat is niet ten voordele van het onderwijs.

(update 8 oktober)

Toevoeging

Djien Thio (1974). Foundation, functions and future of CITO, the National Institute for Test Development in the Netherlands.  In Hans F. Crombag & Dato N. de Gruyter: Contemporary issues in educational testing (87-97). The Hague: Mouton.

  • The 1970s witness a certain change of climate. In lieu of an exclusive concern for the more technical characteristics of objective type tests, there is also an increasing attention for the social consequences of testing in a society striving for more democracy in all aspects of life.  Tests sometimes are suspected of being instrumental in perpetuating an undesirable status quo.  [p. 86]

Literatuur toevoegingen

Ben Wilbrink (2020). Kunnen eindtoetsen (voorheen de ‘citotoets’) valide zijn? https://benwilbrink.wordpress.com/2020/09/24/kunnen-eindtoetsen-voorheen-de-citotoets-valide-zijn/

Ben Wilbrink (2020). Annotaties bij Sandel 2020 The tyranny of meritocracy. https://benwilbrink.wordpress.com/2020/10/07/annotaties-bij-sandel-2020-the-tyranny-of-meritocracy/

Menno Bos (2007). De omstreden introductie van de Citotoets ‘Het kind gaat de computer in’ Historisch Nieuwsblad https://www.historischnieuwsblad.nl/de-omstreden-introductie-van-de-citotoets/ “Adrianus Dingeman de Groots Vijven en zessen. Cijfers en beslissingen: het selectieproces in ons onderwijs (1966) is een inspirerend werk waarin De Groot fel van leer trekt tegen de subjectieve beoordeling van leerlingen door docenten. In Testmethoden ten dienste van het onderwijs. Rapport over een Amerikaanse studiereis (1958), het verslag van de Groots bezoek aan het Educational Testing Service, wordt voor het eerst de naam Cito genoemd. Adrianus Dingeman de Groot, Amsterdamse schooltoetsen. Verslag van het eerste onderzoek L.O.-Schooltoets (1966), vertelt over de ontwikkeling van de Amsterdamse Schooltoets, de voorloper van de Citotoets.”

Advertisement

3 thoughts on “Jubileumboek 50 jaar Cito – Mantel der liefde”

  1. Pingback: Bijdrage aan advies dat de Onderwijsraad voorbereidt over differentiatie | Fair schooling & assessment

  2. Pingback: Gestandaardiseerde toetsen: verminderen zij ongelijkheid?  | Fair schooling & assessment

  3. Pingback: Kunnen eindtoetsen (voorheen de ‘citotoets’) valide zijn? | Fair schooling & assessment

Leave a Reply

Fill in your details below or click an icon to log in:

Gravatar
WordPress.com Logo

You are commenting using your WordPress.com account. ( Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. ( Log Out /  Change )

Cancel

Connecting to %s