Bijna een jaar geleden verdedigde Karen Heij haar proefschrift ‘Van de kat en de bel. Tellen en vertellen met de eindtoets basisonderwijs‘. Over een halve eeuw ‘citotoets’ eigenlijk. Haal het op, want Karen heeft het online beschikbaar gesteld https://karenheij.bijzonderboeken.nl
De discussie over de Eindtoets Basisonderwijs, opvolger van de ‘de cito’, moet nog op gang komen. Maar nu is er dan in het vaktijdschrift ‘De Psycholoog’ een serieuze repliek verschenen op de studie van Karen Heij. De redactie heeft de kritische bespreking door Rob Meijer en Klaas Sijtsma, met het antwoord van Karen Heij, vrij toegankelijk gemaakt.
De Psycholoog, Forum, maart 2022: https://www.tijdschriftdepsycholoog.nl/artikelen/de-eindtoets-basisonderwijs-heeft-het-gedaan/
Van mij mag u de zure kritiek van beide hoogleraren overslaan, maar lees in ieder geval het inspirerende verhaal van Karen Heij. Ik vind het geweldig zoals Karen hier de gelegenheid te baat neemt om samen te vatten wat er grondig mis is aan de manier waarop we nu al zolang deze toets van 12-jarigen gebruiken.
‘Disclosure’. Zoals Karen in haar voorwoord aangeeft, heb ik haar op psychometrisch terrein met raad en daad terzijde gestaan. Ik zal dat hier ook doen. Ik voel me ook aangesproken door de kritiek van de beide hoogleraren. Laat ik meteen vaststellen dat de beide hoogleraren niet lijken te begrijpen dat het proefschrift van Karen Heij gaat over hoe de Eindtoets in het onderwijsveld wordt gebruikt, niet over de toets zelf. Dat laatste is een belangrijk verschil, het zal in deze blog voortdurend aan de orde zijn.
De situatie rond de eindtoetsen voor 12-jarigen is complex, er zijn naast de eindtoets van het Cito meerdere concurrerende aanbieders. Ook de relatie tussen schooladvies en eindtoetsresultaat is ingewikkeld en voortdurend aan politek gestuurde verandering onderhevig. Daar gaat de discussie niet over, maar voor de helderheid wil ik het hier wel aangestipt hebben.
De repliek van Rob Meijer en Klaas Sijtsma, in vol psychometrisch/methodologisch ornaat, geeft treffend en en scherp aan wat mijns inziens het kernprobleem is met de standaard-toetserij in ons onderwijs, al dan niet via Cito. En dat is dat de toetsontwikkelaars het niet hun verantwoordelijkheid vinden hoe die toetsen worden gebruikt, daar trekken zij hun handen vanaf.
Meijer en Sijtsma drukken het zelf kernachtig uit in dit citaat, en daar wil ik het in deze blog verder dus over hebben:
“Mensen kunnen de Eindtoets gebruiken op een manier waar je van alles van kunt vinden, maar dat is een kwestie van beleid en politiek.”
Dit staat haaks op alles wat er in de wereld van test- en toetspsychologie de laatste halve eeuw is uitgedokterd over kwaliteitsstandaarden.
Herinnert u zich nog deze tweet van destijds Cito CEO Marten Roorda?
“Voor alle duidelijkheid #Cito is geen partij bij vaststelling van inhoud Rekentoets en typen opgaven. Cito voert de richtlijnen van CvE uit.”
Ik grijp terug op dit ‘critical incident’ uit 2013 omdat het de ernst van de zaak zo verpletterend duidelijk maakt. Het Cito en het CvTE hebben destijds staatssecretaris Sander Dekker van onderwijs publiekelijk bezworen dat de rekentoets valide is.
Publiekelijk: tijdens een Algemeen Overleg van de onderwijscommissie uit de Tweede Kamer.
Validiteit: dat is het ultieme kwaliteitscriterium voor toetsen en tests, ik kom daar nog uitvoerig over te schrijven.
Verpletterend: Het heeft zo’n 10 jaar geduurd voordat het bewindspersonen onontkoombaar duidelijk was dat de rekentoets bij de eindexamens in het vo (en mbo) gestopt moest worden vanwege volstrekte ondeugdelijkheid. Het tegenovergestelde van validiteit. De totale kosten van dit fiasco bedragen volgens mededeling van Sander Dekker zelf, tijdens mogelijk hetzelfde Algemeen Overleg, een half miljard euro. Belastinggeld. Voeg daar het leed van 10 jaargangen leerlingen aan toe. Alleen vwo-ers hadden geen moeite met die rekentoets. Anderen moesten vrezen op die toets mogelijk voor hun examen te zakken. Dit zijn inktzwarte bladzijden in de recente geschiedenis van het Cito, het CvTE, de SLO en de Inspectie, allen intensief betrokken bij de ontwikkeling van de rekentoetsen.
Terug naar de Eindtoets. Zoals het citaat van Meijer en Sijtsma aangeeft, koppelen zij de toets zelf los van het gebruik ervan. Is dat terecht? Dat is de hamvraag.
Er zijn psychologische tests in de handel die voor van alles en nog wat gebruikt kunnen worden, zoals intelligentietests. Als de overheid een bestaande IQ-test wil gebruiken bij de toelating tot onderwijs, moet zij aannemelijk maken (onderzoeken) dat dit gebruik van de test valide is. Anders dan Meijer en Sijtsma stellen is er een legitieme validiteitskwestie bij het gebruik van de test.
De Eindtoets Basisonderwijs is, anders dan een IQ-test, ontwikkeld voor één specifiek doel: betere beslissingen bij de overgang van basis- naar voortgezet onderwijs. De ontwikkelaar (Cito) is hier de verantwoordelijke om toets en zijn gebruik te valideren.
Een voorbeeld van een ontwikkeling die direct de validiteit van het gebruik van de Eindtoets bedreigt is het almaar groeiende schaduwonderwijs. Gebruik van de Eindtoets bij de overgang naar het vo bevoordeelt steeds sterker de kinderen van ouders die investeren in schaduwonderwijs. De ‘Standards’ (zie hierbeneden) noemen ‘coaching’ als bedreiging voor validiteit van toetsgebruik; welnu, schaduwonderwijs is een vorm van ‘coaching’.
‘validiteit’ is het sleutelwoord
A.D. de Groot heeft een nog steeds bruikbare paragraaf 8.2 over validiteit geschreven in zijn 1961 ‘Methodologie’ https://dbnl.org/tekst/groo004meth01_01/groo004meth01_01_0027.php Jammer dat hij aan de overgang basis- voortgezet onderwijs geen aandacht schonk. Maar best aardig om eens in te bladeren. De grondlegger van het Cito wist heel goed onder woorden te brengen wat de belangrijkste eisen voor tests en toetsen zijn. In een artikel uit 1970 scherpte hij zijn eisen verder aan; helaas was dat een parel voor de zwijnen, ‘zijn’ Cito had er geen enkele boodschap aan. Ik heb het artikel hier beschikbaar gemaakt.
Some badly needed non-statistical concepts in applied psychometrics.
http://benwilbrink.nl/publicaties/70degroot.htm
Waar vindt u als ouder, leraar, bestuurder houvast voor deze kwaliteitseisen? In Nederland is de Commissie Testaangelegenheden (Cotan) (Nederlands Instituut voor Psychologen, NIP) de instantie die tests en gestandaardiseerde toetsen keurt. (uitzonderingen daargelaten, en juist voor de aanbieders van eindtoetsen schrijft de overheid uitzonderingen voor).
De richtlijnen die de Cotan daarbij aanhoudt zijn de Amerikaanse Standards for Educational and Psychological Testing 2014
https://www.testingstandards.net/open-access-files.html
Zie het uitvoerige deel over ‘validity’. Dit is een wereld-standaard. Merk op dat validiteit gaat over gebruik van toetsen. Waar Meijer en Sijtsma hun verantwoordelijkheid voor het gebruik van toetsen wegwuiven naar beleid en politiek, is het gebruik van toetsen in de ‘Standards‘ juist de kern van de zaak.
Moet ik nog melden dat ‘Van de kat en de bel‘ gaat over het gebruik van de Eindtoets Basisonderwijs? En niet over de Eindtoets zelf?
Laat de Nederlandse psychologische professie ophouden met uitventen van kokervisies zoals is gedaan door Meijer en Sijtsma. Kokervisies maken het onderwijs kapot. Wat doet een halve eeuw ‘citotoets’ met het basisonderwijs, denkt u? Deze vraag wordt zelden gesteld, ook al nodigde A.D. de Groot al in 1966 uit om dergelijke vragen te stellen: ‘Wie bindt de kat de bel aan?’
Oké, ik verwees naar de ‘Standards’ voor de eisen, internationaal en in NL, aan toetsgebruik, ook juridisch afdwingbaar. Maar die Standards gaan niet specifiek over de situatie van onze overgang basis- voortgezet onderwijs. Ik sla wat piketpaaltjes om het glashelder te maken.
Eerste piketpaaltje. De ‘Standards’ wijzen voortdurend op de noodzaak om empirisch te onderbouwen dat het gebruik van toetsen de bedoelde consequenties heeft, en geen andere. Lees daar niet te snel overheen: empirisch onderbouwen betekent dat er experimenteel onderzoek nodig is, volledig analoog aan wat er nodig is om aan te tonen dat nieuwe medicijnen, vaccins, of behandelingen werkzaam zijn en geen ernstige ongewenste bijwerkingen hebben. ‘Meten is weten’ is hier echt een gepasseerd station. Het gaat om RCT’s, Randomized Controlled Trials https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6235704/
2de piketpaaltje: onderwijs is geen bedrijf. Selectie voor onderwijstrajecten is echt een ander domein dan selectie door werkgevers op de arbeidsmarkt. Hoewel ook werkgevers gebonden zijn aan wet en regelgeving, en fatsoen, gaat het bij selectie in het onderwijs om veel meer.
Onderwijskansen van kinderen en jongeren zijn beschermd door internationale verdragen die Nederland heeft onderschreven. Dit internationaal recht gaat boven nationaal recht (zoals na de Urgenda-zaak eindelijk breder bekend is). Dit is ook zaak voor toetsontwikkelaars, dus.
Het kan niet zo zijn dat het voor valideren van het gebruik van de Eindtoets volstaat een dubbelblind-experiment te doen met bijvoorbeeld bereikt onderwijsniveau als doelvariabele, dat zou een bedrijfsmodel-benadering zijn. Maar zelfs zo’n minimaal ingevuld experiment/RCT is om ethische en praktische redenen volstrekt onuitvoerbaar. U mag hieruit concluderen dat gebruik van de Amsterdamse Schooltoets, zijn opvolger ‘de Citotoets’, de huidige Eindtoets, en de komende ‘doorstroomtoets’ nooit is gevalideerd. Validiteit onbekend.
Zeker, er zijn publicaties (oa Margo Jansen, Cito, 70er jaren) die laten zien dat ‘de citotoets’ ongeveer net zo goed ‘voorspelt’ als het advies van hoofdonderwijzers. Maar dat haalt je de koekoek. Dit zijn correlaties, geen RCT’s. Het is één grote ‘self-fulfilling prophecy’.
Margo G. H. Jansen (1979). De voorspellende waarde van de eindtoets basisonderwijs.
Voor een indruk van hoe er gerommeld wordt, in plaats van een RCT op te zetten, zie:
J. W. Oosterbaan (1973). De Amsterdamse schooltoets 1969 in relatie tot enige conclusies van ’Het Verborgen Talent’ Sociologische Gids, 20 #2, 88-97 open access https://rjh.ub.rug.nl/sogi/issue/view/2845
Voor een overzicht van de worsteling van A.D. de Groot met een toets bij de overgang naar het VHMO (Voorbereidend Hoger en Middelbaar Onderwijs), de Amsterdamse Schooltoets, zie Karen Heij, paragraaf 4.8 en 4.9. Vergis u niet, deze Schooltoets was de voorloper van de vrijwel identieke ‘citotoets’, en tot de dag van vandaag zijn de eindtoetsen bijna klonen van die vroege Amsterdamse toets. Was die Amsterdamse toets onafhankelijk van de adviezen van de hoofdonderwijzers, dacht u? Dat is dan fout gedacht. De scores op de Amsterdamse toets werden gelijkgeschakeld aan de adviezen van de hoofdonderwijzers. Zo ver dus wat betreft het idee dat de eindtoets een ‘onafhankelijk oordeel’ zou geven, niet belast door enige subjectiviteit waaronder de oordelen van de hoofdonderwijzers zouden lijden. Dat de eindtoetsen ‘objectieve instrumenten’ zouden zijn, is een ‘urban legend.’ Word wakker. Bind de kat de bel aan.
Dat validiteit van beslissingen die mede op een Eindtoets zijn gebaseerd onbekend is, moet alle betrokkenen klip en klaar worden meegedeeld:
Standard 1.3
“If validity for some common or likely interpretation for a given use has not been evaluated, or if such aninterpretation is inconsistent with available evidence, that fact should be made clear and potential users should be strongly cautioned about making unsupported interpretations.”
Hebt u ooit van Cito, CvTE, Inspectie, de school van uw kind, uw Kamerlid, zo’n waarschuwing gehad?
Is er een oplossing, dan? Nee, niet zolang de maatschappelijke bovenlaag vast blijft houden aan het standenonderwijs zoals we datzo evident tenminste sinds de Hogere Burgerschool HBS van Thorbecke hebben. En Thorbecke had dan nog een noodverband: laat niet de school, maar de ouders beslissen over toegang tot de HBS.
Wie de onderwijsgeschiedenis kent, weet dat die ‘open school’-gedachte van Thorbecke maar vijf jaar stand hield: leraren van die nieuwe HBS wilden selectie-aan-de-poort, en die kregen ze. Want Thorbecke was geen minister meer, maar had als Minister-President andere zaken aan zijn hoofd. Heeft die selectie-aan-de-poort van de HBS geholpen? Nee hoor. Posthumus verzamelde cijfers over het zittenblijven in de HBS, en schreef daar een felle aanklacht over in De Gids van 1940. Ieder jaar weer bleef bijna een kwart van de leerlingen zitten, of verdween van school. Ook in de eerste klas, terwijl er toch een scherpe toelatingsselectie was gehouden.
https://www.dbnl.org/tekst/_gid001194001_01/_gid001194001_01_0040.php
Alles wat problematisch is aan de Eindtoets, is dat mogelijk ook voor het advies dat leerlingen meekrijgen van de school. Met dit verschil dat de leerkracht in groep 8 bovendien heel veel belangrijke informatie heeft over de leerling en relevante omstandigheden.
Ik zou zeggen: investeer in de kwaliteit van de schooladvisering, zodat ouders daar meer steun aan hebben. En nogmaals: waarom ouders niet de beslissende stem geven? Ik hoor uit sociologische hoek al roepen: dat bevoordeelt goed gebekte ouders. Maar is dat onvermijdelijk zo?
De belangrijke kwestie is uiteraard: wat is kwaliteit bij de schooladvisering? Werk dat uit, onderzoek het. Cruciaal is in ieder geval dat leerkrachten hun verantwoordelijkheid nemen, ophouden zich te verschuilen achter discriminerende ideeën over intelligentie en aanleg.
Want ja, dat is de ijzeren ‘wetmatigheid van Posthumus’: zolang leerkrachten het voor het eigen zeggen hebben: zij zien altijd wel leerlingen die het relatief minder goed doen dan anderen, huppekee, weg ermee. Maar dat kan zo niet langer. Bind de kat de bel aan.
En ja, dat is de ijzeren ‘wetmatigheid van Posthumus’: zolang leerkrachten het voor het eigen zeggen hebben: zij zien altijd wel leerlingen die het relatief minder goed doen dan anderen, huppekee, weg ermee. Maar dat kan zo niet langer. Bind de kat de bel aan.
================
Dit is een ‘long read’ voor een breed publiek, op basis waarvan ik een meer technisch dupliek op Meijer en Sijtsma zal schrijven, voor de Forum-rubriek van De Psycholoog.
Fair schooling & assessment 
