Twitterdraadje 29 maart 2022
1 Herman van de Werfhorst
Another piece of evidence that standardized tests are predictive of less inequality. It’s time for the critics to come up with evidence rather than anecdotes.
1.0 Michael Bishop (retweet door Herman)
MIT is reinstating standardized tests as part of their admission evaluation because (1) including standardized testing significantly improves their prediction accuracy of performance, and (2) other factors tend to be more SES-restrictive.
Source:
We are reinstating our SAT/ACT requirement for future admissions cycles
“Within our office, we have a dedicated research and analysis team that continuously studies our processes, outcomes, and criteria to make sure we remain mission-driven and student-centered. During the pandemic, we redoubled our efforts to understand how we can best evaluate academic readiness for all students, particularly those most impacted by its attendant disruptions. To briefly summarize a great deal of careful research:
- – our ability to accurately predict student academic success at MIT02 is significantly improved by considering standardized testing — especially in mathematics — alongside other factors
- – some standardized exams besides the SAT/ACT can help us evaluate readiness, but access to these other exams is generally more socioeconomically restricted03 relative to the SAT/ACT
- – as a result, not having SATs/ACT scores to consider tends to raise socioeconomic barriers to demonstrating readiness for our education,04 relative to having them, given these other inequalities“
====================================================================
1.1 Gisbert van Ginkel
Maar de inzet van zulke tests tast potentieel wel het hele onderwijs systeem aan: https://hepg.org/hep-home/books/collateral-damage#
1.2 Herman
1. wat is de counterfactual van toetsen? 2. NCLB was niet gericht op toetsen voor schoolloopbanen maar enkel voor school-level accountability. Geen goed voorbeeld vrees ik.
1.3 Gisbert
SAT/ACT is geen high stakes testing? Weet niet de details van gebruik in de VS. Zodra het vergelijkend gebruikt wordt tussen scholen heb je al een probleem denk ik.
1.4 Herman
Ik dacht dat je verwees naar no child left behind. SAT zeker wel high stakes, en MIT ging juist daar weer naar terug ivm kansengelijkheid. Dat was de aanleiding voor deze discussie.
1.5 Gisbert
Snap ik, maar als individuele instituten dit doen (efficientiedruk, selectie) dan kan het op systeemniveau nog steeds een nefaste terugslag hebben. Meer kansgelijk (miscchien) maar ook alles een stap terug mogelijk.
1.6 Herman
Het wordt een beetje ingewikkeld/complex voor twitter; maar je opmerking hypothetiseert dat er een trade-off is tussen efficientie en kansengelijkheid; daarvoor bestaat ook weinig bewijs…
1.7 De terugslag die Berliner en Nichols noemen gaat zoals ik zei niet zozeer over kansgelijkheid, maar uitkomsten over de hele linie…
1.8 Gisbert
Dus ‘efficient voorspellen’ per instituut van studiesucces door high stakes testing (via SAT/ACT want MINDER kansongelijk dan andere vormen) kan over de hele linie tot versmalling, teaching to the test leiden.
1.9 Gisbert
Stellen ‘we willen dit alleen beperken tot discussie over (minimale) kansongelijkgheid’, terwijl je instrumenten inzet waar zorgen over zijn bij systeembreed gebruik – dan negeer je mogelijk een prisoner’s dilemma. Lijkt me in ieder geval dan wat te smal genomen.
= = = = =
1.10 Gisbert
Niet alleen kansengelijkheid. 1) ze willen succes vooraf voorspellen, 2) gegeven dat doel zien ze SAT/ACT als minder gevoelig voor SES invloeden vs andere instrumenten. Maar moet je succes vooraf willen voorspellen op deze manier? Is uitkomst SAT/ACT zelf niet erg SES gevoelig?
1.5 Gisbert
================================================================
2. Mieke van Houtte
MIT is toch een van meest prestigieuze instituten ter wereld, niet? Hoe zit het met preselectie/zelfselectie in dat soort instituten in de VS?
3. Herman
ik zou toch echt meer overtuigd zijn van goede studies die het tegendeel laten zien…
4. Ben
Ik heb het bericht van MIT diagonaal doorgekeken. Ze doen maar wat.
5. Mieke
Studies genoeg toch wereldwijd die tonen dat (high-stakes) testing de sociale ongelijkheid reproduceert en versterkt, en ingaan op de onderliggende mechanismen?
6. Herman
welke? Ik ben oprecht geinteresseerd in zulke studies want het is een belangrijke claim. (NB de NCLB is misschien minder geschikt als case omdat toetsen daar niet ging over schoolloopbanen van individuele leerlingen).
7. Mieke
Een snelle zoektocht op WoS of Google Scholar levert al heel wat op? Vooral uitkijken naar onderzoek naar gevolgen of neveneffecten van (high-stakes) testing zoals segregatie, ‘practices of division’, etc. Onderzoek in VS, maar ook UK. Check ook boeken en boekhoofdstukken.
7.1 NN
In US-context werden # kanttekeningen geplaatst o.m. door
Knoester, M. & W. Au (2017): Standardized testing and school segregation: like tinder for fire? Race Ethnicity and Education, 20 (1): 1-14.
7.2 Herman
maar sorry dit is geen empirische studie naar het effect van standardized testing. Een duiding in de bredere context van testen en school choice. Mag allemaal, maar ik zoek een empirische studie…
= = = =
7.3 Orhan Agirdag (in antoord op Mieke)
Ik vond de zaak al beslecht in jullie paper met wijlen Dronkers: áls je moet selecteren, dan is een selectie op duidelijke criteria beter. Maar vaak is selectie te vroeg en niet-functioneel.
= = = =
8. Herman (in antoord op Mieke)
Eeh ik dacht dat jij claims wilde onderbouwen..? Anyway, ik zie nog steeds geen empirische studie die het gebruik van standardized tests voor individuele leerwegen gepaard laten gaan met een versterking van ongelijkheid of segregatie.
9. Ben
Het antwoord is toch eenvoudig? Gestandaardiseerde tests zijn een een bijzondere vorm van het vergelijkenderwijs beoordelen zoals dat altijd al in het onderwijs op alle niveaus gebeurde. Ergo: hoogstwaarschijnlijk vergroten ze ongelijkheid #Bourdieu_Passeron
10. Maar laten we jouw stelling dat gestandaardiseerde tests eerlijker zijn schil voor schil afpellen.
Om te beginnen: de oude citotoets
Jaap Dronkers: advies voorspelt beter dan toets, maar toets is eerlijker.
Ben Wilbrink: De wereld op zijn kop.
11. Het is iets ingewikkelder dan de dialoog Jaap – Ben (op Twitter) suggereert.
Bijvoorbeeld. Wat bedoelen we nou precies met ‘de citotoets eerlijker’? Voordat je het weet, zijn we 5 dissertaties verder. (De 1e is er al: Karen Heij https://karenheij.bijzonderboeken.nl )
11.1 Herman
De vraag is: wat is de counterfactual van geen centrale toetsing? Loopbanen zijn het gevolg van preferenties, objectieve maten, en subjectieve maten. Je betwijfelt het objectieve karakter, dat mag, maar een toets lijkt me altijd toch objectiever dan een leraaroordeel.
11.2 Ben
Neem het meest eenvoudige geval. Is een meerkeuzevraag over X ‘objectiever’ dan een open vraag over X?
Dat is alleen zo in de sterke ideologie van A.D. de Groot en R.F. van Naerssen, 1969, en het kindje van A.D.: het Cito.
Mijn favoriete paper 1977: http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm
= = = =
12. Ben https://twitter.com/benwilbrink/status/1508770526570983424
Context van de citotoets/eindtoets is een 19e-eeuws naar standsverschillen geleed voortgezet onderwijs. Nog niet zolang geleden was dat expliciet ook voor het lager onderwijs zo. Binnen dat oneerlijke stelsel functioneert de eindtoets als stelselbevestigend. Willen we dat?
12.1 Gisbert
+ evidentie dat het leren in zekere zin belemmert (niet bevordert) – https://nepc.colorado.edu/sites/default/files/EPSL-0211-126-EPRU.pdf
quote Berliner: “suggest that high-stakes tests and high school graduation exams may tend to inhibit the academic achievement of students, not foster their academic growth (see Table 1).
Although test scores on state-administered tests usually increase after high-stakes testing policies are implemented, the evidence presented here suggests that in these instances students are learning the content of the state-administered test and perhaps little else. This learning does not, however, appear to have any meaningful carryover effect.”
12.2 Ben
Absoluut. Het stuurt het leren (washback of backwash effect, feedforward). Dat hoeft niet negatief uit te werken (interessante bijdragen van A.D. de Groot, en Robert van Naerssen, in 1970, een jaar na hun toetsen-boek), maar doet het meestal wel.
= = = =
13. Herman
De vraag is: wat is de counterfactual van geen centrale toetsing? Loopbanen zijn het gevolg van preferenties, objectieve maten, en subjectieve maten. Je betwijfelt het objectieve karakter, dat mag, maar een toets lijkt me altijd toch objectiever dan een leraaroordeel.
14. Herman
Dus, een of andere functie van P, O en S. Mijn hypothese, die voor zover ik overzie regelmatig steun vindt, is dat P belangrijker wordt als O niet bestaat. Ongelijkheid naar SES is, vermoed ik, het sterkst in P, dan S, en dan O. W.b. S versus O zijn er studies in Dld >
14.1. Ben
Neem het meest eenvoudige geval. Is een meerkeuzevraag over X ‘objectiever’ dan een open vraag over X?
Dat is alleen zo in de sterke ideologie van A.D. de Groot en R.F. van Naerssen, 1969, en het kindje van A.D.: het Cito.
Mijn favoriete paper 1977: http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm
= = = =
15. Herman
> over bindend advies versus geen bindend advies. Resultaat: bindend advies biedt gelijkere kansen. Sorry S versus P is het duitse debat: laten we ouders hun preferenties volgen of doen we er een bindend (subjectief) oordeel van de leraar bij?
16. Herman
Dan over je opmerking over legitimering van een systeem. Die legitimering van een ongelijk systeem heeft geen objectieve toets nodig. Zie wederom Duitsland. Den Heij duidt enkel het bredere debat; geen empirische studie naar het ongelijkheidsbevorderende (?) effect.
17. Herman
Ik denk zeker dat vroege selectie ongelijkheid in de hand werkt; daarover geen misverstand. Met alle negatieve gevolgen tav de ‘meritocratie’ (tussen aanhalingstekens). De hypothese is: zijn objectieve(re) maatstaven gelijkheidsbevorderend? (verkleinen de SES slope in loopbanen?)
18. Ben
Ik begrijp dat je het zo (SES, slope) wilt operationaliseren, daar heb ik geen moeite mee. Maar ‘objectievere maatstaven’ is veel te kort door de bocht.
Michael Sandel (Tirannie) illustreert perfect wat in de VS de oneerlijkheid is van SAT/ACT tests voor toegang tot top-unis.
19. Ben
De Eindtoets Basisonderwijs is ongelijkheid bevorderend. Ouders die het zich kunnen veroorloven kopen schaduwonderwijs en eindtoets-training in.
De Eindtoets heet ten onrechte ‘toets’; het is een test onder vooronderstelling dat niemand voorkennis heeft. Dat klopt dus niet.
20. Ben
Er is nog een ernsitiger probleem met die Eindtoets: zijn validiteit is onbekend, want nooit onderzocht. En laat validiteit nou net het enige kwaliteits-criterium zijn dat er toe doet voor deze test in deze situatie.
No problem, roep het van de daken. Maar het Cito roept niet.
21, 22. Ben
De Cotan keurt de Eindtoets, als het goed is. De richtlijnen die de Cotan daarbij hateert zijn de Amerikaanse ‘Standards’.
Standard 1.3: “If validity for some common or likely interpretation for a given use has not been evaluated, or if such an interpretation is inconsistent with available evidence, that fact should be made clear and potential users should be strongly cautioned about making unsupported interpretations.”
De validiteit van de Eindtoets (v/h citotoets) is onbekend omdat het experiment praktisch en ethisch niet uitvoerbaar is. Zie # 30 hierbeneden, citaat uit Meester & De Leeuw.
= = = =
23 Herman (antwoord op 19. Ben)
dit is toch echt dan je hypothese: met eindtoets meer ongelijkheid dan zonder eindtoets. En die hypothese wordt juist vaak verworpen? bijv ook onderwijsinspectie toen de eindtoets verlaat werd, 2015. Ongelijkheid (naar SES) nam toe.
24. Ben
Ja, de eindtoets voegt ongelijkheid toe.
Of de Amsterdamse Schooltoets dat ook deed, dat weet ik niet. Dat was een totaal andere situatie. Al heeft de eindtoets in grote trekken dezelfde opzet als die 60er jaren toets, de voorloper van de citotoets. https://rjh.ub.rug.nl/sogi/issue/view/2845
24.1 Herman
maar mijn punt is juist dat ik maar geen steun kan vinden voor die hypothese in de literatuur. En voor het tegendeel wel!
24.2 Ben
Je bedoelt: er is empirisch onderzoek dat mijn meer analytische argumenten weerspreekt? Geef me dan één zo’n onderzoek, dan hebben we een concreet casus om het verder te analyseren.
= = = = =
25. Ben
AD de Groot, dé methodoloog in de 60er jaren https://dbnl.org/titels/titel.php?id=groo004meth01…, knutselde de Amsterdamse Schooltoets in elkaar, ijkte die aan de oordelen van de schoolhoofden over hun leerlingen, en hupsakee, klaar ermee. Zie voor dit opmerkelijke historische feit https://karenheij.bijzonderboeken.nl
26. Ben
Voor een overzicht van de worsteling van A.D. de Groot met het ontwerp van deze toets bij de overgang naar het VHMO ) zie Karen Heij, paragraaf 4.8 en 4.9. Vergis u niet, tot de dag van vandaag zijn de eindtoetsen bijna klonen van die vroege Amsterdamse toets.
26.1. Ben
En dat is met alle gestandaardiseerde toetsen in meerdere of mindere mate het geval: ze hangen van de compromissen aan elkaar, zijn dus allesbehalve ‘objectief’. Zoals de onmogelijkheid om aan te sluiten op de specifieke curricula van afnemende scholen. #not_curriculum_aligned
= = = = =
27 Herman
Ik weet het. Het interessante is dat we beide gelijk kunnen hebben Ben. Het is een toets die validiteit ontbeert maar toch tot grotere kansengelijkheid leidt dan wanneer die toets er niet was geweest.
27.1 Ben
Validiteit onbekend.
Daar is die kansengelijkheid weer. Dat concept is toch een probleem hoor.
Op enig moment moeten we het dan ook over het onderwijs gaan hebben, de cultuur daarvan, de permanente selectieve druk op leerlingen, restverschijnsel van vroeger eeuwen?
= = = =
28. Herman
En de bevinding dat leraaradvies beter voorspelt dan de toets (CPB tijdje geleden) is er in principe ook mee verenigbaar: het advies kan dezelfde bias hebben als waar leerlingen in het VO mee te maken krijgen tav sociaal milieu, taal, etc.
29. Ben
Ja, maar waarom noem je het ‘bias’?
29.1 Ben
Welke gegevens mogen worden gebruikt om te voorspellen? Veel beschikbare gegevens zijn discriminerend, maar voorspellen wel, die vallen dus af.
Wie beslist? Ouders willen gegevens meenemen die anderen niet mogen gebruiken. Dat speelt juist bij adviseren ipv beslissen.
29.2 Ben
Maar zo eenvoudig is het niet. Op basis van bijvoorbeeld leeftijd, sexe, of etniciteit mag er niet worden beslist, maar die zogenaamd ‘objectieve’ eindtoets blijkt ‘scheef’ (‘biased’) te zijn t.o.v. die variabelen. Er is geen ‘level playing field’. (Hofstee; Doornbos)
29.3 Ben
Wim Hofstee (1990). Toepasbaarheid van psychologische tests bij allochtonen. [professionaliteitsbeginsel] zie citaat in https://benwilbrink.wordpress.com/2017/09/20/examenonrecht-en-effet/
Wim Meijnen (2013). ‘Opstaan tegen zittenblijven: Om moe van te worden’ Pedagogische Studiën (90) 89-96 https://pedagogischestudien.nl/download?type=document&identifier=617289
= = = =
30. Ben
Het volgende artikel van Meester en De Leeuw ‘De regressie van intelligentiescores op schoolloopbaanvariabelen’ stipt ook even aan dat onderzoek naar validiteit van adviezen/toetsen voor 12 jarigen onhaalbaar is. TOR https://objects.library.uu.nl/reader/index.php?obj=1874-208778&lan=en#page//67/64/19/67641961831776166295366098112515682646.jpg/mode/1up
31. Herman
maar dat is een kritiek op vroege selectie, en die deel ik. Maar wederom: wat is de counterfactual? Niet ‘late selectie’, niet ‘ouders verliezen hun preferenties’, maar ‘geen toets’.
32. Ben
Ik begrijp je vraag niet, sorry.
33. Herman
Critici op centrale toetsing wijzen op onwenselijke neveneffecten zoals inkopen van bijles. Alsof preferenties dan een grotere rol gaan spelen/groter effect hebben. Dat lijkt me betwistbaar. De counterfactual is niet dat ouders hun P aanpassen,maar dat er geen O is als tegenwicht
34. Herman
Als je zegt dat ons stelsel (of elk onderwijsstelsel dat in beginsel selecteert en sorteert) ongelijkheden met zich mee brengt, eens. De vraag is dan ook hoe die ongelijkheid (ietwat) het hoofd kan worden geboden zonder efficientie te verliezen – laten we zeggen totale skill set.
34. herman
Moment van selectie lijkt me zeker een issue om dan over na te denken, zie mijn papers… Maar binnen het stelsel waarin we zo vroeg selecteren is het met toetsen minder SES-biased dan zonder.
35. Ben
Dit blijft een probleem. Validiteit van de eindtoets is een onbekende grootheid.
Dat geldt overigens op dezelfde manier voor het advies van de school.
Discussie over wat beter is, advies of toets, is echt flauwekul. Tot 25% van de lln is laaggeletterd, dàt is ongelijkheid.
36. Herman
En daar ben ik het helemaal mee eens.
= = = =
37. Ben (antwoord op 33. Herman)
Ik heb voortdurend moeite met je taalgebruik. Jouw sociologische benadering strook niet met mijn insteek vanuit testpsychologie/onderwijsresearch.
Bijles en testtraining invalideren de eindtoets, zo simpel is dat. Onder deze omstandigheden discrimineert de toets.
38. Herman
maar dan is je hypothese: een objectieve toets zonder bijles leidt tot lagere SES ongelijkheden dan een objectieve toets met bijles. Dat geloof ik gelijk.
39. Herman
maar de vraag is: als er geen toets is, neemt bijles dan af? Het moet gezegd, onze PISA studie toonde wel iets van dien aard: grotere SES-gaps in bijles in landen met een centraal eindexamen. https://journals.sagepub.com/doi/10.1177/0020715220984500
39.1 Ben
Bedankt.
= = = =
39.2 Gisbert
Dat zou aansluiten bij het argument dat ik probeerde te maken, en ook bij die eerdere bron van Berliner.
= = = =
39.3 Mieke
Daarom dat het zo belangrijk is rekening te houden met brede context, neveneffecten… Toetsen gebeurt niet in een vacuum.
= = = =
40. Ben (antwoord op 36. Herman)
Nuttig, zo’n discussie. Helpt me voor een reactie op Meijer en Sijtsma in De Psycholoog. En in de voorbereiding op een bespreking van Sandel in een boekenclubje van oude rotten waar ik het voortouw voor neem. Sandel is vooral politicologisch/filosofisch over meritocratie.
41. Ben
Heel mijn professionele leven bezig met de thematiek van over-de-top-meritocratie. Zoals het debat over selectie voor NL numerus fixusstudies.
Of letterlijk, voor de Onderwijsraad, 1997: Terugblik op toegankelijkheid: Meritocratie in perspectief. http://benwilbrink.nl/publicaties/97MeritocratieORaad.htm
42. Ben
Het grappige/treurige van die laatste analytische oefening is dat op allerlei momenten in het onderwijs waar beslissingen op basis van ‘verdienste’ eerlijk zouden worden gevonden, dat echt niet is geslaagd. Oneerlijkheid die niet een gevolg is van meritocratie.
43. Ben https://twitter.com/benwilbrink/status/1508919919592845322
Deze dialoog tussen een socioloog en een psycholoog is er een tussen twee paradigma’s. Opmerkelijk verschil is dat de sociologie eerlijke toelating tot onderwijs bestudeert, en de psycholoog daar direct onderdeel van is: A.D. de Groot ontwikkelde het prototype van de eindtoets.
44. Ben
De psycholoog is bij ontwerp en gebruik van test of toets gebonden aan een specifieke beroepscode, de APA AERA NCME Standards (ook de Cotan hanteert deze als zijn richtlijnen). De Groot was zich daar ook van bewust, zie zijn Methodologie 8.2 Validiteit https://dbnl.org/tekst/groo004meth01_01/groo004meth01_01_0027.php
45 Ben
Bij conflicten over examens doen advocaten onderwijsrecht er goed aan om van deze Standards gebruik te maken in rechtszaken. In NL zou dat een novum worden, in de VS is het gebruikelijk.
Het zou fijn zijn als sociologen bij onderzoek over toetsen ook eens die Standards opslaan.
46. Ben
Want niet alleen van de Nederlandse Eindtoets Basisonderwijs (inclusief zijn concurrenten, trouwens) is validiteit onbekend, dat is ook het geval voor bijvoorbeeld PISA. Hier is het een open vraag wat de PISA test eigenlijk meet, wat betekenen resultaten dan voor een land?
================================================================
47 Jelmer Evers
Mooie gesprek
en
over nut/noodzaak eindtoetsen/eindexamens tov ongelijkheid in het onderwijs
48. Ben
Dankjewel. Er valt nog veel aan scherpte te winnen. Dat is ook nodig, om schertsbeleid te voorkomen.
49. Jelmer
Ik lees met interesse mee in ieder geval 🙂
50. Ben
Herman, is het een idee dat ik van de draad een blog maak? Zonder verdere redactionele ingrepen. Want threadreaderapp verwerkt geen dialogen.
51. Debbie Dussel
graag!
52. De hele (ingewikkelde) draad nu beschikbaar als blog:
‘Gestandaardiseerde toetsen. Verminderen zij ongelijkheid?’
53. Herman
Voor mensen als Hanushek en Woessmann meet PISA belangrijke Life skills die economische groei voorspellen…
54. Ben
Zij geloven Andreas Schleicher (baas van PISA) op zijn woord, en beschouwen de test als een variabele waarmee iedereen zijn ding mag doen. Ik word er helemaal gek van. Voor de Hanushek’s van deze wereld is construct validiteit van PISA van belang: ook die moet bewezen worden.
55. Ben
https://testingstandards.net/open-access-files.html…
Standard 1.12
If the rationale for score interpretation for a given use depends on premises about the psychological processes or cognitive operations of test takers, then theoretical or empirical evidence in support of those premises should be provided.
56. Ben
via @RichardPPhelps
57. Ben
In dat artikel ook info over de selectieratio van MIT: ca 4% van de gegadigden wordt toegelaten. Dat is geen foutje, het vier!
Laat niemand ooit nog spreken over inzet van SAT/ACT resultaten bij MIT als ‘ongelijkheid verminderend’.
58. Ben
MIT investeert een kapitaal in de jaarlijkse schifting van die enorme aantallen.
Kennen we zoiets in Nederland ook? Niet in publiek onderwijs. Wel bij de NPA (politie). Evaluatie van die selectie, in 1990: Wilbrink ea. http://benwilbrink.nl/publicaties/90SelectieNPA.htm
59. Ben
Waarom mag de Nederlandse Politieacademie wel selecteren, waar dat voor publiek hoger onderwijs niet mag (tenzij anders wettelijk geregeld)?
De NPA is een bedrijfsopleiding van Buitenlandse Zaken.
Heldere selectie voor een bedrijf is GEEN model voor publiek onderwijs.
60. Ben
Op selectie in en voor publiek onderwijs zien internationale verdragen over de rechten van kinderen (verdragen gaan boven nationale wetgeving).
Selectie voor bedrijven is uiteraard ook begrensd door het recht. Ik geef een voorbeeld dat zich bij de selectie voor de NPA voordeed.
61. Ben
De psychologische tests werkten ongelijk voor mannen en vrouwen. In die situatie konden de psychologen van de NPA geen selectie-adviezen geven zonder te discrimineren. Dat probleem was alleen op te lossen door de minister, Ien Dales, quota te laten vaststellen. Zo geschiedde.
62. Ben
Discriminatie ligt al gauw op de loer, overal waar sprake is van selectie, of ook van zelf-selectie (vergeet die niet!). In de VS is dat altijd al een heftige problematiek geweest. Waar problemen niet technisch oplosbaar zijn, moeten bestuurders verantwoordelijkheid nemen.
63. Ben
Ha, ik heb mijn ‘Zwick’ teruggevonden, voor antwoorden op vele vragen over hoe dat in de VS gaat.
Rebecca Zwick (2017). ‘Who Gets In? Strategies for Fair and Effective College Admissions’ Harvard University Press. http://hup.harvard.edu/catalog.php?isbn=9780674971912
interview: https://ets.org/research/policy_research_reports/focus_on_rd/issue8
64. Ben
“The SAT Isn’t What’s Unfair
By Kathryn Paige Harden”
https://theatlantic.com/ideas/archive/2022/04/mit-admissions-reinstates-sat-act-tests/629455/… via
65. Ben
I do not understand this. After all, MIT admits just 4% of its applicants. What is MIT talking about?
I have not seen detailed MIT-analyses anywhere. I suspect none are coming.
Rebecca Zwick ‘Who gets in’ has no entries on MIT or secrecy.
66. Ben
On secrecy in admissions:
Patricia Conley (1995). The allocation of college admissions. in Jon Elster: ‘Local justice in America’ (p. 25-80).
& (1996). Local Justice in the Allocation of College Admissions: A Statistical Study of Beliefs Versus Practice https://link.springer.com/article/10.1007/BF02197250
67. Ben
Another one:
Rachel Toor (2001). ‘Admissions confidential. An insider’s account of the elite college selection process.’ St Martin’s Press. Free to borrow: https://archive.org/details/admissionsconfid00rach
NB:
Conley 1995 excerpt: https://muse.jhu.edu/chapter/1545142/pdf#info_wrap
Conley 1996 pdf https://sci-hub.se/10.1007/bf02197250
Fair schooling & assessment 
