De ene student krijgt meerkeuzevragen voorgelegd in een volgorde die aansluit bij de opbouw van de collegereeks. De andere student krijgt diezelfde vragen kriskras door elkaar. Maakt dit uit voor de tentamenresultaten? Albert de Vaal, universitair hoofddocent Internationale Economie, was benieuwd hoe het zit en deed er onderzoek naar. ‘Als vragen door elkaar gehusseld zijn, heb je minder voordelen.’
Jarenlang zette Albert de Vaal dezelfde stappen als hij een tentamen samenstelde met meerkeuzevragen. In de weken waarin hij de colleges gaf, kwamen er als vanzelf geschikte vragen in hem op die hij noteerde. Vervolgens zette hij ze op het einde van de cursus onder elkaar, passend bij de opbouw van de collegereeks. Om te zorgen dat studenten in een lokaal niet stiekem antwoorden naar elkaar seinen, maakte hij een tweede en derde versie van de toets, waarvoor hij de vragen door elkaar husselde. ‘Volgens mij doen veel docenten dit op deze manier. Maar een paar jaar geleden dacht ik ineens: zou het uitmaken of je als student de eerste versie of een van de andere twee voor je neus krijgt?’
Telescoop
Er is wel wat onderzoek gedaan naar de volgorde van meerkeuzevragen, maar uit de bestaande studies valt niet veel op te maken. Bij het ene onderzoek had de volgorde wel invloed op de toetsresultaten, maar bij het andere niet. De Vaal besloot er opnieuw mee aan de slag te gaan. Zo maakte hij een wetenschappelijk uitstapje: een econoom op onderwijskundig terrein. Samen met Kees Haasnoot en Charan van Krevel, collega’s aan de Universiteit van Amsterdam en eerder ook verbonden aan de Radboud Universiteit, analyseerde hij twaalf tentamens van zijn cursus micro-economie tussen 2013 en 2019. Van elk tentamen waren er drie versies. In totaal maakten 745 studenten deze tentamens, wat leidde tot 16.127 individuele vraag-antwoordcombinaties. ‘Bij de eerdere onderzoeken werd alleen gekeken naar het resultaat van de hele test, niet naar de score per vraag. Dat maakt veel verschil. Op metaniveau kan van alles het beeld verstoren. Een collega vergeleek onze manier met een verbeterde telescoop waarmee je het heelal inkijkt.’
Fijnmazige methode
Om erachter te komen wat het effect is van de volgorde van vragen op het al dan niet goed beantwoorden van een meerkeuzevraag, zorgden De Vaal en zijn medeauteurs ervoor dat zoveel mogelijk andere factoren werden gecontroleerd. Bijvoorbeeld jaar-specifieke omstandigheden zoals de gemiddelde kwaliteit van een studentcohort, specifieke afwijkingen bij de gang van zaken tijdens een tentamen, en de moeilijkheidsgraad van een vraag. Deze fijnmazige analyse leidde tot een heldere conclusie: de volgorde van de vragen maakt uit. ‘Het heeft voordelen voor een student als de vragen in de volgorde van de cursus worden gesteld. Sterker nog, hoe meer geordende vragen achter elkaar staan, hoe groter de kans op het juiste antwoord.’ Een enkele vraag in de ‘natuurlijke’ volgorde levert nog geen zichtbare verbetering op, maar vanaf een reeks van drie is het positieve effect statistisch significant. Met elke verdubbeling van zo’n reeks neemt de kans op het juiste antwoord met ongeveer vijf procentpunt toe.
Verklaringen
Volgens De Vaal zijn er meerdere verklaringen voor de betere resultaten bij toetsvragen met een bekende ordening. ‘Als studenten voor een tentamen studeren, doen ze dat vaak vanuit de volgorde van de colleges. Verder kan een vorige vraag je helpen bij een nieuwe vraag. Je hoeft dan alleen een logische stap te maken. Ook kan een eerdere vraag ervoor zorgen dat je in de goede richting denkt. Je zit dan in je hoofd al op de plek waar je de informatie over een bepaald thema hebt opgeslagen. Als de vragen door elkaar husselt, heb je deze voordelen niet.’
Niet onschuldig
De conclusies van het onderzoek zijn belangrijk, stelt De Vaal. ‘Het husselen van vragen is veel minder onschuldig dan het lijkt. Het geeft een voordeel aan studenten die de vragen in de volgorde van de cursus krijgen. En dat wil je natuurlijk niet.’ Dat betekent niet per se dat je als docent alle vragen altijd moet husselen. ‘Vragen mogen best in een logische volgorde staan. Maar zorg er dan wel voor dat dit per tentamenvariant gelijk is.’
Sinds de resultaten van het onderzoek bekend zijn, houdt De Vaal er rekening mee bij zijn eigen tentamens. ‘Uiteraard zorg ik er nu voor dat het voordeel voor elke versie ongeveer gelijk is. En mijn medeauteurs doen dat ook. Nu de rest van de wereld nog.’
Tekst: Willem Claassen
Foto: Duncan de Fey