Open vragen zijn vragen waarbij de student zelf een antwoord formuleert. Het te geven antwoord bestaat uit één woord, enkele zinnen of een uitgebreide uitwerking.
In de toets kun je verschillende vraagvormen en vragen van verschillende cognitieve niveaus goed combineren. Uiteraard is een combinatie met gesloten toetsvragen ook mogelijk.
Wat kun je toetsen?
Met deze toetsvorm kun je zowel vaardigheden als kennis (ook inzicht) toetsen. Afhankelijk van het leerdoel gebruik je bijvoorbeeld een essay-vraag, fill in the blank of een vraag met een numeriek antwoord.
Welke niveaus kun je toetsen?
Het toetsen met open vragen leent zich binnen de Taxonomie van Bloom vooral voor de cognitieve niveaus Onthouden, Begrijpen, Toepassen, Analyseren en Evalueren.
Het toetsen met open vragen spreekt binnen de taxonomie van Miller de niveaus Weten, Weten hoe en Laten zien aan.
Randvoorwaarden van deze toetsvorm
- Een toets met open vragen is in principe geschikt voor alle groepsgroottes, maar bij grote groepen resulteert dit in een hoge totale beoordelingslast.
- De toets met open vragen wordt op de campus afgenomen.
- De volgende vraagtypen zijn mogelijk: essay, fill in the blank, short answer, numeriek, jaarrekening en wiskundige vragen
Aandachtspunten bij toetsafname
Tijdens een afname van een schriftelijke toets met open vragen kan een aantal factoren de betrouwbaarheid en validiteit van de toetsresultaten beïnvloeden.
Validiteit
- Inhoud van de toets: de vragen in een toets moeten compleet en foutloos zijn.
- Tijdsduur: als het van belang is hoe snel een student een antwoord geeft, pas je de tijd hierop aan. In alle andere gevallen, zorg je voor voldoende tijd. Tip: maak de toets van tevoren zelf eens.
Betrouwbaarheid
- Toetsinstructie: de instructie moet duidelijk zijn.
- Locatie en omstandigheden: de omstandigheden in de verschillende lokalen moeten gelijk zijn.
- Hulpmiddelen: voorafgaand aan de toets moet aan studenten informatie verstrekt worden over de toegestane hulpmiddelen (wetboek, rekenmachine, woordenboek).
- Examinatoren en surveillanten: de examinator is bijna nooit aanwezig bij een afname. De instructie voor de surveillant moet dus heel duidelijk zijn.
Beoordelen
Bij het beoordelen van een toets met open vragen kun je verschillende keuzes maken, bijvoorbeeld horizontaal (per vraag) of verticaal (per student). In toetssoftware kan dit ook geanonimiseerd. Bij het nakijken geef je punten op basis van het antwoordmodel en scoringsinformatie die je tijdens de constructie van de vraag hebt opgesteld.
In toetssoftware kun je bij open vraagtypen zoals fill in the blank, short answer, numeriek, jaarrekening en wiskundige vragen automatisch beoordelen.
Houd bij het omzetten van scores naar cijfers rekening met facultaire of opleidingspecifieke (OER) afspraken over vereiste cesuurpercentage, afronding en deelcijfers of een totaalcijfer.
Terugkoppelen aan student
Tijdens een inzage kun je plenair feedback geven door bijvoorbeeld veel gemaakte fouten te bespreken. Als je in de digitale toetssoftware leerdoelen aan toetsvragen koppelt, is het mogelijk op individueel niveau scoreoverzichten te maken voor studenten. Hierdoor krijgt een student meer inzicht in zijn prestatie.
Bij gebruik van toetssoftware is het mogelijk om bij de automatisch gecorrigeerde vragen feedback toe te voegen. Bij open vragen die niet automatisch worden nagekeken, kan tijdens het beoordelen inhoudelijke feedback ingevoerd worden. Deze kan de student inzien tijdens een toetsinzage.
Evalueren van de toetsvorm
Wat evalueer je?
Je kijkt hierbij onder meer naar:
- De scoreverdeling op de toets.
- Of de toetsscores normaal verdeeld zijn.
- Of de hoogst behaalde score in de buurt komt van de maximaal haalbare score.
- Hoe afzonderlijke vragen zijn beantwoord, en of er gebeurd is wat je had verwacht. Hoe moeilijk of makkelijk vonden studenten de vragen?
- Hoe de scoreverdeling bij de verschillende vragen is, en of er vragen zijn waarbij niemand de maximale score haalt. Of zijn er vragen die door laagscorende studenten beter zijn gemaakt dan door hoogscorende studenten?
- Daarnaast is het ook goed om na te gaan of er verschillen zijn tussen de verschillende beoordelaars.
Hoe evalueer je?
Na afloop van de toets is het belangrijk om de sterktes en zwaktes van de toets te bespreken en conclusies te trekken over de toets en het onderwijs. Op basis van een analyse bepaal je of er in het toetsontwerp of toetsvragen iets veranderd moet worden. In je itembank kun je de toetsvragen direct aanpassen zodat ze klaar zijn voor eventueel hergebruik in de toekomst.
Om zicht te krijgen op de scores en scoreverdeling, helpt het om een overzicht te maken van de scores per vraag per student. Bij grote toetsafnames, vanaf ca. 100 studenten, kun je gebruik maken van een zogenaamde psychometrische analyse: een statistische bewerking van de scores. Die levert veel informatie op over de kwaliteit van de toets en over hoe vragen functioneren in de toets.