In het ontwerpproces van een toets is het belangrijk om oog te hebben voor een aantal kwaliteitscriteria. Deze criteria dragen niet alleen bij aan de bevordering van onderwijskwaliteit, maar helpen jou als docent ook om effectief en efficiënt te kunnen toetsen.
Validiteit
Een toets is bedoeld om de vaardigheden, kennis en attitudes van studenten te meten. Validiteit betekent dat je de aspecten meet die je wilt meten. Van belang is dat je toets daadwerkelijk de leerdoelen toetst (met betrekking tot niveau en inhoud) en dat elk leerdoel voldoende terugkomt in de toets(en).
Manieren om de validiteit van de beoordeling te waarborgen:
- In een toetsmatrijs maak je zichtbaar hoe elk leerdoel op welk niveau getoetst wordt.
- Bij de ontwikkeling van de toetsing is het van belang om vooraf antwoordmodellen, beoordelingscriteria of rubrics op te stellen zodat je expliciet maakt waar de betreffende prestatie aan moet voldoen.
Betrouwbaarheid
Onder betrouwbaarheid verstaan we of de toets consistent meet. Als een student twee keer dezelfde toets maakt, zou hij/zij hetzelfde resultaat moeten behalen. Maar ook als twee docenten dezelfde toets nakijken, zouden zij moeten uitkomen op dezelfde score.
Aan de hand van vier methodes kun je de betrouwbaarheid van een toets vergroten:
- Het vierogenprincipe: Je kunt een toetsontwerp vooraf voorleggen aan een collega. Hij/zij beoordeelt de toetsvragen/toetsopdracht op helderheid, of de inhoud en het niveau aansluiten bij de leerdoelen en of er geen slordigheden in zitten.
- Een tweede beoordelaar: Om de betrouwbaarheid bij de beoordeling te verhogen, kun je gebruik maken van een tweede beoordelaar. Als de twee beoordelaars op een andere beoordeling uitkomen, kun je een derde beoordelaar aanwijzen.
- Werken met een toets- en itemanalyse: Na de toets kun je de betrouwbaarheid van de toets bepalen door de kwaliteit van de toets en de toetsvragen (items) te analyseren. Bij digitale toetsen is het in veel gevallen mogelijk om geautomatiseerd een itemanalyse uit te voeren. Team EvaluatieService kan helpen bij een uitgebreide analyse.
- Het combineren van toetsvormen: Door leerdoelen op verschillende manieren binnen een cursus of opleiding te toetsen, wordt het oordeel niet gebaseerd op één toetsmoment en daarmee meer betrouwbaar.
Effectiviteit
Studenten stemmen hun leergedrag af op de toetsing. Je kunt daarom als docent met de manier waarop je de toetsing inricht, beïnvloeden hoe studenten leren. Het kwaliteitscriterium effectiviteit draait erom dat de wijze van toetsen zoveel mogelijk het gewenste leergedrag van studenten oproept. Onderwijsontwerp volgens het principe van Constructive Alignment draagt eraan bij dat een student leert in lijn met de leerdoelen, onderwijsactiviteiten en toetsing.
Transparantie
Transparantie houdt in dat het voor studenten duidelijk is hoe zij worden getoetst en op grond van welke beoordelingscriteria. Dit betreft onder meer communicatie over het maken van schriftelijke toetsen, het gebruik van hulpmiddelen, de wijze van inleveren van opdrachten en deadlines. Ook gaat het om het vooraf aanbieden van voorbeeldvragen bij toetsen en het duidelijk maken van de beoordelingscriteria door beoordelingsformulieren en rubrics beschikbaar te stellen. Naderhand hebben studenten het recht om hun toetsen of ingevulde beoordelingsformulier in te zien, zodat het helder is hoe hun eindcijfer tot stand gekomen is en zij tevens feedback krijgen op hun prestatie.
Uitvoerbaarheid
De toets moet uitvoerbaar zijn voor zowel student als docent. Je kunt hierbij denken aan praktische zaken, zoals financiële randvoorwaarden, het inroosteren van voldoende tijd voor studenten om een toets te maken en benodigde hulpmiddelen voor tijdens de toets. Daarnaast is het belangrijk ook rekening te houden met je eigen tijd wat betreft ontwikkeling van toetsen en nakijktijd. Als je een grote groep studenten essays laat schrijven, is het bijvoorbeeld belangrijk om voor ogen te houden dat je zelf genoeg tijd hebt om deze goed te beoordelen en dit kunt organiseren binnen je team.