Na de beoordeling van de resultaten van een toetsafname kun je de betrouwbaarheid van de toetsresultaten bepalen door de kwaliteit van de toets en de kwaliteit van de afzonderlijke toetsvragen (de items) te analyseren. Een goede analyse draagt bij aan de kwaliteit van de toetsing binnen jouw cursus. Daarnaast helpt het je bij het onderbouwen en maken van beslissingen op grond van de gemaakte toets.
Een toets- en itemanalyse geeft informatie die direct bruikbaar is voor het beoordelen van de toetsresultaten. Op grond van de statistische en inhoudelijke analyse en van het commentaar van studenten bepaal je als examinator of de berekende score gehandhaafd blijft of dat er herscoring moet plaatsvinden. Een toets- en itemanalyse kan ook gebruikt worden voor aanpassingen aan het onderwijs of verbeteringen aan de toets in de toekomst.
Indicatoren voor toetskwaliteit
De kwaliteit van een toets wordt uitgedrukt in een aantal indicatoren. Deze indicatoren gebruik je om eventuele knelpunten binnen een toets te signaleren.
Enkele indicatoren op een rij:
- De moeilijkheid van de toetsvraag (p-waarde).
- Het onderscheidingsvermogen van de toetsvraag tussen studenten die de stof wel en studenten die de stof niet beheersen (rit-waarde).
- De betrouwbaarheid van de toets (coëfficiënt alfa).
Hulpvragen bij toets- en itemanalyse
Bij het analyseren van de toetsresultaten kun je een aantal vragen stellen:
- Hoe is iedere afzonderlijke vraag gemaakt?
- Hoe is de spreiding van de item- en toetsscores?
- Wat is het slagingspercentage?
- Wat was de moeilijkheid van de toets?
- Wat is de betrouwbaarheid van de toetsscores?
- Is het gegaan zoals jij had verwacht?
- Klopt de antwoordsleutel wel?
- Moet je iets veranderen aan het antwoordmodel?
Ondersteuning bij toets- en itemanalyse
Een medewerker van team EvaluatieService kan je helpen bij het uitvoeren van een toets- en itemanalyse. Je ontvangt de rapportage in de vorm van een overzichtelijk toetsrapport in Microsoft Excel-formaat. In het toetsrapport zijn naast de toetsscores van de studenten en frequentietabel met de verdeling van toetsscores ook kwaliteitsindicatoren van de toets en de items opgenomen.
Maak je gebruik van de toetssoftware van Cirrus? Dan wordt automatisch een toets- en itemanalyse uitgevoerd. De coördinator digitaal toetsen van jouw faculteit kan vervolgens meekijken naar het analyserapport. Indien een uitgebreider toetsrapport gewenst is, kan EvaluatieService deze maken.