In het onderwijs verstaan we onder een portfolio een verzameling van materialen, documenten en/of bestanden waarmee de student zijn of haar (ontwikkeling in) bekwaamheid laat zien. Bij een portfolio-assessment vindt beoordeling van de bekwaamheid van de student plaats aan de hand van dat portfolio.
Als een portfolio-assessment wordt gecombineerd met een criteriumgericht interview (CGI), krijgt de student de mogelijkheid een toelichting te geven op bewijzen en gemaakte keuzes, die de beoordelaar kan meewegen in de beoordeling.
Wat kun je toetsen?
Het portfolio-assessment is geschikt voor zowel het beoordelen van vaardigheden als complete competenties. Het gaat dus om de combinatie van kennis, vaardigheden en houding. Zijn de vaardigheden en/of competenties van de student van voldoende niveau om een bepaalde beroepstaak naar behoren uit te voeren?
Welke niveaus kun je toetsen?
De Taxonomie van Bloom is op het portfolio-assessment niet van toepassing, omdat het gaat om vaardigheden en/of competenties en niet om puur cognitief niveau. Om de achterliggende kennis bij het portfolio te bevragen, wordt het portfolio-assessment vaak gecombineerd met een criteriumgericht interview (CGI).
Het portfolio-assessment leent zich binnen de Piramide van Miller vooral voor beoordeling op het niveau van Laten zien en Doen. Dat maakt het een goed bruikbaar instrument voor de beoordeling van het handelen van de student in de beroepspraktijk.
Randvoorwaarden van de toets
- Het portfolio-assessment is vooral geschikt voor individuele studenten of kleine groepjes die samengewerkt hebben.
- Studenten vinden het vaak heel lastig vinden om op een goede manier een portfolio samen te stellen. Een basisstructuur en aanwijzingen vooraf kunnen op dit gebied behulpzaam zijn, ook om een lage beoordeling van studenten die minder bedreven zijn in het samenstellen van een portfolio te voorkomen.
- Beoordelen van portfolio’s kost relatief veel tijd van de beoordelaar, dus die tijd moet wel beschikbaar gemaakt kunnen worden.
Aandachtspunten bij de toetsafname
Een portfolio kan meer of minder voorgestructureerd zijn met betrekking tot het soort en het aantal bewijzen dat wordt gevraagd. Het voordeel van veel voorstructureren is dat het de student houvast geeft bij de samenstelling van het portfolio. Ook maakt dat de vergelijkbaarheid van de aangeleverde portfolio’s groter, wat de taak van het beoordelen iets makkelijker en overzichtelijker kan maken. De keerzijde van veel voorstructureren is dat het de student minder ruimte geeft om zelf vorm te geven aan het portfolio. Hou bij bij de keuze van de mate van voorstructurering in elk geval rekening met de vaardigheid die de studenten al hebben in het samenstellen van portfolio’s.
Geef vooraf een heldere instructie over hoe een portfolio samen te stellen. Uiteraard moet duidelijk zijn wat het portfolio moet aantonen, dus waarop het inhoudelijk beoordeeld wordt. Besteed daarnaast ook aandacht aan:
- De verwachte opbouw en indeling van het portfolio;
- De inhoudelijke criteria;
- De vereiste dat de student de koppeling tussen bewijs en vaardigheid/competentie duidelijk aangeeft, dus: waartoe het bewijs is toegevoegd;
- Om te grote en onoverzichtelijke portfolio’s te voorkomen: basiseisen stellen aan vorm, omvang etc. als ontvankelijkheidscriteria. Niet ontvankelijk? Terug naar de student voordat de inhoudelijke beoordeling plaatsvindt.
Bewijsmateriaal in het portfolio moet relevant, authentiek, valide, recent, voldoende en op het juiste niveau zijn. De combinatie van concrete bewijzen en een onderbouwing voor het gebruiken van die specifieke bewijzen levert voor beoordelaars veelal voldoende informatie op om een beslissing over erkenning van competenties te nemen.
Beoordelen
In het algemeen wordt aangeraden dat de toets wordt afgenomen door twee, het liefst niet bij de student betrokken examinatoren. Dit met het oog op het streven naar objectiviteit.
Kalibratiesessies zijn aan te bevelen om het gewenste prestatieniveau af te stemmen. Zie hiervoor ook ‘Evalueren van de toetsvorm’.
Bij een portfolio-assessment vindt beoordeling plaats aan de hand van een beoordelingsmodel met beoordelingscriteria. Een inhoudsdeskundige neemt het assessment af en beoordeelt het.
Het risico tijdens de beoordeling is dat je veel tijd kwijt bent aan grote en slecht gestructureerde portfolio’s. Het helpt om in drie stappen te werken:
- Bekijk of het portfolio voldoet aan de gestelde basiseisen op aspecten als omvang, vorm, aantrekkelijkheid en ordening. Alleen indien dit het geval is, wordt het portfolio inhoudelijk beoordeeld.
- Beoordeel de kwaliteit van het bewijs. Zijn de bewijzen voldoende gevarieerd, relevant, actueel, authentiek (dus van de student zelf), etc.? Zo nee, vraag dan om aanvulling (hangt af van je procedure).
- Beoordeel de kwaliteit in het bewijs. Laat de student het vereiste niveau zien?
Een eindresultaat in de vorm van cijfers is mogelijk, maar het advies is om een globaler oordeel te gebruiken, zoals: ‘onvoldoende, voldoende, goed’. Uiteindelijk gaat het erom te beoordelen of de student voldoende bekwaam is om de handeling/taak uit te voeren.
Terugkoppelen aan student
Wat koppel je terug?
Naast het eindresultaat in de vorm van een cijfer of globaler oordeel, is het wenselijk feedback op het geheel en/of per beoordelingscriterium te geven. Gebruikelijk is het om in elk geval toelichting te geven op onderdelen waar laag of onvoldoende op is gescoord. Voor een optimale leerervaring wordt het ook geadviseerd de positieve punten expliciet te benoemen.
Hoe koppel je terug?
De terugkoppeling vindt plaats aan de hand van een ingevuld beoordelingsformulier. Voor de student helpt het, zeker als er nog bijstelling nodig is, om in de toelichting bij beoordelingscriteria te verwijzen naar voorbeelden in het aangeleverde portfolio.
Het kan verhelderend werken om daarnaast ook mondeling feedback te geven, bijvoorbeeld als het portfolio gecombineerd wordt met een criteriumgericht interview (CGI).
Evalueren van de toetsvorm
Wat evalueer je?
Aandachtspunten voor bijstelling van de toets zijn:
- Zijn de beoordelingscriteria goed toepasbaar? Bieden ze houvast?
- Discrimineert het beoordelingsinstrument voldoende tussen prestaties op verschillende niveaus?
- Corresponderen de uitslagen met het expert-oordeel van de beoordelaars?
- Zijn er geen beoordelingscriteria die onderling overlappen?
Hoe evalueer je?
Voor het evalueren van de toets maak je gebruik van kalibratiesessies. De werkwijze hiervoor is de volgende:
- Beoordeel onafhankelijk van elkaar vooraf hetzelfde portfolio (evt. meerdere).
- Bespreek gezamenlijk de overeenkomsten en verschillen;
- Uit de bespreking volgen enerzijds gezamenlijke afspraken over hoe je de beoordelingscriteria toepast, anderzijds geeft die input voor aanpassing/aanscherping van de opdrachtformulering, beoordelingscriteria en/of andere aspecten van het beoordelingsinstrument.
Een kalibratiesessie is vooral bedoeld voor afstemming tussen meerdere beoordelaars. Ook als alle beoordelingen gedaan worden door dezelfde examinator is afstemming met een vakgenoot aan te bevelen (externe validering).