In'to Languages krijgt een nieuw cursussysteem. Hierdoor kun je op dit moment alleen inloggen in je persoonlijke pagina of inschrijven voor een cursus of intake, als je een U-nummer of S-nummer hebt én EduVPN gebruikt. Ook als je op de campus bent. Heb je geen U-nr of S-nr? Gebruik dan dit formulier
Onze excuses voor het ongemak.

Vrouw aan het werk op laptop

In’to Languages lanceert toets om AI-geletterdheid te meten

De razendsnelle ontwikkeling van generatieve AI stelt het onderwijs voor grote vragen. Welke kennis en vaardigheden hebben studenten nodig in een wereld waarin AI vanzelfsprekend is? En hoe toets je die vaardigheden op een betrouwbare manier? In plaats van AI-tools te verbieden, groeit bij onderwijsinstellingen het besef dat AI-geletterdheid essentieel is. In’to Languages ontwikkelde een nieuwe toets om de AI-geletterdheid van studenten in kaart te brengen. Bram de Jong, projectmanager taaltoetsing, vertelt over de totstandkoming van deze toets, de eerste resultaten en de uitdagingen die AI met zich meebrengt voor de toetswereld.

Talige vaardigheden

Waarom ontwikkelt een organisatie gespecialiseerd in taaltrainingen en taaltoetsen een toets over AI? De vorm van generatieve AI (genAI) die de meeste impact heeft op het onderwijs, zijn taalmodellen als ChatGPT. Deze modellen genereren teksten die soms nauwelijks meer van menselijke content te onderscheiden zijn. Maar, zo legt Bram de Jong uit, dan moet je wel weten hoe je ze gebruikt: “Daarvoor zijn goede talige en communicatieve vaardigheden nodig. Je moet weten hoe je goede prompts opstelt, maar vooral ook hoe je de output kritisch beoordeelt en of en hoe je deze kunt verwerken in een tekst. Bij In’to hebben we de expertise om deze vaardigheden te toetsen: onze kennis van schrijf- en taalvaardigheid, toetsing en genAI komen hierin samen.”

Vanuit deze expertise adviseerde In’to de taalbeleidscommissie van de Radboud Universiteit om genAI als pilot op te nemen in het beleid. Daarop werd er budget toegekend om de AI-toetsmodule te ontwikkelen. Wat er wordt getoetst? De eerste vragen gaan over in hoeverre studenten genAI gebruiken en hoe vaardig ze zichzelf hierin vinden. Daarna volgen kennisvragen over het kunnen herkennen van AI-content en kritisch reflecteren op de in- en output.

Bram de Jong, medewerker Radboud In'to Languages

Interessante inzichten

Onlangs is de AI-geletterdheidstoets afgenomen onder eerstejaarsstudenten van de faculteit der Natuurwetenschappen, Wiskunde en Informatica (FNWI), als extra module bij de diagnostische taaltoets (RADAr). De resultaten leveren nu al enkele interessante inzichten op, vertelt Bram: “Ten eerste blijkt er een redelijk grote groep te zijn die nog geen of weinig gebruikmaakt van AI. Ook zien we dat er veel verschillen zijn tussen studenten. De scores lopen erg uiteen, zowel bij de zelfinschatting als de kennisvragen. Opvallend is dat over het algemeen de score bij de kennisvragen lager is dan de score die studenten hun eigen kennis en kunde geven. Ze overschatten zichzelf dus nogal eens. En wat ook heel interessant is: studenten die hoog scoren op taalvaardigheid, scoren ook hoog op AI-geletterdheid. We zijn heel benieuwd of deze uitkomsten per faculteit verschillen.”

Hulpmiddel EU AI-act

Naast de FNWI hebben ook andere faculteiten al interesse getoond om de AI-toets af te nemen. Ondertussen werkt In’to aan een variant van de module om de AI-geletterdheid van medewerkers van de RU te toetsen. “Dit helpt de universiteit te voldoen aan de EU AI-act, die organisaties verplicht om te zorgen voor voldoende AI-geletterdheid bij het personeel. Om ook andere organisaties hierbij te ondersteunen, willen we de toetsmodule ook buiten de universiteit gaan aanbieden.”

De toekomst van toetsing

Naast de vraag hoe we studenten verantwoord om laten gaan met AI, roept de toenemende invloed van AI ook de vraag op: zijn traditionele toetsvormen, zoals scripties en andere schrijfopdrachten, nog passend? Bram: “AI dwingt ons om opnieuw te kijken wat we precies willen meten, oftewel: wat vinden we dat studenten moeten kennen en kunnen? Als je schrijfopdrachten zo makkelijk uitbesteedt aan een taalmodel, hoe meten we dan nog de vaardigheden en inzichten van de student zelf? Moeten we dan vooral het proces beoordelen in plaats van het eindresultaat? Is dat haalbaar en zinvol? En wat betekent dit voor schrijf- en taalvaardigheid zelf: worden deze minder belangrijk, of juist extra belangrijk omdat ze essentieel zijn om op een effectieve en kritische manier taalmodellen te gebruiken? Daar hebben wij ook nog geen antwoorden op, maar het zijn zeker vragen die de toetswereld, en het onderwijs in bredere zin, ingrijpend zullen veranderen.”

Eén ding is zeker: AI gaat niet meer weg. Daarom is het essentieel dat zowel studenten als docenten leren bewust en kritisch met deze technologie om te gaan. Met de nieuwe toetsmodule AI-geletterdheid zet In'to Languages alvast een stap in die richting. 

Geschreven door
B. de Jong (Bram) MAA.A.M. van Paasen (Angela)
Bram de Jong is projectmanager taaltoetsing bij Radboud en Wageningen in'to Languages. Angela is content specialist bij In'to Languages en haalt regelmatig interessante input op bij de taal- en communicatie-experts van In'to.