Emily Bender en Alex Hanna zeggen van niet. Het getuigt eerder van een beperkt begrip van het werk dat professionals verrichten. In hun boek The AI Con leggen Bender en Hanna de verschillende manieren bloot waarop AI wordt opgehypet en reflecteren ze op de risico’s hiervan. Evaluatiemethodes voor AI illustreren dit. Voor het testen van AI, vooral de populaire gen-AI’s, wordt namelijk gebruik gemaakt van #gestandaardiseerdedatasets. Doet een systeem het goed op deze dataset, dan bereikt deze een hoge score en die wordt graag gedeeld.
Het inzetten van gestandaardiseerde toetsen zoals het bar examen is hier een recent voorbeeld van. Echter, wij als onderwijzers zouden toch direct moeten zien wat hieraan mankeert.
Een gestandaardiseerde test zegt mij namelijk niets over wat een leerling daadwerkelijk kan in de echte wereld.
Je toetst dan vooral wat er te #toetsen valt in een gecontroleerde setting. Het is een beperkte manier van #evalueren, waarop gericht en strategisch valt voor te bereiden.
