Zeppelin. Alaksiej Carankievic (Unsplash)
Zeppelin. Alaksiej Carankievic (Unsplash)

BLiMP-NL

A Benchmark for Linguistic Minimal Pairs in Dutch
Tijdsduur
1 februari 2023 tot 30 juni 2024
Projectleden
dr. S.L. Frank (Stefan) M.J.P.F. Suijkerbuijk (Michelle) MA , Zoë Prins (UvA) , Marianne de Heer Kloots (UvA) , Jelle Zuidema (UvA)
Projecttype
Onderzoek

Neurale taalmodellen zijn tegenwoordig erg goed in het produceren van grammaticaal correcte zinnen. Maar hoe goed is hun kennis van syntaxis nu echt? In dit project creëren we een grote verzameling Nederlandse zinsparen waarvan de ene grammaticaal correct is en de andere minimaal verschilt maar incorrect is. De vraag is hoe goed taalmodellen in staat zijn om de juiste zin te kiezen. 

We verzamelen ook oordelen van mensen over deze zinnen, om te onderzoeken of modellen vergelijkbare oordelen hebben. Tenslotte meten we oogbewegingen van mensen die deze zinnen lezen, om te onderzoeken in hoeverre de taalmodellen deze oogbewegingen kunnen verklaren.

Financiering

NWO

Contactinformatie

Contactpersoon