Deze cursus biedt een geïntegreerde verkenning van hoe gesproken taal, gebaren en tekens gezamenlijk betekenis, cognitie en interactie vormgeven bij menselijke en kunstmatige actoren (waaronder taalmodellen, virtuele avatars en robots). De cursus rust deelnemers uit met conceptuele kaders en praktische instrumenten om multimodale communicatie te analyseren, van gesproken taal en co-speech-gebaren tot gebarentalen en andere belichaamde signalen, en om te begrijpen hoe deze modaliteiten samenhangen met cognitieve processen in realistische contexten.
Door een combinatie van theorie, empirisch onderzoek en praktische analyse leer je kaders voor het beschrijven van de structuur en functie van multimodale communicatie, evenals methoden voor het vastleggen en interpreteren van multimodale data in discours. Je doet praktische ervaring op met publiek beschikbare tools zoals MULTIDATA (een online, AI-gebaseerde pijplijn voor het bestuderen van multimodale communicatie), ELAN (een tool voor multimodale annotatie), Whisper (een AI-gebaseerde transcriptietool) en geavanceerde kinematische methoden. De nadruk ligt op het toepassen van deze instrumenten in onderzoeks-, onderwijs- en professionele contexten.
Learning objectives
- Begrijpen hoe gesproken taal, gebaren en tekens gezamenlijk bijdragen aan betekenis, cognitie en interactie in menselijke en kunstmatige systemen.
- Theoretische kaders gebruiken om de structuur en functie van multimodale communicatie in discours te analyseren.
- Multimodale data verzamelen, annoteren en interpreteren met behulp van publiek beschikbare tools voor het bestuderen van multimodale communicatie.
