Menselijke communicatie in persoonlijke gesprekken is van zichzelf multimodaal, omdat het gesproken taal combineert met een overvloed van multimodale signalen, waaronder handgebaren. Terwijl we het grootste deel van ons begrip van menselijke taal uit unimodaal onderzoek halen, suggereert multimodale literatuur dat handgebaren worden geproduceerd in nauw verband met spraakprosodie, zoals het aangeven van klemtonen in taal die normaliter vrije klemtonen bevat. Daarnaast speelt prosodie een vitale rol in gesproken woordherkenning in veel talen, wat de centrale cognitieve processen die betrokken zijn in spraakperceptie beïnvloedt. Hieruit volgt dat, door het interpreteren van de timing van gebaren als een audiovisueel prosodiesignaal, de afstemming van handgebaren en spraak mogelijk direct beïnvloedt wat we horen (bijv. OBject vs. obJECT). Echter, onderzoek heeft tot dusver veelal de functionele bijdrage van gebarentiming ten opzichte van spraakperceptie over het hoofd gezien.
Dat is waarom HearingHands ernaar streeft te ontdekken hoe een gebaar-spraak koppeling bijdraagt aan audiovisuele communicatie in menselijke interactie. De doelen zijn als volgt:
- de prevalentieven het gebruik van gebaar-spraak koppelingen in kaart te brengen als een multimodaal herkenningssignaal in de productie en perceptie van verschillende soorten talen;
- de variabiliteit in de productie en perceptie van gebaar-spraak koppeling in zowel neurotypische en niet-neurotypische personen in kaart brengen;
- de beperkingen vaststellen die naar boven komen door de effecten van gebarentiming in naturalistische settings.
Deze doelen zullen behaald worden door gebaar-spraakproductie en de perceptie hiervan in verschillende talen te vergelijken door het volgen van bewegingen, multimodale integratie te testen bij autistische en neurotypische personen, en door psychoacoustische tests rondom de effecten van gebarentiming af te nemen door middel van oogtracking en virtual reality. Samengevat zal HearingHands bijdragen aan ons begrip van multimodale menselijke communicatie , uitlijnend hoe onze handen ons helpen horen.
Project website voor onderzoeksoutput en demo's