Dit proefschrift onderzoekt hoe mensen elkaars woorden en gebaren herhalen tijdens een gesprek, en hoe die twee met elkaar samenhangen. Aan de hand van corpusgegevens, een nieuwe computationele methode en een experiment wordt een beeld geschetst van hoe en waarom gebarenafstemming plaatsvindt naast de neiging tot afstemming in woordkeuze. Een belangrijke bevinding is dat lexicale en gebarensynchronisatie al vroeg samen toenemen, en dat mensen hun gebaren bleven afstemmen, zelfs nadat ze het eens waren geworden over gemeenschappelijke woorden. Dit suggereert dat ze niet alleen een gemeenschappelijke woordenschat opbouwen, maar ook gemeenschappelijke manieren om over nieuwe objecten te gebaren. Het proefschrift introduceert ook een methode op basis van dynamic time warping (DTW) die automatisch meet hoe vergelijkbaar twee gebaren zijn, waarmee een langdurig probleem met arbeidsintensieve handmatige beoordelingen wordt opgelost. Een interactief experiment waarbij de zichtbaarheid van de spreker werd gevarieerd, onderzocht waarom mensen hun gebaren op elkaar afstemmen. Hieruit bleek dat priming (het zien van de gebaren van een partner vergroot de kans dat je ze herhaalt) een rol speelt. In het proefschrift werd ook onderzocht of afstemming in woorden de afstemming in gebaren stimuleert. Hieruit bleek dat lexicale afstemming dit deels doet, hoewel priming en deze crossmodale invloed samen ongeveer de helft van de waargenomen afstemming niet konden verklaren. Al met al laat dit onderzoek zien dat het afstemmen van gebaren nauw verbonden is met het afstemmen van spraak, maar dat er een bredere verklaring voor nodig is dan priming en grounding alleen kunnen bieden.
Sho Akamine werd in 1995 geboren in Okinawa, Japan. Hij behaalde in 2019 zijn bachelordiploma in Britse en Amerikaanse taal en cultuur aan de Okinawa International University (Dean’s Award) en rondde vervolgens in 2021 zijn master in taalkunde (met onderscheiding) af aan de California State University in Fresno. In 2022 begon hij aan een doctoraat bij de afdeling Multimodale Taal en de afdeling Taalpsychologie van het Max Planck Instituut voor Psycholinguïstiek, dat hij in maart 2026 afrondde. Sho is nu postdoctoraal onderzoeker bij de afdeling Multimodale Taal van het MPI voor Psycholinguïstiek.