Uitleg SMASH model
Uitleg SMASH model

SMASH

Synthese en multimodaal analysesysteem voor sociale wetenschappen
Tijdsduur
7 december 2024 tot 7 december 2025
Projecttype
Onderzoek

Dit project is gericht op de ontwikkeling van software genaamd SMASH - een volledig open-source hulpmiddel dat ons helpt de samenstelling van non-verbale communicatieaspecten, zoals lichaamstaal, gezichtsuitdrukkingen en de melodische aspecten van spraak beter te begrijpen. Het zal een reeds ontwikkelde maskeringstool die audiovisuele gegevens maskeert om de privacy van mensen te beschermen, combineren met analysemodules die informatie geven over hoe sprekers communiceerden naast de woorden die ze uitspraken, en zo dienen als een algemeen hulpmiddel voor data-archivering en gedragsanalyse van audiovisuele data in de sociale en menswetenschappen.

SMASH zou audiovisuele opnames van (een) communicerend(e) individu(en) als invoer nemen en een samenvatting van hun multimodale communicatiekenmerken als uitvoer. Het toont bijvoorbeeld het aantal en de diversiteit van handgebaren, veranderingen in lichaamshouding en gezichtsuitdrukkingen die relevant zijn voor de communicatiecontext, en hoe stemtoon verandert met andere gebaren. Het zou ook verschillende lastige momenten kunnen vastleggen, zoals pauzes en opvullingen in spraak en samenvatten wat er besproken wordt met behulp van automatische spraaktranscriptie en semantische analyses. Door deze dimensies - lichaamstaal, gezichtsuitdrukkingen, stem en inhoud - op een begrijpelijke manier te integreren, maakt SMASH een gedetailleerd uitgezoomd beeld mogelijk van het volledige scala aan communicatievormen. SMASH zal ook standaard basislijnen bieden op basis van reeds geanalyseerde sprekerdatabases. Op deze manier kunnen gebruikers van SMASH concluderen dat een spreker "meer gebaart in vergelijking met een database van Nederlandse sprekers" of "meer variatie in zijn toon gebruikte, zelfs in vergelijking met een database van hooggewaardeerde sprekers". De tool zou ook opties bieden voor het exporteren van gegevens voor analyse op maat. We streven ernaar om van SMASH een veelzijdig en gebruiksvriendelijk hulpmiddel te maken voor gebruikers zonder programmeerervaring. Door de eerste tests en aanpassingen door sociale wetenschappers willen we dat SMASH een onmisbaar hulpmiddel wordt in onderzoeks- en klinische contexten.

Financiering

Babajide Owoyele, Gerard de Melo en Wim Pouw hebben deze beurs gedrielijk verkregen. Het gaat om een team project waarbij Wim Pouw hoofdaanvrager is vanwege NWO richtlijnen.

Contactinformatie

Contactpersoon