Forskningsprojekt Samtalets prosodi
Syftet med projektet var att fördjupa kunskapen om de prosodiska fenomen som är specifika för samtal. Detta är ett led i ett större arbete vars mål är att skapa en artificiell samtalspartner.
Äldre talsyntes låter inte som om den deltar i ett samtal, och dagens talteknologi är bristfällig när det kommer till att tolka mänskligt samtalsbeteende. Syftet med detta projekt var därför att fördjupa kunskapen om de prosodiska fenomen som är specifika för samtal och som har en interaktionell funktion, med det långsiktiga målet att kunna bidra till skapandet av en arificiell samtalspartner.
Projektbeskrivning
Huvudspåret inom projektet handlade om att undersöka och modellera rytmiska mönster och intonationsmönster i samband med turtagning och verbal återkoppling i olika svensk- och engelskspråkiga taldatabaser. Projektet har även arbetat med att verifiera effekter av observerade prosodiska egenskaper genom olika lyssnings- och
produktionstester, samt genom generering av interaktivt beteende i människa-robot interaktion.
Tre viktiga resultat
De tre viktigaste resultaten inom projektet kan föras in under följande punkter:
- Kvantitativa beskrivningar av samtalets prosodi
Det handlar om tajming av återkopplingsljud, ’backchannels’, i förhållande till samtalspartens tal, prosodiska mönster som inbjuder till återkopplingsljud, hur ofta det finns möjlighet att yttra dem, prosodisk realisering av återkopplingssignaler och hur dessa yttranden är anpassade till samtalspartens prosodi. - Stokastiska modeller av turtagning i interaktion utifrån prosodiska egenskaper, exempelvis tal, tystnader, överlapp, talhastighetsförändringar, intonationsmönster, ljudstyrkemönster som ger ramverket för en artificiell talare att förstå och producera mer människolikt samtalsbeteende
- Implementering av prosodiskt beteende i en fysisk realisering av en avatar för verifiering av effekter av samtalsspecifika prosodiska egenskaper.
Dessa tre punkter bidrar tillsammans till att forskningen tar ett stort steg framåt mot det långsiktiga målet att skapa en artificiell samtalspartner som låter och beter sig som om den deltar i ett samtal.
Projektmedlemmar
Projektansvariga
Mattias Heldner
Professor
Medlemmar
Kornel Laskowski
Lärare
Anna Hjalmarsson
Forskare
Publikationer
Publikationslista