20.500.12556/DKUM-43838 EKSPRESIVNI MODEL GENERIRANJA POGOVORNEGA OBNAŠANJA V MULTIMODALNIH UPORABNIŠKIH VMESNIKIH An expressive conversational-behavior generation model for advanced interaction within multimodal user interfaces Doktorska disertacija obravnava problematiko načrtovanja, oblikovanja in samodejnega generiranja koverbalnega obnašanja na poljubnem besedilu, ki je hkrati tudi sinhrono z generiranim govornim signalom. Cilj predstavljene disertacije je oblikovati in zasnovati fleksibilen in učinkovit sistem, ki glede na poljubno vhodno besedilo, semiotično slovnico, leksikon in slovar oblik načrtuje, oblikuje in realizira premike delov telesa (roke, dlani, prsti, glava in ustnice), ki so tako pomensko kot prozodično ustrezno sinhronizirani s spremljajočim govorom. Takšnemu obnašanju pravimo koverbalno obnašanje (oz. pogovorno obnašanje) in ga lahko uporabljamo v multimodalnih vmesnikih različnih sistemov in domen uporabe. Večina današnjih sistemov s pogovornimi agenti, ki pogovorno obnašanje predstavljajo v obliki koverbalnih gibov, temelji na semantičnem in/ali sintaktičnem povezovanju besedila in pogovornega obnašanja, načrtovanju obnašanja s stališča funkcionalnega namena ali sinhronizaciji in realizaciji pogovornega obnašanja, opisanega v obliki proceduralnega opisa. Pogosto arhitekture sistemov, ki integrirajo pogovorne agente, uporabljajo tristopenjsko definicijo pogovornega obnašanja, in sicer: načrtovanje namena, načrtovanje obnašanja in realizacijo obnašanja. Ključni problem samodejnega generiranja naravnega koverbalnega obnašanja predstavljata predvsem naslednji stopnji: načrtovanje namena in načrtovanje obnašanja. V pogovornem obnašanju slovnice ni mogoče definirati kot skupek uniformnih pravil. Posledično torej ni moč definirati končne množice pravil, po katerih bi obnašanje in namen lahko deterministično načrtovali. Vendar pa različne analize in označevanje pogovornega obnašanja kažejo na visoko semantično korelacijo koverbalnega obnašanja in govora ter na njuno prozodično skladnost. Vendar je semantični prostor ogromen in ga v celoti praktično ni mogoče opisati. Zaradi tega problem pogovornega obnašanja največkrat delimo na podprobleme, kot sta funkcionalnost koverbalnosti ali parametrizacija semantičnega prostora. Tako dobimo manjše in bolj obvladljive podprostore, v katerih lažje definiramo semantične relacije med koverbalnim in verbalnim obnašanjem. V obravnavani doktorski disertaciji proces tvorjenja pogovornega obnašanja predstavimo v obliki gest kot povezave kontekstno neodvisnih motoričnih sposobnosti (oblik, poz in gibov, ki jih pogovorni agent lahko prikaže) ter namena (konteksta) uporabe motoričnih sposobnosti. Namen besedila in posledično spremljajočega koverbalnega obnašanja definiramo na osnovi modularnih jezikovno odvisnih slovnic, ki temeljijo na razčlenjevanju in klasifikaciji besedila v semiotične razrede. V tej točki poleg obstoječih raziskav s področja povezave semiotičnih razredov in govora oblikujemo in definiramo novo označevalno shemo, ki vključuje tako funkcionalni, kontekstno odvisni nivo povezave govora in gest kot kontekstno neodvisen opisni nivo, ki omogoča zajemanje poz in oblik na visoki ločljivosti, in lastni multimodalni korpus pogovornega obnašanja, korpus EVA. Rezultate analize in označevanj uporabimo za tvorjenje semiotične slovnice, slovarja oblik in leksikona gest. Predlagani model ekspresivnega pogovornega obnašanja formulira različne koverbalne oblike (geste) na neoznačenem poljubnem besedilu. Predlagani model temelji na analizi in opisovanju spontanega pogovornega dialoga v obliki ekspresivne anotacijske sheme (združuje in povezuje tako funkcionalno kot oblikovno anotacijo) in vsebuje dovolj bogat slovar kontekstno neodvisnih oblik in gibov, s katerimi lahko predstavimo kompleksne motorične sposobnosti agenta in zmožnost prilagoditve gibov različnim kontekstom uporabe (slovnicam) ter imitacije emocionalnih stanj in emocionalnega govora. The presented thesis deals with the problems of planning, design, and automatic generation of coverbal behavior, in relation to general input text, which is aligned with synthesized speech. The aim of the thesis is to develop and design a flexible and efficient system which is (with respect to an arbitrary input text, semiotic grammar, lexicon and dictionary of conversational shapes), capable of planning, generating and realizing conversational behavior in form of movement of body parts (hands, arms, fingers, head and lips) that are both meaningfully, and in terms of prosody synchronized with accompanying speech. This type of behavior is then called co-verbal behavior, and can be used in multimodal interfaces for different systems. The key problem, when automatically generating natural co-verbal behavior from arbitrary text, arises mostly from the intent planning, and behavior planning stages. Namely, the conversational behavior does not comply with an underlying uniform grammar, therefore, a finite set of rules for deterministic planning of the behavior and purpose does not exists. However, several studies and annotations show that a high semantic correlation of co-verbal behavior and speech is present, together with essential prosodic coherence. However, the semantic space in which gestures must be coupled with different intents is enormous and virtually impossible to be described. Therefore, the intent planning and behavior planning are often divided into sub-problems, where behavior generation is based on communicative functions (e.g. feed-back). The generation of gestures is based on speech prosody and limited semantic grammar (gesticon), or the semiotic parameterization of semantic space (e.g. generation of iconic outlines, generation of deictic signals). These approaches define smaller and far more manageable sub-sets, in which the specific semantic/synthetic and prosodic relationships between co-verbal and speech behavior are easily found. The proposed expressive conversational behavior generation model formulates various forms of coverbal behavior (gestures) with respect to arbitrary and un-annotated text. It is based on the analysis and annotation of spontaneous dialog dialogue and contains rich context-independent shape and movement repository, which can represent complex motor skills, the ability to adjust the agent movement to different contexts of use (grammar), and to imitate emotional states and emotional speech. The ability to re-use those shapes and movements, maintained within the dictionary and the reduction of the semantic dependency into semiotic classes that depend on morphology, allows for the conversational agent to express a wide range of communicative concepts (such as: diversity, motivation, relevance, relation to theme, etc.). The use of these agents can be extended in a variety of contexts within multimodal interfaces, such as: web readers, including RSS content, storytellers, intelligent virtual managers, IPTV environments, virtual companions, listeners and therapists, etc. The conducted perception experiments show that by using the proposed expressive conversational behavior generation model adequate degree of naturalness maybe achieved. pogovorno obnašanje koverbalno obnašanje neverbalno obnašanje analiza komunikativnih dialogov označevanje in označevalne sheme pogovorni agenti podatkovno vodeni sistemi neverbalnega obnašanja tekstovno vodeni sistemi neverbalnega obnašanja semiotika ekspresivnost communicative behavior co-verbal behavior annotation of communicative dialogs annotation schemas embodied conversational agents data driven non-verbal behavior generation text-driven non-verbal behavior generation semiotics expressivity true true false I. Mlakar Slovenski jezik Angleški jezik Doktorska disertacija 2014-03-13 08:37:53 2014-03-14 07:45:39 2022-05-11 03:09:25 2021-04-30 03:17:14 2014 0 [Maribor 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.512:004.925.84(043.3) 272872704 URN:SI:UM:DK:GEDPRIW1 DR_Mlakar_Izidor_2014.pdf DR_Mlakar_Izidor_2014.pdf 1 206571A9CA2D6BCE3E5664603145C837 db53a1c6472ec2b632f0f6ac30e488437e42bffc5a62e5be0db0f3b39265b613 b9e96c96-7c0a-11eb-bb7a-00155d0001ca https://dk.um.si/Dokument.php?lang=slv&id=62615 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0