| Abstract: | V disertaciji je glavni izziv razvoj novih modelov za generiranje naravnejših in ekspresivnejših koverbalnih gest za pogovorne agente s telesom (angl. Embodied Conversational Agents, ECAs) skozi kredibilne, robustne in hitre evalvacijske pristope. Tako se osredotočimo na razvoj novih robustnejših objektivnih metod ocenjevanja in na zasnovo globokih modelov za krmiljeno generiranje gest (angl. controllable gesture generaiton). V praksi se ocenjevanje kakovosti generiranih gest še vedno pretežno opira na subjektivne študije, ki so lahko kredibilne, a zelo drage, časovno zahtevne, težko ponovljive in neprimerne za hitrejši razvoj modelov skozi iteracije učenja. Osrednji cilj disertacije smo tako usmerili v iskanje novih objektivnih evalvacijskih metrik, ki bi bile v čim večji korelaciji s kredibilnimi subjektivnimi ocenami, in jih je tako mogoče neposredno uporabiti tudi pri razvoju novih globokih modelov.
V osrednjem metodološkem delu disertacije se ukvarjamo tako z vprašanjem, kako znotraj evalvacijskih metrik, zasnovanih na podobnosti (anlg. similarity-based metrics), razviti boljšo objektivno evalvacijsko metodo na osnovi metod izločanja značilk (angl. feature extractors) in različnih mer razdalj (angl. distance measures). Posebej se osredotočimo na to, kako različni pristopi izločanja značilk z nevronskimi mrežami, in tudi taki pristopi, pri katerih se značilke izločajo ročno (angl. hand-crafted), vplivajo na korelacijsko odvisnost s subjektivnimi ocenami. V eksperimentu 1 tako najprej izvedemo obširno validacijo sodobnih objektivnih metod ocenjevanja na podatkih subjektivnih študij ocenjevanja v GENEA 2022–2023¬ in nato sistematično vrednotimo 56 različnih kombinacij metod izločanja značilk in mer razdalj. Rezultati eksperimenta pokažejo, da sodobne objektivne metode dosežejo samo zmerne korelacijske vrednosti v primeru ocenjevanja naravnosti in še nižje vrednosti pri ocenjevanju primernosti gest na danem govoru. Med predlaganimi pristopi največjo korelacijo s subjektivnimi študijami pokaže uporaba metode izločanja značilk, ki temelji na konvolucijski nevronski mreži (CNN), učeni na nalogi sinhronizacijske klasifikacije govor–gesta, ter z uporabo Fréchetove mere razdalje. Ta pristop doseže Kendall-Tau korelacijo, od 0,809 v korelaciji s subjektivnimi študijami za naravnost gest. Z eksperimentom tudi potrdimo uporabnost ročno zasnovanih pristopov za objektivno evalvacijo: metrika Kinetic–Hellinger s korelacijo 0,59 tako pokaže, da so preprostejše in transparentne značilke lahko uporabne zlasti v primerih, ko ponovljivo učenje nevronskih pristopov izločanja značilk ni izvedljivo. Ključna ugotovitev pri tem je, da izbira pristopa izločanja značilk in mere razdalje močno vplivajo na korelacijo s subjektivnimi študijami ter da so nevronski pristopi izločanja značilk uspešnejši, zlasti pri evalvaciji primernosti gest glede na govor.
Disertacija prispeva več ključnih izvirnih prispevkov: (i) preverjene in zanesljive prakse objektivnega vrednotenja z jasno empirično povezavo s kredibilnimi subjektivnimi študijami, (ii) metodologijo za sistematično izbiro izločanja značilk in mer razdalje, (iii) uporaba validirane metrike Kinetic-Hellinger v razvojni proces EDD, pri čemer se pokaže učinkovitost metodologije pri zasnovi naprednega modela Transformer za krmiljeno generiranje gest.
V širšem znanstvenem pogledu tako disertacija dokazuje, da je z natančno izbranimi značilkami in premišljeno izbiro mer razdalje mogoče zagotoviti bistveno višjo ujemanje s subjektivni študijami, hkrati pa pridobimo jasna, ponovljiva in transparentna orodja za sistematično razvijanje novih globokih modelov. To tudi odpira pot k standardizaciji postopkov vrednotenja na področju generiranja gest in k širši uporabi pogovornih agentov s telesom v izobraževanju, zdravstvu, socialni robotiki in drugih interaktivnih okoljih, v katerih sta naravnost in ekspresivnost neverbalne komunikacije ključni za k učinkovitost interakcije med človekom in strojem. |
|---|
