| | SLO | ENG | Cookies and privacy

Bigger font | Smaller font

Show document Help

Title:Advanced user experience analysis in digital products using artificial intelligence sentiment analysis techniques : master's thesis
Authors:ID Dunoska, Emilija (Author)
ID Šumak, Boštjan (Mentor) More about this mentor... New window
ID Brdnik, Saša (Comentor)
Files:.pdf MAG_Dunoska_Emilija_2026.pdf (3,86 MB)
MD5: 09EE1E3A9A34423C49E480DD14C690CD
 
Language:English
Work type:Master's thesis/paper
Typology:2.09 - Master's Thesis
Organization:FERI - Faculty of Electrical Engineering and Computer Science
Abstract:Artificial intelligence is increasingly being used for the detection of users' emotions, yet limited evidence exists comparing AI-based methods with established self-report measures. This master's thesis addresses this gap by examining the performance of video-based and text-based sentiment analysis methods against a validated self-report measure of affect. A controlled experiment was conducted with 27 students completing tasks on two digital platforms, during which facial expressions and written reflections were collected. Alignment with self-reports was observed for the text-based method in nearly three-quarters of cases, while positive experiences were consistently misclassified as negative by the video-based tool, suggesting that a more trustworthy overview of users’ emotional experience is currently provided by textual analysis. Multimodal approaches combining multiple input data sources are recommended for reliable evaluation of user experience in digital products.
Keywords:user experience, sentiment analysis, facial expression recognition, self-reported affect, digital products
Place of publishing:Maribor
Place of performance:Maribor
Publisher:[E. Dunoska]
Year of publishing:2026
Number of pages:1 spletni vir (1 datoteka PDF (XIII, 76 str.))
PID:20.500.12556/DKUM-98475 New window
UDC:159.942:004.8(043.2)
COBISS.SI-ID:283555843 New window
Publication date in DKUM:29.06.2026
Views:275
Downloads:49
Metadata:XML DC-XML DC-RDF
Categories:KTFMB - FERI
:
Copy citation
  
Average score:(0 votes)
Your score:Voting is allowed only for logged in users.
Share:Bookmark and Share



Hover the mouse pointer over a document title to show the abstract or click on the title to get all document metadata.

Licences

License:CC BY-NC-ND 4.0, Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International
Link:http://creativecommons.org/licenses/by-nc-nd/4.0/
Description:The most restrictive Creative Commons license. This only allows people to download and share the work for no commercial gain and for no other purposes.
Licensing start date:16.06.2026

Secondary language

Language:Slovenian
Title:Napredna analiza uporabniške izkušnje digitalnih produktov s pomočjo tehnik umetne inteligence za analizo sentimenta
Abstract:Umetna inteligenca se vse pogosteje uporablja za zaznavanje čustev uporabnikov, vendar je zelo malo raziskav, ki bi primerjale metode, ki temeljijo na umetni inteligenci, z ustaljenim samoporočanjem in merjenjem afekta. V magistrski nalogi zapolnjujemo to vrzel s preučevanjem uspešnosti metod video in besedilne analize sentimenta v primerjavi z validiranim samoporočanjem in merjenjem afekta. Teoretično ozadje zajema pregled uporabniške izkušnje in njenih razsežnosti, vključno s kognitivnimi, vedenjskimi in čustvenimi vidiki interakcije človek - računalnik. Obravnavane so metode vrednotenja UX, od hevrističnega vrednotenja in standardiziranih vprašalnikov do sledenja pogledu in spletnih metrik, ter njihove omejitve pri zajemanju čustev v naravnih kontekstih. Predstavljeno je tudi področje analize sentimenta, vključno z besedilnimi pristopi na osnovi leksikonov in strojnega učenja ter video pristopi na osnovi prepoznavanja obraznih izrazov. Poudarjeni so izzivi obeh modalnosti: konceptualna dvoumnost čustev, validacija rezultatov, pristranskosti modelov ter težave pri zajemanju čustev v realnih interakcijah. V sistematičnem pregledu literature smo preučili 33 študij (2015–2025) iz podatkovnih zbirk IEEE Xplore, ScienceDirect in Web of Science. Rezultati kažejo, da so najpogostejši vhodni viri besedilni podatki in obrazna mimika, da globoko učenje in vnaprej naučeni jezikovni modeli pridobivajo na pomenu ter da večina študij ne primerja neposredno avtomatiziranih metod z meritvami samoporočanja. To je predstavljalo ključno vrzel, ki smo jo naslovili z eksperimentalnim delom. Eksperiment je vključeval 27 študentov programa Informatika in podatkovne tehnologije na Univerzi v Mariboru, Fakulteti za elektrotehniko, računalništvo in informatiko, dne 9. junija 2025. Udeleženci so izvajali naloge na TripAdvisorju in Amazonu. Sočasno smo zajemali obrazno mimiko prek spletne kamere in pisne refleksije na šest odprtih vprašanj po vsaki nalogi. Kot referenčno merilo je bil uporabljen vprašalnik PANAS. Za video analizo smo uporabili Imentiv AI (prepoznavanje obraznih izrazov, osem čustvenih kategorij), za besedilo pa VADER (leksikonska analiza sentimenta, pozitivno/negativno/nevtralno, normaliziran rezultat). Rezultati kažejo dosleden vzorec. VADER se je ujemal s PANAS v 74,07 % (TripAdvisor) in 76,92 % (Amazon), Imentiv AI pa v 36,0 % in 29,17 %. McNemarjev test je pokazal statistično značilno razliko med metodama, kar potrjuje hipotezo H1. VADER je pokazal zmerno pozitivno korelacijo z neto afektom PANAS pri obeh nalogah, Imentiv AI pa ni pokazal statistično značilne korelacije. Steigerjev test Z ni pokazal značilne razlike med korelacijama, zato H2 ni potrjena. Besedilna metoda je dosegla višjo skladnost s samoporočanjem. Ujemanje med Imentiv AI in VADER je bilo zelo nizko (Cohenov kappa 0,003 in −0,13), kar kaže na sistematično neujemanje. H3 je zavrnjena. Posebej izstopa negativna pristranskost Imentiv AI, ki je 88 % udeležencev razvrstil kot negativne, čeprav je PANAS pokazal pozitiven afekt pri 77,8 % (TripAdvisor) in 73,1 % (Amazon). Ta vzorec kaže na sistematično lastnost orodja in ne na vsebino nalog. K temu prispevata tudi način združevanja kategorij in omejitve modelov pri prepoznavanju subtilnih izrazov v naravnih interakcijah. Na podlagi ugotovitev je besedilna analiza sentimenta iz odprtih vprašanj po nalogi bolj zanesljiva in dostopna kot trenutna video analiza obraznih izrazov. Priporočeni so multimodalni pristopi, ki združujejo samoporočanje, besedilno analizo in previdno interpretirane podatke obraznih izrazov. Prihodnje raziskave naj razširijo vzorec, povečajo demografsko raznolikost, primerjajo dodatna orodja in razvijajo multimodalne okvire za boljše zajemanje čustev v naravnih kontekstih.
Keywords:uporabniška izkušnja, analiza sentimenta, prepoznavanje obraznih izrazov, samoporočana čustva, digitalni izdelki


Comments

Leave comment

You must log in to leave a comment.

Comments (0)
0 - 0 / 0
 
There are no comments!

Back
Logos of partners University of Maribor University of Ljubljana University of Primorska University of Nova Gorica