| | SLO | ENG | Piškotki in zasebnost

Večja pisava | Manjša pisava
Prva stran > Izpis gradiva

Izpis gradiva Pomoč

Naslov:Metoda za uporabniško vrednotenje in primerjavo tehnik razložljive umetne inteligence : doktorska disertacija
Avtorji:ID Brdnik, Saša (Avtor)
ID Šumak, Boštjan (Mentor) Več o mentorju... Novo okno
Datoteke:.pdf DOK_Brdnik_Sasa_2024.pdf (41,64 MB)
MD5: 4A1956F0D5EFFAA640CE41DBAD2C9F4E
 
Jezik:Slovenski jezik
Vrsta gradiva:Doktorsko delo/naloga
Tipologija:2.08 - Doktorska disertacija
Organizacija:FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Opis:V doktorski disertaciji je obravnavana problematika prepoznave izbire najprimernejše razlagalne tehnike v opazovanem primeru, glede na vključene uporabnike. V literaturi je opazno pomanjkanje validiranih metod vrednotenja za izbiro najprimernejše tehnike, ki bi upoštevale več dimenzij razlag in merile pravilnost mentalnih modelov uporabnikov. Predstavljena metoda je sestavljena iz vrednotenja štirih dimenzij; zadovoljstva z razlago, dojetega zaupanja, mentalnih modelov in subjektivnega mentalnega napora, potrebnega za razumevanje razlag. Metoda je bila razvita iterativno in je bila testirana v dveh empiričnih raziskavah. V prvi empirični raziskavi sta bili vrednoteni dve dimenziji, v drugi vse štiri. Predlagana metoda je bila analizirana z eksploratorno faktorsko analizo dveh vprašalnikov, uporabljenih v bateriji vprašalnikov in z analizo zanesljivosti. Rezultatu druge empirične raziskave, so potrdili, da uporabljena metoda omogoča zanesljivo primerjavo razlagalnih tehnik po posameznih dimenzijah v slovenščini in angleščini. Metoda je bila preizkušena na desetih razlagalnih tehnikah, oblikovanih na slikovnih in številskih vhodnih podatkih. Opravljen je bil sistematični pregled literature z ekstrakcijo najpogostejših razlagalnih tehnik. Uporabniki so bili pri pravi empirični raziskavi najbolj zadovoljni s SHAP lokalno razlagalno tehniko v obliki stolpčnega grafa, sledila ji je globalna razlagalna tehnika v enaki obliki. Tema razlagalnima tehnikama so udeleženci izkazali tudi najvišje zaupanje. V drugi empirični raziskavi so bili uporabniki najbolj zadovoljni z razlagalno tehniko odločitvenega drevesa, pri slikovnih podatkih pa z izpostavitvijo subjekta s kvadratom. Uporabniki so najbolj zaupali razlagalni tehniki odločitvenega drevesa in grafov delne odvisnosti. Naraščanje subjektivne ocene truda, ki ga uporabniki vložijo v razumevanje, je šibko negativno vplivalo na njihovo oceno razumevanja razlage, zadovoljstva z njo, zadostnosti podrobnosti, celotnosti razlage, dojemanja jasnosti navodil za uporabo in uporabnosti razlage za njihove cilje, hkrati pa je pozitivno vplivalo na njihovo strinjanje s tem, da so razlage zavajajoče in zahrbtne. Uporabniki so naloge za preverjanje pravilnosti mentalnih modelov reševali zmerno uspešno, le tretjina je pravilno rešila vse tri zastavljene naloge, manj kot polovica je pravilno rešila dve od treh nalog. Preverjanje pravilnosti mentalnih modelov z retrospektivno nalogo, napovedno nalogo in nalogo prepoznave napak je omogočilo razlikovanje razumevanja uporabnikov med opazovanimi razlagalnimi tehnikami. Disertacija vključuje pet izvirnih znanstvenih prispevkov. Prvi zajema empirično vrednotenje izbranih razlagalnih tehnik z vidika zaupanja uporabnikov in zadovoljstva z razlago. Drugi zajema izgradnjo večdimenzionalne metode uporabniškega vrednotenja za celostno ocenjevanje razlagalnih tehnik. Tretji obsega validacijo dveh obstoječih merilnih instrumentov, uporabljenih v predlagani metodi. Četrti zajema uporabo predlagane metode za empirično vrednotenje razlagalnih tehnik. Peti obsega empirično vrednotenje povezav med značilnostmi uporabnikov in njihovim subjektivnim dojemanjem razlag. V okviru predstavljene doktorske disertacije smo omejili na pridobivanje podatkov z metodo vprašalnika. Empirični raziskavi sta zaradi manjšega vzorca lahko podvrženi kulturnim, starostnim, izobraževalnim in drugim vplivom. Prevod uveljavljenih vprašalnikov lahko vpliva na njihovo validnost in na primerljivost rezultatov v primerjavi z rezultati, pridobljenimi v izvornem jeziku. V predlagani metodi je vrednoteno dojeto zaupanje, ki ni nujno enako izkazanemu. V dimenzije vrednotenja ni vključena učinkovitost uporabnikov. Pri primerjavi razlagalnih tehnik v posameznem primeru se osredotočamo zgolj na opazovane dimenzije in ne na širše cilje razvoja uporabniških vmesnikov in celostnega sistema. Predlagana metoda je bila uporabljena in validirana zgolj na slikovnih in številčnih vhodnih podatkih.
Ključne besede:razložljiva umetna inteligenca, vrednotenje razložljive umetne inteligence, uporabniško vrednotenje, strojno učenje, interpretabilnost
Kraj izida:Maribor
Kraj izvedbe:Maribor
Založnik:[S. Brdnik]
Leto izida:2024
Št. strani:XIX, 154 str.
PID:20.500.12556/DKUM-88305-caa39c7e-321d-3db3-617c-08b24a804002 Novo okno
UDK:004.8:303.442.4(043.3)
COBISS.SI-ID:206403587 Novo okno
Datum objave v DKUM:04.09.2024
Število ogledov:353
Število prenosov:252
Metapodatki:XML DC-XML DC-RDF
Področja:KTFMB - FERI
:
Kopiraj citat
  
Skupna ocena:(0 glasov)
Vaša ocena:Ocenjevanje je dovoljeno samo prijavljenim uporabnikom.
Objavi na:Bookmark and Share



Postavite miškin kazalec na naslov za izpis povzetka. Klik na naslov izpiše podrobnosti ali sproži prenos.

Licence

Licenca:CC BY-ND 4.0, Creative Commons Priznanje avtorstva-Brez predelav 4.0 Mednarodna
Povezava:http://creativecommons.org/licenses/by-nd/4.0/deed.sl
Opis:Licenca Creative Commons Brez predelav dovoljuje uporabnikom ponovno distribucijo dela, vendar ne v spremenjeni obliki. Zahtevana je navedba avtorstva.
Začetek licenciranja:15.04.2024

Sekundarni jezik

Jezik:Angleški jezik
Naslov:A method for user evaluation and comparison of explainable artificial intelligence techniques
Opis:This doctoral dissertation addresses the issue of selecting of the most suitable explainable technique for each use case, based on the users. There is a noticeable lack of validated evaluation methods for choosing the most appropriate technique in the literature, which would address multiple dimensions of explanations and measure the correctness of users' mental models. The presented method consists of evaluating four dimensions: user satisfaction, perceived trust, mental models, and subjective mental effort required for understanding the explanations. The method was developed iteratively and tested in two empirical studies. In the first empirical study, two dimensions were evaluated, while all four were evaluated in the second. The proposed method was analyzed with exploratory factor analysis of two questionnaires used in the questionnaire battery and with reliability analysis. The results of the second empirical study confirmed that the method allows for a reliable comparison of explanatory techniques across individual dimensions in Slovenian and English. It was tested on ten explanatory techniques with image and numerical input data. A systematic literature review was conducted to extract the most common explanatory techniques. In the first empirical study, users were most satisfied with the local SHAP technique in the form of a bar graph, followed by the global explanatory technique in the same form. Participants also showed the highest trust in these explanatory techniques. In the second empirical study, users were most satisfied with the decision tree explanatory technique and for image data, with the subject exposure using a square. Users trusted the decision tree explanatory technique and partial dependence plots the most. Increasing subjective effort ratings invested by users had a weak negative impact on their understanding of the explanation, satisfaction with it, sufficiency of details, completeness of the explanation, perception of clarity of usage instructions, and usability of the explanation for their goals, while positively impacting their agreement that the explanations are misleading and deceptive. Users moderately successfully solved tasks to verify the correctness of mental models, with only a third correctly solving all three tasks and less than half correctly solving two out of three tasks. Verifying the correctness of mental models with retrospective, predictive, and error recognition tasks allowed distinguishing users' understanding between observed explanatory techniques. The dissertation includes five original scientific contributions. The first includes empirical evaluation of selected explanatory techniques from the perspective of user trust and satisfaction. The second includes building a multidimensional user evaluation method for a comprehensive assessment of explanatory techniques. The third includes validation of two existing measurement instruments used in the proposed method. The fourth involves using the proposed method for empirical evaluation of explanatory techniques. The fifth includes empirical evaluation of connections between user characteristics and their subjective perception of explanations. Within this dissertation, data acquisition was limited to the questionnaire method. The empirical studies may be subject to cultural, age-related, educational, and other influences due to the smaller sample size. Translation of established questionnaires may affect their validity and comparability of results compared to results obtained in the original language. Perceived trust was evaluated using the proposed method, which may not necessarily be equal to demonstrated trust. User efficiency is not included in the evaluation dimensions. When comparing explanatory techniques in individual cases, the focus is solely on observed dimensions and not on broader goals of user interface development and system. The proposed method was used and validated only on image and numerical input data.
Ključne besede:explainable artificial intelligence, explainable artificial intelligence evaluation, user evaluation, machine learning, interpretability


Komentarji

Dodaj komentar

Za komentiranje se morate prijaviti.

Komentarji (0)
0 - 0 / 0
 
Ni komentarjev!

Nazaj
Logotipi partnerjev Univerza v Mariboru Univerza v Ljubljani Univerza na Primorskem Univerza v Novi Gorici