20.500.12556/DKUM-95819 Uporaba transformer arhitekture nevronskih mrež za zapolnjevanje manjkajočih vrednosti v časovnih vrstah magistrsko delo Using transformer neural networks for missing value imputation in time series data V magistrskem delu se osredotočamo na problematiko manjkajočih vrednosti, ki pomembno vplivajo na napovedno uspešnost modelov strojnega učenja. V uvodnem delu magistrskega dela smo opisali problem manjkajočih vrednosti in teoretično predstavili osnove strojnega učenja. V eksperimentalnem delu smo razvili lastno arhitekturo za zapolnjevanje manjkajočih vrednosti. Pri razvoju smo se zgledovali po modelih GPT-2 in SAITS. Razvito arhitekturo smo ovrednotili, analizirali in rezultate primerjali z modeli linearne interpolacije, SAITS in KNN. Izkazalo se je, da je linearna interpolacija pri zapolnjevanju manjkajočih vrednosti PM2.5 najuspešnejša, vendar razlike med modeli linearne interpolacije, Transformer in SAITS ne presegajo 0,2 MAE. Glede na napovedno uspešnost se je arhitektura Transformer uvrstila na drugo mesto. Arhitektura KNN je ne glede na postajo ali delež manjkajočih vrednosti dosegla najslabši rezultat. Višje dimenzije vdelav so pri modelih Transformer izboljšale napovedno uspešnost, medtem ko pri modelih SAITS nismo videli podobnega učinka. Prav tako smo ugotovili, da višanje deleža manjkajočih vrednosti negativno vpliva na napovedno uspešnost modelov. In this master’s thesis, we focus on the problem of missing values, which significantly affect the predictive performance of machine learning models. In the introductory part, we described the issue of missing values and provided a theoretical overview of the fundamentals of machine learning. In the experimental part, we developed our own architecture for imputing missing values, drawing inspiration from the GPT-2 and SAITS models. The developed architecture was compared with linear interpolation, SAITS, and KNN models. We evaluated the models and analyzed the results. It turned out that linear interpolation was the most successful method for imputing missing PM2.5 values. The results show that the differences between linear interpolation, Transformer, and SAITS do not exceed 0.2 MAE. Based on predictive performance, the Transformer architecture ranked second. Regardless of the station or the proportion of missing values, the KNN architecture achieved the worst results. We found that increasing the proportion of missing values negatively impacts the predictive performance of models. Larger input projection dimensions improved the predictive performance of Transformer models, while for SAITS models, we did not observe a similar effect. arhitektura Transformer nevronske mreže zapolnjevanje manjkajočih vrednosti SAITS strojno učenje. Transformer architecture neural networks missing value imputation SAITS machine learning. true true false [B. Petelinek] Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-10-25 18:41:06 2025-12-16 08:45:25 2025-12-23 03:18:28 0000-00-00 00:00:00 2025 0 Maribor 0 Maribor 1 spletni vir (1 datoteka PDF (XI, 61 str.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.032.26:004.85(043.2) 262467331 MAG_Petelinek_Benjamin_2025.pdf MAG_Petelinek_Benjamin_2025.pdf 1 533B25968C4A141CF7284AAC587FA4BE 61c051e1ffd2c885c910ebaaf67e344a880aafe13eb0e1b65be1944f0d52ca36 2475b4c8-b1c2-11f0-b0e0-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=200196 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0