Uporaba transformer arhitekture nevronskih mrež za zapolnjevanje manjkajočih vrednosti v časovnih vrstah : magistrsko delo

Petelinek, Benjamin

| | SLO | ENG | Piškotki in zasebnost

Večja pisava | Manjša pisava

Prva stran > Izpis gradiva

Izpis gradiva

Naslov:	Uporaba transformer arhitekture nevronskih mrež za zapolnjevanje manjkajočih vrednosti v časovnih vrstah : magistrsko delo
Avtorji:	ID Petelinek, Benjamin (Avtor) ID Vrbančič, Grega (Mentor) Več o mentorju...
Datoteke:	MAG_Petelinek_Benjamin_2025.pdf (2,27 MB) MD5: 533B25968C4A141CF7284AAC587FA4BE
Jezik:	Slovenski jezik
Vrsta gradiva:	Magistrsko delo/naloga
Tipologija:	2.09 - Magistrsko delo
Organizacija:	FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Opis:	V magistrskem delu se osredotočamo na problematiko manjkajočih vrednosti, ki pomembno vplivajo na napovedno uspešnost modelov strojnega učenja. V uvodnem delu magistrskega dela smo opisali problem manjkajočih vrednosti in teoretično predstavili osnove strojnega učenja. V eksperimentalnem delu smo razvili lastno arhitekturo za zapolnjevanje manjkajočih vrednosti. Pri razvoju smo se zgledovali po modelih GPT-2 in SAITS. Razvito arhitekturo smo ovrednotili, analizirali in rezultate primerjali z modeli linearne interpolacije, SAITS in KNN. Izkazalo se je, da je linearna interpolacija pri zapolnjevanju manjkajočih vrednosti PM2.5 najuspešnejša, vendar razlike med modeli linearne interpolacije, Transformer in SAITS ne presegajo 0,2 MAE. Glede na napovedno uspešnost se je arhitektura Transformer uvrstila na drugo mesto. Arhitektura KNN je ne glede na postajo ali delež manjkajočih vrednosti dosegla najslabši rezultat. Višje dimenzije vdelav so pri modelih Transformer izboljšale napovedno uspešnost, medtem ko pri modelih SAITS nismo videli podobnega učinka. Prav tako smo ugotovili, da višanje deleža manjkajočih vrednosti negativno vpliva na napovedno uspešnost modelov.
Ključne besede:	arhitektura Transformer, nevronske mreže, zapolnjevanje manjkajočih vrednosti, SAITS, strojno učenje.
Kraj izida:	Maribor
Kraj izvedbe:	Maribor
Založnik:	[B. Petelinek]
Leto izida:	2025
Št. strani:	1 spletni vir (1 datoteka PDF (XI, 61 str.))
PID:	20.500.12556/DKUM-95819
UDK:	004.032.26:004.85(043.2)
COBISS.SI-ID:	262467331
Datum objave v DKUM:	16.12.2025
Število ogledov:	142
Število prenosov:	28
Metapodatki:
Področja:	KTFMB - FERI
:	Kopiraj citat

Skupna ocena:	(0 glasov)
Vaša ocena:	Ocenjevanje je dovoljeno samo prijavljenim uporabnikom.
Objavi na:

Postavite miškin kazalec na naslov za izpis povzetka. Klik na naslov izpiše podrobnosti ali sproži prenos.

Licence

Licenca:	CC BY 4.0, Creative Commons Priznanje avtorstva 4.0 Mednarodna

Povezava:	http://creativecommons.org/licenses/by/4.0/deed.sl
Opis:	To je standardna licenca Creative Commons, ki daje uporabnikom največ možnosti za nadaljnjo uporabo dela, pri čemer morajo navesti avtorja.
Začetek licenciranja:	25.10.2025

Sekundarni jezik

Jezik:	Angleški jezik
Naslov:	Using transformer neural networks for missing value imputation in time series data
Opis:	In this master’s thesis, we focus on the problem of missing values, which significantly affect the predictive performance of machine learning models. In the introductory part, we described the issue of missing values and provided a theoretical overview of the fundamentals of machine learning. In the experimental part, we developed our own architecture for imputing missing values, drawing inspiration from the GPT-2 and SAITS models. The developed architecture was compared with linear interpolation, SAITS, and KNN models. We evaluated the models and analyzed the results. It turned out that linear interpolation was the most successful method for imputing missing PM2.5 values. The results show that the differences between linear interpolation, Transformer, and SAITS do not exceed 0.2 MAE. Based on predictive performance, the Transformer architecture ranked second. Regardless of the station or the proportion of missing values, the KNN architecture achieved the worst results. We found that increasing the proportion of missing values negatively impacts the predictive performance of models. Larger input projection dimensions improved the predictive performance of Transformer models, while for SAITS models, we did not observe a similar effect.
Ključne besede:	Transformer architecture, neural networks, missing value imputation, SAITS, machine learning.

Komentarji

Dodaj komentar

Za komentiranje se morate prijaviti.

Komentarji (0)

0 - 0 / 0

Ni komentarjev!

Nazaj