20.500.12556/DKUM-91709 Učenje redkih nevronskih mrež z iterativnim rezanjem parametrov Sparse neural network learning with iterative parameter removal Moderno globoko učenje pogosto vključuje nevronske mreže, ki imajo nepotrebno veliko število parametrov oziroma povezav. Posledica tega je višja časovna in prostorska zahtevnost pri delu z mrežami. Možna rešitev problema je hipoteza loterijskih srečk, ki pravi, da v množici povezav vsake naprej povezane nevronske mreže obstaja podmnožica, ki je manjša in ohranja enako in v nekaterih primerih tudi večjo uspešnost. Imenujemo jo zmagovita srečka. V magistrskem delu je predstavljena in dokazana hipoteza loterijske srečke ter implementiran lasten algoritem za iterativno rezanje parametrov, ki je bil testiran in analiziran na različnih arhitekturah, podatkovnih zbirkah in hiperparametrih. Modern deep learning often involves neural networks that have an unnecessarily large number of parameters or connections. This results in a higher time and space complexity when working with networks. A possible solution to the problem is the lottery ticket hypothesis, which states that in a set of connections of any feedforward neural network there is a subset that is smaller and maintains the same and, in some cases, even higher effectiveness. We call them winning tickets. In the content of this work, we will present and prove the lottery ticket hypothesis, implement our own algorithm for iterative pruning of parameters and test and analyze it on various architectures, datasets and hyperparameters. strojno učenje redka nevronska mreža hipoteza loterijskih srečk rezanje machine learning sparse neural network lottery ticket hypothesis pruning true true false [N. Podvratnik] Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-01-29 15:17:39 2025-03-04 10:29:00 2025-03-19 12:05:49 0000-00-00 00:00:00 2025 0 Maribor 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.85:004.032.26(043.2) 229524227 MAG_Podvratnik_Nejc_2025.pdf MAG_Podvratnik_Nejc_2025.pdf 1 95912F2F4AD466C3AC0EE9DF8A2A6F54 8d04f272ef1670915b968d21cd56a186e2a33a2b3f84856dfa5f31ee611cfe79 e3544d35-de52-11ef-9dfa-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=188291 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0