20.500.12556/DKUM-88491 Federativno učenje z nevronskimi mrežami magistrsko delo Federated learning with neural networks V magistrskem delu raziščemo postopek učenja nevronskih mrež in predstavimo idejo federativnega učenja, ki omogoči sodelovanje več naprav pri učenju enega modela nevronske mreže brez izmenjave učnih primerov. Glavna prednost federativnega učenja je, da naprava svojih lokalnih podatkov ne deli z ostalimi napravami, zato ostanejo zasebni. Preučili smo algoritme federativnega učenja FedSGD, FedAvg, FedProx, SCAFFOLD, FedVARP, ClusterFedVARP in FedRolex, ki na različne načine rešujejo izzive takšnega načina učenja. Prav tako predstavimo novo rešitev, ki komplementarno združi nekatere naštete algoritme tako, da se lahko v nekaterih primerih ob istih pogojih učenje izvaja učinkoviteje. Učinkovitost učenja smo testirali na klasifikacijskem problemu razpoznave ročno napisanih števil podatkovne zbirke MNIST ter problemu napovedovanja naslednje črke v stavku, kjer smo učne primere generirali s pomočjo literarnih del Williama Shakespeara. Izvedli smo analizo vpliva različnih parametrov algoritmov na učenje nevronskih mrež in primerjali vpliv neenakomerne porazdelitve podatkov na hitrost konvergence posameznih algoritmov na različnih podatkovnih zbirkah. Implementirali smo simulator federativnega učenja z uporabniškim vmesnikom, preko katerega lahko uporabnik ureja parametre učnih algoritmov in odjemalcev ter izvaja učenje in testiranje različnih modelov v ločenih nitih. In this master thesis we explore the process of training neural networks and present the concept of federated learning. Federated learning allows multiple edge devices to collaborate on training a single neural network without the need to exchange training examples. Each device retains its own data, keeping it secure and private. We examine several federated learning algorithms, including FedSGD, FedAvg, FedProx, SCAFFOLD, FedVARP, ClusterFedVARP and FedRolex, each addressing different challenges of this learning approach. Additionally, we present a new solution that combines some of these algorithms in a complementary manner, improving learning efficiency under certain conditions. To assess the effectiveness of this learning approach, we conducted experiments on two tasks: classifying handwritten digits from the MNIST dataset and predicting the next character in a sentence, for which training examples were generated using the literary works of William Shakespeare. We analyzed how different algorithm parameters affect neural network learning and compared how uneven data distribution impacts the convergence speed of individual algorithms. We implemented a federated learning simulator with a graphical user interface, through which the user can adjust the parameters of learning algorithms and clients, and conduct training and testing of various models in separate threads. nevronske mreže federativno učenje klasifikacija MNIST stohastični gradientni spust neural networks federated learning classification MNIST stochastic gradient descent true true false [J. Čugalj] Slovenski jezik Angleški jezik Magistrsko delo/naloga 2024-05-06 19:11:21 2024-07-01 12:17:58 2024-08-31 03:50:43 0000-00-00 00:00:00 2024 0 Maribor 0 Maribor 1 spletni vir (1 datoteka PDF (XI, 90 f.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.85:004.032.26(043.2) 205879811 MAG_Cugalj_Jaka_2024.pdf MAG_Cugalj_Jaka_2024.pdf 1 A5200269D2B0B4D5A21C689B601E4B07 631cb298e7f919d66ad4a540f8baa74a131b381ef78892ee91244e7de7f8331e 8249385f-0bce-11ef-a23c-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=179040 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0