Federativno učenje z nevronskimi mrežamiČugalj, Jaka (Avtor) Strnad, Damjan (Mentor) Žalik, Mitja (Komentor) nevronske mrežefederativno učenjeklasifikacijaMNISTstohastični gradientni spustV magistrskem delu raziščemo postopek učenja nevronskih mrež in predstavimo idejo federativnega učenja, ki omogoči sodelovanje več naprav pri učenju enega modela nevronske mreže brez izmenjave učnih primerov. Glavna prednost federativnega učenja je, da naprava svojih lokalnih podatkov ne deli z ostalimi napravami, zato ostanejo zasebni. Preučili smo algoritme federativnega učenja FedSGD, FedAvg, FedProx, SCAFFOLD, FedVARP, ClusterFedVARP in FedRolex, ki na različne načine rešujejo izzive takšnega načina učenja. Prav tako predstavimo novo rešitev, ki komplementarno združi nekatere naštete algoritme tako, da se lahko v nekaterih primerih ob istih pogojih učenje izvaja učinkoviteje. Učinkovitost učenja smo testirali na klasifikacijskem problemu razpoznave ročno napisanih števil podatkovne zbirke MNIST ter problemu napovedovanja naslednje črke v stavku, kjer smo učne primere generirali s pomočjo literarnih del Williama Shakespeara. Izvedli smo analizo vpliva različnih parametrov algoritmov na učenje nevronskih mrež in primerjali vpliv neenakomerne porazdelitve podatkov na hitrost konvergence posameznih algoritmov na različnih podatkovnih zbirkah. Implementirali smo simulator federativnega učenja z uporabniškim vmesnikom, preko katerega lahko uporabnik ureja parametre učnih algoritmov in odjemalcev ter izvaja učenje in testiranje različnih modelov v ločenih nitih.[J. Čugalj]20242024-05-06 19:11:21Magistrsko delo/naloga88491sl