20.500.12556/DKUM-75438 Nature-inspired algorithms for hyperparameter optimization magistrsko delo Algoritmi po vzorih iz narave za optimizacijo hiperparametrov This master thesis is focusing on the utilization of nature-inspired algorithms for hyperparameter optimization, how they work and how to use them. We present some existing methods for hyperparameter optimization as well as propose a novel method that is based on six different nature-inspired algorithms: Firefly algorithm, Grey Wolf Optimizer, Particle Swarm Optimization, Genetic algorithm, Differential Evolution, and Hybrid Bat algorithm. We also show the optimization results (set of hyperparameters) for each algorithm and we present the plots of the accuracy for each combination and handpicked one. In discussion of the results, we provide the answers on our research questions as well as propose ideas for future work. V magistrskem delu smo se osredotočili na uporabo algoritmov po vzorih iz narave za optimizacijo hiperparametrov. Predstavili smo strojno učenje, optimizacijske metode in podrobneje šest algoritmov po vzorih iz narave. Ti so algoritem kresnic, algoritem sivega volka, algoritem roja delcev, genetski algoritem, diferencialna evolucija, algoritem po vzoru obnašanja netopirjev in njegova hibridna različica. Pregled literature je pokazal, da so omenjeni algoritmi zelo uporabni pri optimizaciji hiperparametrov, zato nas je analiza spodbudila k predlaganju lastne metode. Sicer so osnovni pristopi, ki se običajno uporabljajo za optimizacijo hiperparametrov, ročno iskanje, Grid search in Bayesove metode. Naša metoda temelji na šestih algoritmih po vzorih iz narave. Z njo skušamo poiskati optimalen nabor hiperparametrov za umetno nevronsko mrežo. Funkcija uspešnosti temelji na točnosti klasifikacije. Kandidatne rešitve so predstavljene kot vektorji realnih števil. Struktura umetne nevronske mreže je z enim skritim slojem, druge nastavitve pa so privzete (razen tistih, ki jih optimiziramo). Program je bil napisan v programskem jeziku Python. Programske knjižnice, ki smo jih uporabili, so Scikit-learn in NiaPy. Eksperiment smo izvedli na treh različnih množicah podatkov in ga zagnali na prenosnem računalniku Dell s 2,67 GHz procesorjem in 4,00 GB pomnilnikom. Operacijski sistem je Windows 10 Education. Za vsak algoritem smo nastavili zaključni pogoj na 10000 ovrednotenj funkcije uspešnosti in velikost populacije na 100 posameznikov. Rezultati nakazujejo, da je uporaba naše metode za HPO učinkovita. Nad dvema množicama podatkov je hibridna različica po vzoru obnašanja netopirjev dosegla najboljši rezultat, nad eno množico podatkov pa je najboljši rezultat dosegel algoritem kresnic. V prihodnosti želimo našo rešitev kot storitev objaviti na spletu. Dodatno bi lahko s tehnikami adaptacije in hibridizacije izboljšali osnovne algoritme po vzorih iz narave, ki smo jih uporabili v tem magistrskem delu. artificial intelligence artificial neural networks machine learning nature-inspired algorithms evolutionary algorithms umetna inteligenca umetne nevronske mreže strojno učenje algoritmi po vzorih iz narave evolucijski algoritmi true true false [F. Glojnarić] Angleški jezik Slovenski jezik Magistrsko delo/naloga 2019-11-14 09:23:05 2019-12-09 14:34:06 2022-08-09 11:20:48 2020-01-13 03:10:57 2019 0 Maribor 0 Maribor XII, 59 f. 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.8.021(043.2) 22917398 URN:SI:UM:DK:NGYSOWKS MAG_Glojnaric_Filip_2019.pdf MAG_Glojnaric_Filip_2019.pdf 1 DF861200FD42CBBB12C661F032F77885 ad98d0d8c2f6458e278d8f30a15894c2c93411f7bf62c71b585ed59884a768cc 2280d58e-7c11-11eb-bb7a-00155d0001ca 20.500.12556/dkum/01924d84-d3d2-495b-b8b7-90e45fe03dd1 https://dk.um.si/Dokument.php?lang=slv&id=139573 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0