20.500.12556/DKUM-82955 Prenos znanja med modeli nevronskih mrež z metodo destilacije diplomsko delo Knowledge transfer between neural network models using the distillation method S pojavom vedno večjih zbirk podatkov se je pojavila tudi potreba po vedno večjih modelih strojnega učenja za učenje in napovedovanje na teh zbirkah, kot so nevronske mreže. Posledica tega je nezmožnost uporabe na napravah z omejenimi prostorskimi in računskimi viri, npr. na pametnih mobilnih napravah, pametnih urah in kamerah. Potencialna rešitev je prenos znanja, kjer znanje večjega modela nevronske mreže destiliramo v pomanjšan model nevronske mreže, ki se lahko potem uporablja na robnih napravah. V diplomskem delu smo preizkusili koncept destilacije na klasifikacijskih problemih, ga prenesli na regresijske probleme ter analizirali učinkovitost z uporabo klasičnih metrik uspešnosti. With the emergence of ever-growing data sets, the need for larger machine learning models, such as neural networks, has also arisen. Consequently, they cannot be used on devices with limited space and computing resources, such as smart mobile devices, smart watches and cameras. A potential solution is knowledge transfer, where the knowledge of a larger neural network model is distilled into a downscaled neural network model that can then be used on edge devices. In the thesis, we tested the concept of distillation on classification problems, transferred it to regression problems, and analyzed the efficiency using classic performance metrics. strojno učenje destilacija znanja prenos znanja nevronska mreža machine learning knowledge distillation knowledge transfer neural network true true false [M. Marušič] Slovenski jezik Angleški jezik Diplomsko delo/naloga 2022-09-12 07:29:48 2022-10-24 14:40:07 2023-01-21 03:06:06 0000-00-00 00:00:00 2022 0 Maribor 0 Maribor 1 spletni vir (1 datoteka PDF (IX, 35 f.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.85.032.26(043.2) 138725891 UN_Marusic_Matic_2022.pdf UN_Marusic_Matic_2022.pdf 1 36615E8D40E135BFC2316EB8EC829E1E 92d0a12aa4a08bc1096ada9ed07ad5cb8a2e6c5388796ed6efdf93a430c07618 83c2a19f-325d-11ed-9b90-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=162338 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0