20.500.12556/DKUM-81921 Primerjava metod napada na globoke nevronske mreže z nasprotniškimi primeri in pristopov k zaščiti pred njimi magistrsko delo Comparing adversarial example attacks on deep neural networks and defensive approaches Globoke nevronske mreže imajo ranljivosti, kot so nasprotniški primeri - neopazne namerne popačitve vhodnih podatkov, ki povzročijo neželeno spremembo izhoda. Ker so nasprotniški primeri prenosljivi, lahko popačitev tvorimo v scenariju črne škatle, brez da bi poznali strukturo ali uteži napadene mreže. V našem delu primerjamo več pristopov k napadu in zaščiti. Robustnost modela ovrednotimo glede na prepričanost v napačno klasifikacijo ter glede na statistično porazdelitev amplitud nasprotniških popačitev. Rezultati kažejo, da so amplitude uspešnih napadov tipično za en velikostni razred višje, če je napad izveden po scenariju črne škatle. Robustnost modela je odvisna od klasifikacijskega problema, arhitekture mreže ter pristopa k zaščiti. Za najbolj učinkovita napada sta se v scenariju bele škatle izkazala napada BIM in MI-FGSM, v scenariju črne škatle pa napada MI-FGSM in FGSM. Najučinkovitejša pristopa k zaščiti sta bila diskretizacija ter virtualno nasprotniško učenje. Pokazali smo tudi, da moramo za verodostojen preizkus učinkovitosti nasprotniškega učenja uporabiti napad, ki ni bil uporabljen v procesu učenja. Deep neural networks suffer from unique vulnerabilities, such as adversarial examples - unobservable perturbations of input data that cause an unwanted change of the output. Adversarial examples are transferrable, which allows us to form an adversarial perturbation in the black-box scenario, without knowing the structure or weights of the attacked network. In our work, we compare various attacks and defensive approaches. We evaluate model robustness based on its confidence in the incorrect classification and the statistical distribution of adversarial perturbation amplitudes. Experiments show an order of magnitude increase in perturbation amplitudes when the black-box scenario is used. Model robustness varies depending on the classification problem, network architecture and defensive approach. According to our results, BIM and MI-FGSM are the most effective attacks in the white-box scenario, and MI-FGSM and FGSM in the black-box scenario. The most effective defenses were discretization and virtual adversarial training. Additionally, we have shown that a valid test of adversarial training requires the use of an attack that was not used during training. globoko učenje nasprotniški primeri nevronske mreže strojno učenje deep learning adversarial examples neural networks machine learning true true false [R. Novak] Slovenski jezik Angleški jezik Magistrsko delo/naloga 2022-06-18 22:15:07 2022-07-06 12:10:02 2022-08-10 00:59:46 0000-00-00 00:00:00 2022 0 Maribor 0 Maribor 1 spletni vir (1 datoteka PDF (XI, 76 f.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.85:004.032.26(043.2) 116049411 MAG_Novak_Robi_2022.pdf MAG_Novak_Robi_2022.pdf 1 28C564F58929C619AB04F9248269DE43 184793b6fe7ebeb26b0e7f8a0fd9cf7de4368c59c766de36e0724b3a93b924a5 f1952c2a-f02e-11ec-acce-00155d000105 20.500.12556/dkum/18fb69ad-f246-4f6c-ab25-74d37deb8427 https://dk.um.si/Dokument.php?lang=slv&id=158721 MAG_Novak_Robi_2022.zip MAG_Novak_Robi_2022.zip 1 6458198C3B151733A1B0D41545B0815D 5184c46056c0944234b8a1683e6b8c211d9b249345707183340d085aff677ec1 87a93572-ef52-11ec-87ee-00155d000105 20.500.12556/dkum/bc3554d7-9a44-4d7d-a231-477d4932cab3 https://dk.um.si/Dokument.php?lang=slv&id=158689 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0