20.500.12556/DKUM-65053 Avtomatsko nastavljanje parametrov segmentacijske metode aplikacije virtualna tipkovnica s pomočjo nevronske mreže Automatic parameters adjustment in segmentation method of virtual keyboard application by using neural network V tem diplomskem delu smo nadgradili izhodiščno aplikacijo Virtualna tipkovnica, ki je namenjena zaznavanju pritiska tipke v nadzorovanih okoliščinah s pomočjo interakcijske površine in vanjo usmerjene kamere. Preučili in implementirali smo metode, ki omogočajo avtomatizirano nastavljanje parametrov segmentacijske metode za izhodiščno aplikacijo. S tem smo izboljšali njeno delovanje v spremenljivih osvetlitvenih razmerah ter ob uporabi drugačnih ozadij interakcijske površine. Preučili in implementirali smo tudi tehnike predobdelave slik ter možnosti segmentacije s pomočjo konvolucijskih nevronskih mrež. Razvili in implementirali smo naslednje rešitve: i) model RGB smo nadomestili z barvnim modelom HSV, ii) rešitev z uporabo metode fotometrične normalizacije, imenovane eno-nivojski retineks, ter iii) rešitev, kjer segmentacijo izvedemo s pomočjo globoke nevronske mreže. Vse nadgradnje osnovne aplikacije Virtualna tipkovnica smo validirali z množico eksperimentov, v katerih smo variirali osvetlitev, oddaljenost svetila, ozadje interakcijske površine ter uporabnika. Kot najuspešnejši nadgradnji sta se izkazali uporaba konvolucijskih nevronskih mrež in morfološka operacija odpiranja. In this diploma thesis we upgraded the baseline Virtual keyboard application, which is intended to detect key press with a camera pointed onto an interaction surface in controlled conditions. We studied and implemented methods that enable automatic parameters adjustment in segmentation method of our baseline application. These methods lead to better results in variable lightning conditions or in different interaction surface background usage. We studied and implemented methods of image preprocessing and possibilities of image segmentation with assistance of a convolutional neural network. We developed and implemented the following solutions: i) a solution where we replaced the RGB color model with HSV color model, ii) a solution where we used photometric normalization method named Single Scale Retinex, and iii) a solution where we segmented an image with the use of a deep neural network. We validated all the upgrades of our baseline application with a group of experiments in which we varied lightning, light source distance, interaction surface background and user. Convolutional neural network usage and opening morphological operation turned out as the most successful upgrades. virtualna tipkovnica segmentacija slik nevronska mreža globoka nevronska mreža konvolucijska nevronska mreža kompenzacija osvetlitve predobdelava eno-nivojski retineks virtual keyboard image segmentation neural network deep neural network convolutional neural network illumination compensation preprocessing single scale retinex true true false A. Javornik Slovenski jezik Angleški jezik Diplomsko delo/naloga 2017-02-12 20:28:35 2017-02-28 08:15:38 2022-07-07 03:07:57 2019-07-11 15:05:55 2017 0 [Maribor 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.353.4:004.946.5(043.2) 20435478 URN:SI:UM:DK:FXOAGODP UN_Javornik_Aljaz_2017.pdf UN_Javornik_Aljaz_2017.pdf 1 46765DD4BB55637401B76AC74E136B7A 09b8708db9cd7a973e9577aab793496d5c8e9f702fc209759d68ec40c1dbd4c6 f442a1a8-7c0d-11eb-bb7a-00155d0001ca https://dk.um.si/Dokument.php?lang=slv&id=109429 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0