20.500.12556/DKUM-73712 Vpliv priprave nestrukturiranih podatkov na klasifikacijo magistrsko delo The impact of preprocessing on the classification of unstructured data V vsakdanjem življenju se v večini primerov srečujemo z nestrukturiranimi podatki v obliki besedil iz različnih virov. Število teh iz dneva v dan narašča, zato obstaja vse večja potreba po njihovi organizaciji in kategorizaciji. Pri teh podatkih je najpomembnejša njihova predpriprava na uporabo v algoritmih strojnega učenja. Za ustrezno pripravo besedila lahko uporabimo različne metode/tehnike predprocesiranja – besedilo pretvorimo v male črke, iz njega odstranimo stop-besede, nad posameznimi besedami uporabimo krnjenje, lematizacijo, besede sestavljamo v fraze različnih dolžin (uni-grame, bi-grame, tri-grame) ali pa jih na primer pretvorimo v vektorsko obliko (ang. word embedding). S pomočjo laboratorijskega eksperimenta smo ugotovili, da nekatere tehnike predobdelave bolj vplivajo na uspešnost klasifikacije kot druge, poleg tega pa ima velik vpliv na uspešnost klasifikacije sam jezik in količina besedila, ter klasifikator, ki ga uporabimo za strojno učenje. In everyday life, in most cases we encounter unstructured data in the form of texts from different sources. The number of these is growing every day, so there is an increasing need for their organization and categorization. For these data, the most important part is their pre-preparation for use in machine learning algorithms. Various methods/techniques of pre-processing can be used for the proper preparation of the text - we can convert the text into lower case letters, remove the stop-words from it, use stemming, lemmatization, compose words in phrases of different lengths (unigrams, bigrams, trigrams), or convert them into word embedding. With the help of a laboratory experiment, we found out that some pre-preparation techniques have a greater impact on the performance of the classification than others, and in addition, the language and quantity of the text, as well as the classifier used for machine learning, have a great influence on the success of the classification. nestrukturirani podatki klasifikacija besedil vektorska predstavitev besedil krnjenje lematizacija unstructured data text classification word embedding stemming lemmatization true true false Š. Pečnik Slovenski jezik Angleški jezik Magistrsko delo/naloga 2019-06-05 10:47:05 2019-06-14 14:48:14 2022-08-02 06:12:35 2019-08-06 03:31:08 2019 0 Maribor 0 Maribor VIII, 74 str. 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.94:004.83(043.2) URN:SI:UM:DK:MLJBF77J 22489366 URN:SI:UM:DK:MLJBF77J MAG_Pecnik_Spela_2019.pdf MAG_Pecnik_Spela_2019.pdf 1 EBA9DB0F5212AE2FD45F57091E57B407 df735ae009565c759b020207ba92c7f354fb845d23e96d3f8f8d55fb30f47812 ba72b7b1-7c10-11eb-bb7a-00155d0001ca 20.500.12556/dkum/239e9d35-e8c8-4fbf-8461-28041dd87704 https://dk.um.si/Dokument.php?lang=slv&id=134369 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0