20.500.12556/DKUM-62419 PORAZDELJENA POMENSKA ANALIZA DOKUMENTOV V PROGRAMSKEM OGRODJU APACHE HADOOP DISTRIBUTED SEMANTIC ANALYSIS OF DOCUMENTS USING APACHE HADOOP V diplomskem delu obravnavamo porazdeljeno pomensko analizo dokumentov v programskem ogrodju Apache Hadoop. Opišemo sestavo in delovanje Hadoopa, predvsem porazdeljenega datotečnega sistema HDFS in pogajalca za vire YARN. Predstavimo različne metode za pomensko analizo besedil, osredotočimo se na linearno Dirichletovo razporeditev (LDA) in podamo različne metrike za ugotavljanje podobnosti med vektorji. Predstavimo implementacijo rešitve za iskanje podobnih dokumentov s pomočjo programske knjižnice Apache Mahout in razpravljamo o primerih z LDA-jem generiranih tem. Predstavimo rezultate meritev na porazdeljeni in ne-porazdeljeni različici in predstavimo nekaj predlogov za hitrejšo analizo. In this thesis we deal with distributed semantic analysis of documents in the Apache Hadoop programming framework. We describe the composition and operation of Hadoop, mainly of the distributed file system, HDFS and resource negotiator, YARN. We present different methods of semantic text analysis, focusing on the linear Dirichlet allocation (LDA), and describe different metrics to determine vector similarity. We present implementation of the solution for searching similar documents using Apache Mahout software library and discuss examples of LDA-generated topics. We presented the measurement results on distributed and non-distributed version and present some suggestions for faster analysis. pomenska analiza porazdeljena obdelava Hadoop linearna Dirichletova razporeditev procesiranje naravnega jezika semantic analysis distributed processing Hadoop linear Dirichlet allocation natural language processing true true false D. Starina Slovenski jezik Angleški jezik Diplomsko delo 2016-08-26 13:36:11 2016-09-08 15:20:29 2022-06-29 03:08:18 2019-07-11 12:54:53 2016 0 [Maribor 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.6:004.728.8(043.2) 20190742 URN:SI:UM:DK:Y1GNB3MD UN_Starina_David_2016.pdf UN_Starina_David_2016.pdf 1 741BBE3BB24F58B70B46E807F6D0C71F b27390bdaa64da37cee5faeb8a6909a7dc571ac07a9730746280871d977fbb00 24699a7d-7c0d-11eb-bb7a-00155d0001ca https://dk.um.si/Dokument.php?lang=slv&id=100302 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0