20.500.12556/DKUM-75059 Deduplication of metadata magistrsko delo Deduplikacija metapodatkov Duplicates are redundant data that increases the storage space needed as well as the serving cost. They also have a big impact on the search result quality of the database. Therefore, detecting and eliminating redundant data is crucial in restoring and maintaining the quality of the data stored as well as the database itself. Different methods have been used to detect duplicates. The most widely used are pattern matching algorithms, more precisely phonetic string matching algorithms. There is a wide variety of algorithms to choose from and we opted for the algorithms that best suited our needs. Jaccard, Jaro, Jaro-Winkler and Levenshtein distance algorithms were used in the development of our deduplication application. They were joined together to create a new hybrid approach for detecting duplicates in a metadata database. In a real database, the application showed promising results while maintaining relatively fast speeds and fairly small memory consumption. Duplikati so odvečni podatki, ki povečajo prostor, potreben za shranjevanje, kakor tudi stroške storitve. Prav tako imajo velik vpliv na kakovost rezultatov iskanja ustreznih rezultatov poizvedb v podatkovnih zbirkah, zato je odkrivanje in odpravljanje odvečnih podatkov ključnega pomena pri obnavljanju in vzdrževanju kakovosti shranjenih podatkov in same podatkovne zbirke. Za odkrivanje duplikatov se uporabljajo različne metode. Najpogosteje se uporabljajo algoritmi za ujemanje vzorcev, natančneje algoritmi za ujemanje nizov znakov. Na izbiro je veliko različnih algoritmov za odkrivanje duplikatov. Mi smo uporabili besedilne metrike podobnosti. Jaccardova, Jarova, Jaro-Winklerjeva in Levenshteinova razdalja so bile uporabljene v naši praktični rešitvi. Ustvarili smo nov hibridni pristop za odkrivanje duplikatov v podatkovni zbirki metapodatkov, ki odkrije večino duplikatov, porabi relativno malo procesorskega časa in pomnilnika. deduplikacija metapodatki besedilne metrike podobnosti duplikat deduplication metadata text similarity metrics duplicate true true false [M. Chuchurski] Angleški jezik Slovenski jezik Diplomsko delo/naloga 2019-09-18 22:47:31 2019-11-08 10:00:20 2022-08-09 09:55:09 2019-12-10 08:19:05 2019 0 Maribor 0 Maribor XI, 29 f. 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.93\'1.021:004.6(043.2) 22829590 URN:SI:UM:DK:OMJCUOBS UN_Chuchurski_Martin_2019.pdf UN_Chuchurski_Martin_2019.pdf 1 5365D18AA6A654AF01F45C6416209ACA 28fefa2d28b0aaff1f76ccc7db251b7d413d0694a0598308cf4e4e0f0ee7ffbf 0e2508e9-7c11-11eb-bb7a-00155d0001ca 20.500.12556/dkum/2bd91740-5725-4e37-9e99-32638e2315a2 https://dk.um.si/Dokument.php?lang=slv&id=138737 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0