20.500.12556/DKUM-62505 IZDELAVA SPLETNEGA PAJKA ZA POTREBE DETEKCIJE PODOBNIH VSEBIN WEB SPIDER IMPLEMENTATION FOR PLAGIARISM DETECTION SOFTWARE Spletni pajki so programi za prenos spletnih strani iz interneta, njihovo obdelavo in shranjevanje. V teoretičnem delu diplomske naloge je opisano splošno delovanje spletnih pajkov in problemi, s katerimi se srečujemo pri njihovi implementaciji. Opisano je tudi delovanje spletnih pajkov dveh najbolj razširjenih spletnih iskalnikov ter trije odprtokodni spletni pajki. V praktičnem delu diplomskega dela smo implementirali porazdeljen spletni pajek v dveh ločenih aplikacijah. Ena aplikacija je grafični vmesnik za urejanje vseh nastavitev, druga pa konzolna aplikacija, ki prenaša strani in jih shranjuje v podatkovno bazo. Web crawlers are applications for transferring, processing and storing web sites from the internet. Theoretical part of the thesis describes the general operation of web crawlers and the problems we are facing during their implementation. In this part, the operation of web crawlers of the two most used web search engines and three open source web crawlers, are also described. In practical part of the thesis, we have implemented a distributed web crawler in two separate applications. One application is a graphical user interface for configuration, and the other is a console application, that downloads web sites and stores them into database. spletni pajki porazdeljeni računalniški sistemi web crawler distributed computer system true true false B. Ferlič Slovenski jezik Angleški jezik Diplomsko delo 2016-08-29 08:50:11 2016-09-07 08:08:04 2022-06-29 03:08:46 2019-07-11 12:57:52 2016 0 [Maribor 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.774.6(043.2) 20193046 URN:SI:UM:DK:HKHKMTKM UN_Ferlic_Bostjan_2016.pdf UN_Ferlic_Bostjan_2016.pdf 1 081BF9642B7DDC2130C191CE58B86777 69f5fbbc2cd2319cc0842328eacf3fce14b1a51fae41c08937d4b7b4147b44c6 2942df97-7c0d-11eb-bb7a-00155d0001ca https://dk.um.si/Dokument.php?lang=slv&id=100608 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0