Vpliv priprave nestrukturiranih podatkov na klasifikacijoPečnik, Špela (Avtor) Podgorelec, Vili (Mentor) nestrukturirani podatkiklasifikacija besedilvektorska predstavitev besedilkrnjenjelematizacijaV vsakdanjem življenju se v večini primerov srečujemo z nestrukturiranimi podatki v obliki besedil iz različnih virov. Število teh iz dneva v dan narašča, zato obstaja vse večja potreba po njihovi organizaciji in kategorizaciji. Pri teh podatkih je najpomembnejša njihova predpriprava na uporabo v algoritmih strojnega učenja. Za ustrezno pripravo besedila lahko uporabimo različne metode/tehnike predprocesiranja – besedilo pretvorimo v male črke, iz njega odstranimo stop-besede, nad posameznimi besedami uporabimo krnjenje, lematizacijo, besede sestavljamo v fraze različnih dolžin (uni-grame, bi-grame, tri-grame) ali pa jih na primer pretvorimo v vektorsko obliko (ang. word embedding). S pomočjo laboratorijskega eksperimenta smo ugotovili, da nekatere tehnike predobdelave bolj vplivajo na uspešnost klasifikacije kot druge, poleg tega pa ima velik vpliv na uspešnost klasifikacije sam jezik in količina besedila, ter klasifikator, ki ga uporabimo za strojno učenje.Š. Pečnik20192019-06-05 10:47:05Magistrsko delo/naloga73712UDK: 004.94:004.83(043.2)URN: URN:SI:UM:DK:MLJBF77JCOBISS_ID: 22489366NUK URN: URN:SI:UM:DK:MLJBF77Jsl