20.500.12556/DKUM-95400 Detection of malicious software using large language models master's degree thesis Detekcija zlonamerne programske opreme z velikimi jezikovnimi modeli This thesis examines the success rate of large language models (LLM) in detecting macOS malware through Endpoint Security logs. A literature review and 144 experiments with three ChatGPT variants and six prompt types evaluated accuracy, precision, recall, specificity, and F1-score. Results show that prompt wording is crucial: zero-shot and chain-of-thought prompts performed best, while conservative prompts minimized false positives but missed threats. GPT-4o and o1 outperformed o4-mini but showed similar results. Findings suggest LLMs can support, but not replace, traditional detection, with prompt design proving as important as model choice. Magistrska naloga preučuje uspešnost velikih jezikovnih modelov (LLM) pri zaznavanju zlonamerne programske opreme v okolju macOS prek dnevnikov Endpoint Security. Na podlagi pregleda literature in 144 eksperimentov s tremi ChatGPT modeli ter šestimi vrstami pozivov so bili ocenjeni natančnost, priklic, specifičnost, F1-merilo in točnost. Rezultati kažejo, da je oblikovanje pozivov ključno: t.i. zero-shot in chain-of-thought pozivi so se izkazali kot najbolj učinkoviti, medtem ko so konzervativni pozivi sicer zmanjšali število lažnih pozitivnih zaznav, a so hkrati spregledali grožnje. GPT-4o in o1 sta presegla model o4-mini, a dosegla podobne rezultate. Ugotovitve nakazujejo, da lahko LLM-i dopolnjujejo, ne pa nadomestijo tradicionalne metode zaznavanja, pri čemer se je oblikovanje pozivov izkazalo za enako pomembno kot izbira modela. malware large language models detection zlonamerna programska oprema veliki jezikovni modeli detekcija true true false [M. Tivadar] Angleški jezik Slovenski jezik Magistrsko delo/naloga 2025-09-16 17:42:31 2025-11-03 10:22:25 2025-12-19 03:18:03 0000-00-00 00:00:00 2025 0 Maribor 0 Maribor 1 spletni vir (1 datoteka PDF (XVI, 76 str.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.056.54(043.2) 262071811 MAG_Tivadar_Martina_2025.pdf MAG_Tivadar_Martina_2025.pdf 1 9D547BEA2188C05F23797101E8DADDD1 599325dd740a79b0cfe9bf0f7d2c33b9145f340027b91c5950591de2a4ed0c85 4ec96b54-9316-11f0-8742-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=198611 Fakulteta za elektrotehniko, računalništvo in informatiko 0 0 0