20.500.12556/DKUM-95104 Generating test cases for automotive requirement testingusing rag magistrsko delo Generiranje testnih primerov za testiranje avtomobilskih zahtev z uporabo rag The automotive industry is increasingly confronted with challenges in managing complex requirements and test cases arising from the integration of advanced electronic systems, software functionalities, and compliance with international standards. Conventional manual validation of requirements is time-consuming, error-prone, and resource-intensive, underscoring the need for more efficient and reliable approaches. This thesis investigates the automation of test case generation through the application of Retrieval-Augmented Generation (RAG) in combination with Large Language Models (LLMs). A complete RAG workflow was implemented in Python, incorporating LangChain, LangGraph, Ollama, and ChromaDB to facilitate indexing, retrieval, and generation. The system was trained and evaluated on datasets comprising automotive requirements and test cases, with experiments examining embedding quality, retrieval strategies, prompt engineering techniques, and generative model parameters. The results demonstrate that RAG is capable of generating high-quality, contextually relevant test cases on consumer-grade hardware, thereby significantly enhancing efficiency, consistency, and productivity relative to manual methods. Furthermore, the findings suggest that RAG-based systems are best positioned as complementary tools that support, rather than replace, human engineers. This research provides a foundation for future work on hybrid retrieval methods, advanced embedding techniques, and the integration of more powerful LLMs into requirement and test case management processes. V sosobnem času se avtomobilska industrija sooča z naraščajočimi izzivi pri obvladovanju kompleksnih zahtev in testnih primerov, ki izhajajo iz vključevanja naprednih elektronskih sistemov, programske funkcionalnosti ter zahtev mednarodnih standardov. Tradicionalna ročna validacija zahtev je pogosto zamudna, podvržena napakam in zahteva znatne kadrovske ter časovne vire. V okviru magistrske naloge je obravnavana možnost avtomatizacije generiranja testnih primerov z uporabo metodologije Retrieval-Augmented Generation (RAG) v kombinaciji z velikimi jezikovnimi modeli (LLM). V programskem jeziku Python je bil razvit celovit potek RAG, ki vključuje ogrodja LangChain, LangGraph, Ollama in ChromaDB za namene indeksiranja, iskanja in generiranja. Sistem je bil eksperimentalno preizkušen na naborih podatkov, ki zajemajo avtomobilske zahteve in pripadajoče testne primere. Eksperimenti so bili osredotočeni na ocenjevanje kakovosti preslikave besedila v vektorske predstavitve, učinkovitosti različnih strategij iskanja ter vpliva parametrov generativnih modelov na rezultate. Rezultati empirične analize kažejo, da lahko pristop RAG na lokalni potrošniški strojni opremi generira kakovostne in kontekstualno ustrezne testne primere, kar pomembno prispeva k večji učinkovitosti, doslednosti in produktivnosti v primerjavi s tradicionalnimi ročnimi metodami. Ugotovitve nakazujejo, da je uporaba sistemov, temelječih na RAG, smiselna predvsem kot podporno orodje, ki dopolnjuje delo inženirjev, ne pa kot njihova neposredna zamenjava. Predstavljeni rezultati tako predstavljajo osnovo za nadaljnje raziskave na področju hibridnih metod iskanja ter integracije zmogljivejših modelov LLM v proces avtomatizacije validacije zahtev in testnih primerov. automotive requirements validation test case generation large Language Models Retrieval-Augmented Generation validacija avtomobilskih zahtev generiranje testnih primerov veliki jezikovni modeli Retrieval-Augmented Generation true true false [M. Krepek] Angleški jezik Slovenski jezik Magistrsko delo/naloga 2025-09-04 17:17:48 2025-10-01 11:59:14 2025-11-22 03:11:03 0000-00-00 00:00:00 2025 0 Maribor 0 Maribor 1 spletni vir (1 datoteka PDF (XVI, 69 f.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 2028-09-16 629.3.05.018(043.2) 258059779 MAG_Krepek_Matic_2025.pdf MAG_Krepek_Matic_2025.pdf 1 DF2CBCA46359ED5DF6C6AA4471692043 85c21bbf4ae464a79b1cd433557a7be4d1473551b263ad9bd0482518c1d1b9d1 87eb5915-9d36-11f0-8bbe-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=199349 Fakulteta za strojništvo 0 0 0