20.500.12556/DKUM-93650 Generative AI in pragmatics assessing the accuracy of automated speech act classification in Pinter’s The birthday party Generativna umetna inteligenca v pragmatiki analiza natančnosti samodejne klasifikacije govornih dejanj v Pinterjevi drami Zabava za rojstni dan This study explores the feasibility of using generative AI (ChatGPT, Gemini, and DeepSeek) to automate speech act annotation in Harold Pinter’s play The Birthday Party. Three chatbots – ChatGPT, Gemini, and DeepSeek – were tested under three scenarios varying in the amount of theoretical material provided. Each chatbot’s output was compared to a manually annotated reference via a Python script measuring classification accuracy. Scenario 2 produced the highest accuracy overall (75–82%), while Scenario 1 underperformed, owing to incorrect reliance on external typologies, and Scenario 3 showed signs of overfitting. ChatGPT o1 emerged as the most accurate model, achieving 82% accuracy in Scenario 2. The findings suggest that GenAI chatbots can serve as valuable preliminary annotators when good prompt-engineering and well-curated theoretical material are provided. Future research could extend this methodology to more context-dependent texts, further refining prompt-engineering strategies and exploring larger linguistic corpora.Študija raziskuje smiselnost rabe generativne umetne inteligence (ChatGPT, Gemini in DeepSeek) za avtomatizacijo anotacije govornih dejanj v Pinterjevi drami Zabava za rojstni dan. Trije klepetalni roboti – ChatGPT, Gemini in DeepSeek – so bili testirani v treh scenarijih, ki so se razlikovali glede na obseg predloženega teoretičnega gradiva. Rezultati vsakega klepetalnega robota so bili primerjani z ročno anotirano različico s pomočjo Python skripte, ki je izmerila natančnost klasifikacije. Scenarij 2 je na splošno dosegel najvišjo natančnost (75–82 %), medtem ko je bil scenarij 1 zaradi neustreznega zanašanja na tuje tipologije preslab, scenarij 3 pa je kazal znake preprileganja (angl. overfitting). ChatGPT o1 se je izkazal za najnatančnejši model, saj je v scenariju 2 dosegel 82-odstotno zanesljivost. Ugotovitve kažejo, da lahko klepetalni roboti GEN-UI služijo kot koristni predhodni anotatorji, če so na voljo dobro zasnovani pozivi in dobro pripravljeno teoretično gradivo. Prihodnje raziskave bi lahko to metodologijo razširile na besedila, ki so bolj odvisna od konteksta, nadalje izpopolnile strategije inženiringa pozivov in raziskale večje jezikovne korpuse. Študija raziskuje smiselnost rabe generativne umetne inteligence (ChatGPT, Gemini in DeepSeek) za avtomatizacijo anotacije govornih dejanj v Pinterjevi drami Zabava za rojstni dan. Trije klepetalni roboti – ChatGPT, Gemini in DeepSeek – so bili testirani v treh scenarijih, ki so se razlikovali glede na obseg predloženega teoretičnega gradiva. Rezultati vsakega klepetalnega robota so bili primerjani z ročno anotirano različico s pomočjo Python skripte, ki je izmerila natančnost klasifikacije. Scenarij 2 je na splošno dosegel najvišjo natančnost (75–82 %), medtem ko je bil scenarij 1 zaradi neustreznega zanašanja na tuje tipologije preslab, scenarij 3 pa je kazal znake preprileganja (angl. overfitting). ChatGPT o1 se je izkazal za najnatančnejši model, saj je v scenariju 2 dosegel 82-odstotno zanesljivost. Ugotovitve kažejo, da lahko klepetalni roboti GEN-UI služijo kot koristni predhodni anotatorji, če so na voljo dobro zasnovani pozivi in dobro pripravljeno teoretično gradivo. Prihodnje raziskave bi lahko to metodologijo razširile na besedila, ki so bolj odvisna od konteksta, nadalje izpopolnile strategije inženiringa pozivov in raziskale večje jezikovne korpuse. pragmatics speech act analyses ChatGPT DeepSeek Gemini pragmatika analiza govornih dejanj umetna inteligenca ChatGPT DeepSeek Gemini true false true Angleški jezik Slovenski jezik Znanstveno delo 2025-07-10 03:36:19 2025-07-22 09:35:35 2025-07-23 03:11:06 0000-00-00 00:00:00 2025 0 0 str. 19-34 št. 1 Letn. 22 2025 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 2025-07-07 81’33:821.111.09-2]:004.89 241882115 10.4312/elope.22.1.19-34 1581-8918 RAZ_Todorovic_Tadej_2025.pdf RAZ_Todorovic_Tadej_2025.pdf 1 B293E0E2C8067C3C38D6E90BBCF39672 c40b73ba6752893932fb7a85a828039449a32beebf12a183b5344f62e61e9482 8c270f1d-66ce-11f0-b4a7-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=193909 https://doi.org/10.4312/elope.22.1.19-34 0 9774be5c-66ce-11f0-b4a7-00155d000105 https://dk.um.si/Dokument.php?lang=slv&id=193910 Filozofska fakulteta 0 0 0