Threat-Based Analysis and Management of Security Risks in AI Chatbot Systems

Abstract

AI chatbots are a very new but widely used technology, which users feed a constant flow of sensitive information into on a daily basis. With the increasing adoption of large language models and chatbots in society, it is crucial to understand the possible dangers present in this technology. This thesis uses a systematic literature review to gain an understanding of the system context of AI chatbots and security risks in them. Two business processes in AI chatbot systems were identified along with three major threats: data poisoning, prompt injection and model extraction. Mitigation strategies were also discussed, with the most common one being the review and cleaning of all prompts.

Juturobotid on väga uus, ent laialdaselt kasutusel olev tehnoloogia, mille kasutajad jagavad nendega igapäevaselt suurt hulka tundlikku informatsiooni. Juturobotite kasutamisega seotud ohtude mõistmine muutub suurte keelemudelite ja nendel põhinevate juturobotite kasvava kasutuselevõtmisega järjest olulisemaks. See lõputöö kasutab süstemaatilist kirjanduse ülevaadet, et mõista juturobotite süsteeme ja turvariske. Selle käigus kirjeldati kahte äriprotsessi ja kolme peamist ohtu: andmete mürgitamist, viibasüsti ja mudeli ekstraheerimist. Samuti pakuti viise riskide maandamiseks, millest kõige levinum oli kõikide sissetulevate viipade ülevaatamine ja puhastamine.