Conversational interface for process mining tools using Large Language Models (LLMs)

Abstract

Äriprotsesside kaevandamise tehnikad võimaldavad ärianalüütikutel vastata küsimustele äriprotsesside toimivuse kohta, kasutades infosüsteemidest võetud andmeid. Olemasolevates protsessikaevandamise tööriistades peavad ärianalüütikud oma küsimustele vastuste leidmiseks sageli sirvima paljusid diagramme ja graafikuid. Arvestades edusamme suurte keelemudelite (LLM) alal, on võimalus protsessikaevandamise tööriistu laiendada, et pakkuda protsessikaevandamise küsimustele vastamiseks vestlusstiili. Selles magistritöös hinnatakse LLM-ide võimet vastata protsessikaevandamise küsimustele. Magistritöös hinnatakse LLM-ide abil protsessikaevandamise küsimustele vastamise kahte viipamise lähenemisviisi. Esimeses lähenemisviisis (otsene lähenemine) lisatakse viipesse asjakohased äriprotsesside toimivuse näitajad. LLM-il palutakse vastata küsimusele otse nende näitajate põhjal. Teises lähenemisviisis (struktuurpäringukeele ehk SQLlähenemisviis) öeldakse LLM-ile, et andmebaasis on küsimustele vastamiseks saadaval tabelid. LLM-il palutakse igale küsimusele vastamiseks tagasi saata SQL-päring. Magistritöös hinnatakse neid kahte lähenemisviisi, kasutades kahte LLM-i, nimelt GPT-4 ja Claude V3. Tulemused näitavad, et need LLM-id suudavad vastata protsessikaevandamise küsimustele täpsusega ja meelespidamisega vahemikus 67% kuni 87%. Otsesel lähenemisel oli Claude V3 jõudluse poolest veidi GPT-4-st üle, samas kui SQL-i lähenemisviisis toimis paremini GPT-4. Magistritöös uuritakse ka XML-märgendite kasutamise mõju viipe erinevate osade eraldamiseks. See lähenemine ei näidanud märgatavat kasu.