Designing Textual Representations of Business Process Model and Notation for Large Language Models: A Research in Prompting Strategies and Automated Evaluation

Abstract

Business Process Model and Notation (BPMN) is a widely used standard for modelling and analysing business processes. However, its graphical nature and the complexity of its underlying XML representation pose challenges for seamless integration with Large Language Models (LLMs), which primarily process textual data. The objective of this thesis is twofold: to explore the design and development of optimised textual representations by systematically converting BPMN models into structured textual formats to enhance LLM comprehension and to design a benchmark to automatically evaluate the effectiveness of different prompt strategies in enabling LLMs to interpret BPMN structures.

Äriprotsessimudel ja -notatsioon (BPMN) on laialdaselt kasutusel olev standard äriprotsesside modelleerimiseks ja analüüsimiseks. Siiski tekib suurtel keelemudelitel (LLM-id) äriprotsessimudelitega töötamisel raskuseid, just nende graafilise olemuse ja keeruka XML-põhise struktuuri tõttu. Käesoleval tööl on kaks eesmärki. Esimeseks eesmärgiks on uurida ning disainida optimeeritud tekstilisi esitusi, teisendades BPMN-mudelid süstemaatiliselt struktureeritud tekstivormingutesse, lootuses parandada suurte keelemudelite arusaama antud protsessidest. Teiseks eesmärgiks on luua võrdlusalus, mille abil saab automaatselt hinnata erinevate sisendite tõhusust protsessistruktuuride tõlgendamisel suurte keelemudelite poolt.