Towards user-centered prescriptive process monitoring systems

Abstract

Tänapäeva ärimaailmas konkurentidest ees püsimine nõuab targemate otsuste kiiremat tegemist. Mis siis, kui on olemas võimalus, mis mõjutab võimekust teha otsuseid reaalajas? Ettekirjutava protsessijälgimise (ingl. prescriptive process monitoring, PrPM) süsteemid suudavad käimasolevate äriprotsessi juhtumite põhjal soovitada nende juhtumite tulemuste paranemiseni viivaid tegevusi. Näiteks laenutaotlemise protsessis võib PrPM-süsteem soovitada ühe laenupakkumise asemel mitme pakkumise tegemist. Miks? Andmed näitavad, et kliendi laenutaotluse tõenäosus suureneb, kui anda kliendile mitu valikut. Selliseid soovitusi pakkudes võib PrPM aidata töötajatel teha otsuseid, mis mõjutavad otseselt äritulemust. PrPM on aga siiani vähe kasutatud. Enamus PrPM-alasedt teadustööd on keskendunud vastavate tehnikate tõhususele ja täpsusele, pöörates vähe tähelepanu PrPM-väljunditele, mistõttu on PrPM praktiline rakendamine senini piiratud. Käesoleva lõputöö eesmärk on selle puuduse lahendamine, uurides, kuidas kasutada PrPM-tehnika väljundeid lõppkasutajatel. Esiteks, loome raamistiku olemasolevate PrPM-tehnikate kategoriseerimiseks ning anname ülevaate PrPM-väljundite mitmekesisusest ja olulisusest lõppkasutajale. Teiseks, uurime, kuidas kujundada PrPM-väljundeid. Näiteks, millised kasutusliidesed sobivad avatud laenutaotluste kontekstis. Tuginedes PrPM-tehnikate väljundite analüüsile ja kasutajaintervjuudele pakume välja veebipõhise tööriista, Kairos, mis annab soovitusi käimasolevate juhtumite targemaks jätkamiseks. Lisaks, kirjeldame PrPM-liideste kujundamise parimad tavad lähtudes tööriista Kairos kasutajatestidest. Kolmandaks, parendame PrPM-soovituste arusaadavust, pakkudes välja meetodi, mis kasutab suuri keelemudeleid soovituste täiendavaks selgitamiseks. See meetod on loodud tööriista Kairos osana ning läbinud kasutajatestimise, mille tulemused annavad ülevaate suurte keelemudelite kasutamise eelistest ja väljakutsetest PrPM-väljundite selgitamisel. In today's business world, staying ahead of the competition means making smarter decisions faster. But what if there were a way to guide those decisions in real-time? Prescriptive process monitoring (PrPM) systems can analyze ongoing cases of a business process and recommend actions that improve outcomes. Consider a loan application process. A PrPM system can recommend offering multiple loan offers to a customer instead of a single one. Why? Because the data says that giving customers more choices increases the likelihood they'll accept one. By providing such recommendations, PrPM can help process workers make decisions that directly impact business outcomes. However, PrPM is often underutilized. Most PrPM research has focused on the efficiency and accuracy of the techniques, paying less attention to the usability of recommendations. This gap limits the practical application of PrPM. This thesis aims to bridge the gap by exploring how the outputs of PrPM techniques can be presented to end users. First, we elicit a framework to categorize existing PrPM techniques. With this, we pave the way for understanding the variety of PrPM outputs and their relevance to end users. Second, we explore how to design usable interfaces for PrPM outputs, such as recommendations for loan officers in open loan applications. Based on the analysis of PrPM techniques outputs and user interviews, we propose a web-based tool, Kairos, which presents recommendations for ongoing cases. In addition, user evaluation helps formulate a set of best practices for designing usable PrPM interfaces. Third, we aim to improve the understandability of PrPM recommendations by proposing a method using Large Language Models (LLMs) to provide explanations for the outputs. This method was implemented in Kairos and evaluated by users, providing insights into the benefits and challenges of using LLM-based systems to enhance the explainability of PrPM outputs.