Kindlustusettevõtte kõnede automaatne transkriptsioon ja sentimendi analüüs

Abstract

Automatic call transcription and analysis is a rapidly developing field within natural language processing, enabling organizations to extract valuable information from unstructured audio data. This master’s thesis explores how such solutions could be applied in the insurance domain, where recorded customer calls contain important insights into client needs, service quality, and internal processes. Although tools for automatic processing exist, they have not been systematically implemented in the organization under study - the content of calls has so far been assessed manually. In the first part of the thesis, various automatic transcription models (Whisper, Kaldi, and Wav2Vec 2.0) are tested to determine which performs best for processing insurance related calls in Estonian. The models are evaluated in terms of transcription accuracy and technical applicability, taking into account the specific challenges of low resource languages, such as morphological complexity and limited training data. The second part focuses on sentiment analysis based on the transcribed texts. Both lexicon based and machine learning based methods are compared to assess their ability to detect customers emotional stance or satisfaction. Such information is valuable for improving customer experience and gathering meaningful feedback. Based on the results, the thesis provides recommendations for selecting the most suitable transcription model and assesses under which conditions automatic sentiment detection may offer added value. As a next step, the organization could consider developing a prototype based on automatic analysis to support content-based processing of call recordings and improve both service quality monitoring and data management. Automaatne kõnede transkriptsioon ja analüüs on loomuliku keele töötlemise valdkonnas kiiresti arenev suund, mis võimaldab ettevõtetel struktureerimata audioteabest väärtuslikku teavet saada. Käesolev magistritöö uurib, kuidas selliseid lahendusi oleks võimalik rakendada kindlustusvaldkonnas, kus salvestatud kliendikõned sisaldavad olulist teavet klientide vajaduste, teenuste kvaliteedi ja sisemiste tööprotsesside kohta. Kuigi automaatse töötluse vahendid on olemas, ei ole neid konkreetses organisatsioonis seni süstemaatiliselt rakendatud - kõnede sisu ja kvaliteeti on seni hinnatud käsitsi. Käesolev magistritöö jaguneb kahte põhiossa. Töö praktiline osa keskendub esmalt erinevate automaatsete transkriptsioonimudelite (Whisper, Kaldi ja Wav2Vec 2.0) katsetamisele, et välja selgitada, milline neist sobib kõige paremini eesti keeles toimunud kindlustuskõnede töötlemiseks. Selles osas hinnatakse transkriptsioonide täpsust ja mudelite tehnilist rakendatavust, arvestades väikekeeltega seotud eripärasid nagu morfoloogiline keerukus ja piiratud treeningandmed. Töö teises osas analüüsitakse transkribeeritud tekstide põhjal kõnede sentimenti. Selleks võrreldakse leksikonipõhiseid ja masinõppel põhinevaid meetodeid, eesmärgiga uurida, milliseid hinnanguid need annavad kindlustusvaldkonna kõnedele ning kuidas erinevate mudelite tulemused omavahel erinevad. Võrdlustulemused pakuvad esialgset ülevaadet meetodite käitumisest, kuid täpsema valideerimise jaoks on tulevikus vaja täiendavaid märgendatud andmeid. Selline analüüs on oluline loomaks alust süsteemile, mis võiks tulevikus aidata hinnata kliendi emotsionaalset hoiakut või rahulolu. Töö tulemuste põhjal on võimalik anda soovitusi sobivaima transkriptsioonimudeli valikuks ning hinnata, millistel tingimustel võiks sentimentide automaatne tuvastamine pakkuda lisaväärtust. Edasiste sammudena saab ettevõte kaaluda automaatanalüüsil põhineva prototüübi loomist, mis toetaks salvestiste sisupõhist töötlemist ning võimaldaks tõhustada nii klienditeeninduse kvaliteedikontrolli kui ka andmehaldust.