Exploring Data Quality Management Challenges and the Emerging Role of AI Solutions

Abstract

High-quality data is essential for reliable decision-making and efficient operations across organizations. However, managing data quality (DQ) remains a complex and resource-intensive challenge. In response, artificial intelligence (AI) has been increasingly integrated into data quality tools. Yet, there is limited understanding of whether these AI-powered tools meet the practical needs of data professionals. This study addresses this gap by investigating how current AI-enabled data quality tools address the practical needs and challenges faced by data professionals. Using a mixed-methods approach, the study combines semi-structured expert interviews with a structured analysis of 28 AI-enabled data quality tools. Interview findings reveal persistent challenges such as limited support for unstructured data, low explainability, fragmented workflows, and minimal involvement of business users. While many tools perform well in data profiling, rule-based validation, and structured data integration, fewer support collaboration, domain-specific customization, or transparent AI behaviour. Despite progress, most tools fall short of meeting the complex and context-driven demands of enterprise-level data quality management (DQM).

Kvaliteetsed andmed on eelduseks usaldusväärsete otsuste tegemisel ja tõhusa tegevuse tagamisel igas organisatsioonis. Andmekvaliteedi haldamine on aga jätkuvalt keeruline ja ressursimahukas väljakutse. Järjest enam on hakatud integreerima tehisintellekti (TI) andmekvaliteedi tööriistadesse. Siiski on piiratud arusaam sellest, kas need TI-põhised tööriistad suudavad vastata andmespetsialistide praktilistele vajadustele. Käesolev töö käsitleb, kuidas praegused TI-toega andmekvaliteedi tööriistad vastavad andmespetsialistide vajadustele ja väljakutsetele. Uuringus kasutatakse kombineeritud metoodikat - poolstruktureeritud ekspertintervjuud ja 28 AI-toega andmekvaliteedi tööriista struktureeritud analüüs. Intervjuude tulemused toovad esile mitmeid probleeme, sealhulgas piiratud tuge struktureerimata andmetele, madalat selgitatavust, killustatud töövooge ning vähest ärikasutajate kaasatust. Kuigi paljud tööriistad toimivad hästi andmete profileerimisel, reeglipõhisel valideerimisel ja struktureeritud andmete integreerimisel, toetavad vähesed neist koostööd, valdkonna spetsiifilist kohandamist või läbipaistvat TI-käitumist. Vaatamata edusammudele ei ole enamik tööriistu veel kooskõlas spetsialistide tegelike vajaduste ja andmekvaliteedi haldamise kontekstitundliku keerukusega.