Exploring SQL-based near real-time conformance checking using Stream Processing Engines

Abstract

Vastavuskontrolli kasutatakse äriprotsesside korrektse toimimise valideerimiseks. Sündmuste logide vastavuse kontrollimist kasutatakse tihti terviklikkuse ja regulatsioonidele vastavuse tagamisel. Andmevoogude töötlemisele keskenduvate platformide arenguga, mis pakuvad peaaegu reaalajas andmetöötlust, saab mittevastavust kiiresti ja täpselt tuvastada. Andmevoogude töötlemise platformid nagu Kafka või Spark on kujundatud andmete töötlemiseks peaaegu reaalajas ja on optimeeritud SQL-i jaoks. Magistritöös uuritakse vastavuse kontrolli võimalikku rakendamist, kasutades SQL-i koos Kafka ja ksqlDB või Spark Structured Streaming platformiga reaalajas andmevoogude vastavuse kontrollimisel. Magistritöös vormistatakse nende platformide asutamise võimalused ning puudused.