A Functional Prototype and General Architecture of An-alytic Data Management for a Railway Company
Date
2024
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Tartu Ülikool
Abstract
Magistritöö käsitleb andmetehnika ja ärianalüütika temaatikat raudtee-ettevõttes. Töö ees-märk on lahendada EVR-i analüütilise andmehaldusplatvormi moderniseerimisega seotud väljakutseid. Lõputöö üks peamisi uudseid külgi on detailne analüüsipõhine kirjeldust sellest, kuidas EVR-il oleks kõige otstarbekam nii rahaliselt kui ka arhitektuuriliselt oma analüütilist and-mehaldusplatvormi moderniseerida. Töös on avatud hetkeolukord, kirjeldatud lähteandmete nomenklatuuri ning läbi otsustusdimensioonide ja tehnoloogiliste alternatiivide üksikasja-liku analüüsi on jõutud tulevase arhitektuuri teekaardini. Väljapakutud tulevikuarhitektuur toetab paindlikku hübriidset lähenemisviisi, mis ühendab infrastruktuuri kui teenust (IaaS) ja tarkvara kui teenust (SaaS) käitumise mudeleid. Rõhu-tamist väärib, et tasakaal IaaS ja SaaS tarkvara käitamismudelite vahel on kohandatud vas-tavalt andmeallikate tüübile ja keerukusele. Praktilise panusena realiseeritakse töös tulevikuarhitektuuri komponentidele tuginedes kaks kaasust. Esmalt, ostuarvete XML-ide ridade ning teiseks, ülesõitude logiandmete automa-tiseeritud analüüsi- ja andmetöötlusvood. Praktiliste kaasuste jaoks arendatud lahendused baseeruvad mh tehnoloogiatel nagu Dagster andmetöötlusvoogude orkestreerimiseks, Post-gres andmete säilitamiseks ja Streamlit andmete visualiseerimiseks. Sellega annab lõputöö praktilise panuse EVRi andmetöötlusvõimekuse edasisse parandamisse ja valmistab ette tehnilist võimekust ja asutusesisest kompetentsi SaaS andmejärve platvormi kasutuselevõ-tuks. Eeldatavalt saab selleks platvormiks olema Microsoft Fabric. Lõputöö annab üldisema panuse andmehalduse ja andmetehnika valdkonda, pakkudes struk-tureeritud raamistikku analüütiliste lahenduste arhitektuuridisaini loomiseks. Võttes arvesse andmetehnika ja ärianalüüsi suhteliselt mõõdukat varasemat vaagimist raudteesektoris, toetab käesolev lõputöö märkimisväärselt selle teadmislünga ületamist.
Description
Keywords
ETL, data lakehouse, Dagster, Postgres, Streamlit, XML-fetching, railway sector, log-based data mining, predictive maintenance, platform requirements engineering