Serverless Data Pipelines for IoT Data in Edge and Cloud Environments using Microsoft Azure

Abstract

Arengud traadita andmeside võimekuses ja nutikate seadmete tehnoloogias on panustanud asjade interneti seadmete arvukuse kiiresse kasvu. Asjade interneti kasv toodab järjest suuremas koguses erisuguseid töötlemata andmeid, mida on vaja reaalajas analüüsida, et nende abil saaks tõhusalt teha andmepõhiseid ostuseid. Pilvepõhised esemevõrgu andmetöötluslahendused on problemaatilised seoses kõrge latentsuse, hinna ja ribalaiuse kasutusega ja sellest lähtuvalt on rohkem hakatud kasutama servtöötluse põhist lähenemist, et tuua admetöötlus andmete tekkimise kohale lähemale. Selleks et saada kasu voona tekkivate esemevõrgu andmete töötlemiseks nii pilv- kui servtöötlusest samaaegselt, on võimalik luua serverivabu andmekonveiereid, mis kasutavad ära eeliseid, mida pakub funktsioon teenusena lähenemine. Selles töö käigus pakutakse välja serverivaba andmekonveieri lahendus esemvõrgu andmete reaalajas töötlemiseks kasutades Microsoft Azure pilvearvutusteenuste platvormi. Välja pakutud andmekonveierit heli- ja tekstifaili jõuga vastavusse viimiseks testiti katsete käigus, et hinnata selle järjepidevust ja usaldusväärsust ning kuidas kasutatava arvutusvõimsuse muutmine mõjutab jõudlust. Välja pakutud serverivaba andmekonveier oli küllaltki vastupidav ja esines vaid mõni ebaõnnestunud katse, kuid andmekonveieri töötluseks kuluv aeg ei olnud eriti järjepidev. Protsessori võimsuse ja töömälu lisamine serverivaba funktsiooni tarbeks, mis tegeles heli- ja tesktifaili vastavusse viimisega, vähendas ülesandeks kuluvat aega, kui töömälu suurendati 3.5 gigabaidilt 7 gigabaidini. Praeguse testimise käigus täiendav töömälu suurendamine 14 gigabaidini enam funktsiooni täitmiseks kuluvat aega ei vähendanud. Kõige madalam töömälu seadistus osutus kõige kulutõhusamaks, sest serverivabade funktsioonide hind tuleneb kättesaadavate arvutusressursside hulgast ja nende kahevõi neljakordistamise tagajärjel tõusevad ka kulud kaks või neli korda, kuid jõudlus ei paranenud enamasti samas suurusjärgus. Lähtudes selles töös välja pakutud serverivaba andmekonveieri lahendusest jäi mulje, et Azure ei paku väiksemate rakenduste jaoks kulutõhusaid võimalusi, kui need vajavad rohkem funktsionaalsust, kui suudab pakkuda tarbimispõhine plaan. Võimekam premium plaan suudab küll pakkuda vajaliku funktsionaalsust, aga seda pole võimalik vähendada alla ühe töötava instantsi ja väikseim seadistatav töömälu maht on 3.5GB, mistõttu tekib pidevalt arvestataval määral kulusid, isegi kui tegelikult andmeid ei töödelda. Väiksemate rakenduste puhul, mis vajavad rohkem funktsionaalsust, kui pakub Azure’i pakutav tarbimisplaan, tasuks kaaluda teisi teenusepakkujaid, kes pakuvad selliseks olukorraks sobivaid lahendusi madalama hinnaga.