Sirvi Kuupäev , alustades "2024-09-19" järgi

Filtreeri tulemusi aasta või kuu järgi

Nüüd näidatakse 1 - 2 2

Design and orchestration of scalable, event-driven serverless data pipelines for internet of things (IoT) applications
(2024-09-19) Poojara, Shivananda Rangappa; Jakovits, Pelle, juhendaja; Srirama, Satish Narayana, juhendaja; Tartu Ülikool. Loodus- jatäppisteaduste valdkond
Asjade Interneti (IoT) seadmete üha suureneva kasutamisega on toimunud tohutu toorandmete kasv. Selliste andmete haldamine hõlmab aga keerulisi ülesandeid, sealhulgas andmete hankimist erinevatest seadmetest erinevates vormingutes, filtreerimine ja teisendamine, ning masinõppe rakendamine. Selliste andmevoogude voo ja elutsükli tõhus haldamine on märkimisväärne väljakutse. Selleks, et saavutada madal latentsus ja muud teenusekvaliteedi (QoS) mõõdikud, võetakse üha enam kasutusele pilvepõhise IoT andmetöötluse asemel serva ja udu arvutusmudeleid. See muudab andmeanalüüsi ülesannete dünaamilise täitmise keerukamaks erinevatel kaugustel ja heterogeenses riistvaras. Üks lähenemisviis Asjade Interneti andmetöötluse realiseerimiseks on monoliitsete konteinerrakenduste kasutamine, mis kondavad andmetoimingud ühte konteinerisse. Selliseid konteinereid saab migreerida üle IoT kihtide (serv, udu, pilv), et optimeerida teenuse kvaliteedi (QoS) mõõdikuid. Monoliitsete konteinerite kasutamine võib tõhusat andmehaldust nõudvate andmepõhiste Asjade Interneti rakenduste väljatöötamisel tekitada väljakutseid ja keerukust. Sujuva ühenduvuse tagamisel ja andmetoimingute skaleerimisel võib tekkida ka muid probleeme. Teised olemasolevad lahendused, nagu suured andmetöötlusklastrid (nt Apache Flink või Spark) ja valmistööriistad, võivad ressursipiirangute (serva- ja uduseadmed) ja asjade Interneti-rakenduste sündmustepõhise olemuse tõttu olla ebausaldusväärsed. Hüpoteesiks on, et seda saab lihtsustada serverivabade arvutuste ja andmekonveierite kasutusele võtuga. Serverivabade arvutuste kasutamisel saab andmeanalüütilisi ülesandeid luua individuaalselt skaleeritavate virtuaalsete funktsioonidena ja neid sündmustepõhiselt täita. Andmekonveierid võimaldavad koondada üksikud andmetöötlusülesanded suureks hajutatud andmevooks. Mõlema mudeli kombineerimisel saab luua serverivabad andmekonveierid (SDP), kus serverivabu funktsioone kasutatakse konveieriülesannetena ja neid saab sujuvalt välja kutsuda, kui andmed konveieri kaudu liiguvad. Servervabu funktsioone saab lihtsasti käivitada pilve-, serva- või udukeskkondades ning andmeedastuseks, marsruutimiseks ja funktsioonide kutsumiseks kasutatakse andmekonveieri tehnoloogiaid. Selle lõputöö eesmärk on adresseerida andmetöötluse kriitilisi aspekte asjade Interneti (IoT) keskkondades, keskendudes üleminekule konteineritelt serverivabale arhitektuuridele. Esmalt analüüsitakse kitsaskohti traditsioonilistes monoliitsetes konteineripõhistes IoT andmetöötluse lähenemisviisides. Seejärel uuritakse serverivaba andmetöötluse rakendamist asjade Interneti keskkondades kui potentsiaalset lahendust monoliitsete arhitektuuridega seotud väljakutsete ületamiseks. Lõpuks analüüsitakse serverivabade andmetöötlusraamistike skaleeritavust asjade Interneti stohhastiliste töökoormuste haldamisel. Sellel väitekirjal on kolm panust. Esimene on uudne simulaator ja raamistik konteinerite orkestreerimiseks IoT keskkondades koos gradiendipõhise tagasilevitamise lähenemisviisiga (GOBI ja GOBI*) ajastamiseks, mis on effektiivsem olemasolevatest planeerijatest. Teine panus hõlmab kolme disaini lähenemist serverivabade andmekonveierite (SDP) loomiseks ja nende sobivuse analüüsi erinevate asjade Interneti rakenduste jaoks. Standardsetel andmevootööriistadel (DFT) põhinevad SDP-d ei sobi arvutusmahukate ülesannete jaoks, nagu videotöötlus, kuid need on tõhusad laia ribalaiust vajavate rakenduste jaoks. Objektisalvestusteenusel (OSS) põhinevad SDP-d sobivad paremini arvutusmahukate toimingute jaoks ja MQTT-põhised SDP-d sobivad latentsustundlike toimingute jaoks, kuid mitte arvutus- ja ribalaiustundlike ülesannete jaoks, kuna protsessori ja mälu kasutus on suurem. Kolmas panus on reaktiivsete automaatse skaleerimise mehhanismide sobivuse analüüs SDP jaoks nelja erineva töökoormuse mustri korral. Arvutusmahukate ülesannete puhul töötab ressursipõhine skaleerimise lähenemisviis tõhusalt hüppelise, püsiva, järsu ja kõikuvate töökoormuste korral. Lühikese täitmisajaga ülesannete jaoks sobib töökoormusepõhine skaleerimine kõigi nelja töökoormuse korral. See lõputöö käsitleb IoT andmete töötlemise keerukust ja väljakutseid üleminekul monoliitsetelt konteineriarhitektuuridelt serverivabadele pilvearvutusmudelitele asjade Interneti andmete töötlemisel. Töö väljundid aidatvad asjade Interneti arendajatel valida kõige sobivaamad andmetöötlusmehhanismid, võttes arvesse selliseid tegureid nagu vabad arvutusressursid, ribalaius, energiatarbimine ja latentsus, täites samal ajal tundlikke QoS nõudeid.
Empowering machine learning pipelines with automated feature engineering
(2024-09-19) Eldeeb, Hassan Abdulgaleel Hassan Salim; El Shawi, Radwa Mohamed El Emam, juhendaja; Tatu Ülikool. Loodus- ja täppisteaduste valdkond
Suurandmete ajastul on esile kerkinud automaatne masinõpe (AutoML), mis üritab tasakaalustada ühelt poolt kasvavaid andmemahte ja teiselt poolt piiratud andmeteaduse oskusteavet. Tehnoloogia aluseks on raamistikud, mis automatiseerivad keerulise ja iteratiivse masinõppemudelite loomise protsessi, laiendades seeläbi andmeanalüüsi kättesaadavust ja tõhusust. Üheks keskpunktiks on innovatsioon automaatses omaduste väljatöötamises (Feature Engineering, FE). See on oluline, kuid traditsiooniliselt töömahukas samm, mis suurendab mudeli täpsust andmeatribuutide intelligentse valimise ja muundamise kaudu. Siin peitub BigFeat'i olulisus. See on uuenduslik raamistik, mis on hoolikalt konstrueeritud FE protsessi automatiseerimiseks ja uuendamiseks. BigFeat eristub sellega, et ühendab sujuvalt skaleeritavuse seletatavusega, tagades, et omaduste automaatne genereerimine ei varjutaks mudeli ennustuste taga olevat põhjendust. Põhjalikul võrdlemisel olemasolevate raamistikega on BigFeat järjepidevalt näidanud paremat tulemust, pakkudes märkimisväärseid täpsuse parandusi mitmekesistel andmekogumitel. Raamistiku disain, mis keskendub dünaamilisele omaduste genereerimisele ja valikule mitte ainult ei tõsta mudeli sooritust, vaid säilitab ka kasutaja usalduse ja mõistmise jaoks hädavajaliku tõlgendatavuse. BigFeat'i juurutamine tähistab olulist verstaposti AutoML maastikul, pakkudes tugevat lahendust, mis demokratiseerib keeruka andmeanalüüsi. FE-s ulatusliku domeeniteadmiste vajaduse leevendamisega annab BigFeat laiemale kasutajate hulgale võimaluse kasutada masinõpet, edendades innovatsiooni üle mitmete valdkondade.