Hard and Soft Tuning of Spark Ecosystem Toward Query Energy Efficiency

Lühendatud kirje lehekülg
dc.contributor.advisorDembele, Simon Pierre, juhendaja
dc.contributor.authorBakhshiyev, Tofig
dc.contributor.otherTartu Ülikool. Loodus- ja täppisteaduste valdkondet
dc.contributor.otherTartu Ülikool. Arvutiteaduse instituutet
dc.date.accessioned2024-10-03T12:51:29Z
dc.date.available2024-10-03T12:51:29Z
dc.date.issued2024
dc.description.abstractKäesolevas töös uuritakse TPCH päringute täitmise energiatõhusust Apache Sparki raamistikus, keskendudes selgesõnaliselt erinevatele failivormingutele (Parquet, CSV, Avro ja TBL) ja erinevatele partitsioonide suurustele iseseisvas konfiguratsioonis. Hindamisel mõõdetakse energiakulu andmete lugemise ja päringu töötlemise faasis. Esmalt võrreldakse Parquet, CSV ja Avro formaatide omadused, analüüsides nende mõju Sparki päringute sooritamisele. Lisaks uuritakse Sparki eraldiseisvat konfiguratsiooni, uurides klastri seadistusi, ressursside jaotust ja riistvara optimeerimist, mis mõjutavad energiakasutust päringu täitmise ajal. Selle uurimise lahutamatu osa on mõista, kuidas erinevad partitsioonide suurused mõjutavad energiatarbimist. Hindamisel süstemaatiliselt hinnatakse partitsioonide suuruse mõju IO-operatsioonidele, andmete segunemisele ja üldisele energiatarbimisele päringute töötlemisel. Kasutades TPCH päringuid kontrollmõõduna, tehakse katseid erinevate failiformaatide, partitsioonide suuruse ja konfiguratsioonide vahel. Tulemused pakuvad praktilisi teadmisi energiatõhususe suurendamiseks Sparkipõhises suurandmete töötlemises. See uurimus aitab kaasa laiemale arutelule säästliku andmetöötluse teemal, suunates praktikuid tegema energiateadlikke otsuseid Apache Sparki keskkondades.
dc.identifier.urihttps://hdl.handle.net/10062/105091
dc.language.isoen
dc.publisherTartu Ülikoolet
dc.rightsAttribution-NonCommercial-NoDerivs 3.0 Estoniaen
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/ee/
dc.subjectEnergy evaluation
dc.subjectPartitioning
dc.subjectdistributed systems
dc.subjectdata processing
dc.subjectfile formats
dc.subject.othermagistritöödet
dc.subject.otherinformaatikaet
dc.subject.otherinfotehnoloogiaet
dc.subject.otherinformaticsen
dc.subject.otherinfotechnologyen
dc.titleHard and Soft Tuning of Spark Ecosystem Toward Query Energy Efficiency
dc.typeThesisen

Failid

Originaal pakett

Nüüd näidatakse 1 - 1 1
Pisipilt
Nimi:
Bakhshiyev_computer_science_2024.pdf
Suurus:
5.19 MB
Formaat:
Adobe Portable Document Format
Lae alla

Kollektsioonid

LTAT magistritööd – Master's theses