Codes for distributed storage

Abstract

Allikatest nagu video, audio ja tekst genereeritakse suuri andmehulki, ja need hulgad endiselt aastast aastasse suurenevad, nii et nende talletamine nõuab andmete terviklikkust ja kättesaadavust garanteerivaid jätkusuutlikke andmetalletussüsteeme. Hajustalletussüsteemid (HTS-d) pakuvad madala hinnaga, töökindlat ja stabiilset lahendust. HTS talletab andmeid potentsiaalselt ebatöökindlates talletussõlmedes liiaga, mis garanteerib süsteemi töökindluse. Efektiivsed andmeuuenduse ja parandusmehhanismid on stabiilsuse hoidmiseks kriitilised, eriti sõlmede tõrgete korral. See dissertatsioon esiteks konstrueerib uuendusefektiivsed koodid, mis põhinevad lõplikel projektiivsetel tasanditel ja mis võimaldavad efektiivset lokaalset ja suure saadavusega parandust. Konstrueeritakse hõredad genereeriv- ja paarsuskontrollimaatriksid, mis võimaldavad ka efektiivseid ja paindlike sagedustega uuendusi. Samuti hinnatakse neid koode kasutava HTS-i jõudlust. Kaks talletuskoodide võtmesuurust on sõlmemahtuvus ja paranduse läbilaskevõime, mille omavahelist vastandlikkust kirjeldab lõiketõke. Enamus uurimusi keskendub täpsele parandusele, kus mittetöötava sõlme andmed taastatakse täpselt. Seevastu funktsionaalne parandus, mille korral ei taastata mittetöötava sõlme andmeid täpselt, seejuures siiski tagades andmete terviklikkust, võimaldab saavutada muul viisil mittesaavutatavaid punkte lõiketõkkel. Dissertatsioon konstrueerib uue optimaalse ja funktsionaalse parandusega koodi, mis põhineb vektorruumitükeldusel 9-mõõtmelises binaarses ruumis, ja millel on tugev seos projektiivse tasandiga $\PG(2,8)$. Sellel talletuskoodil on ka efektiivne parandusalgoritm, mida kirjeldatakse geomeetriliselt ja algebraliselt.

Vast amounts of data are generated from sources like video, voice, and text, and these amounts are still growing yearly, requiring sustainable storage systems for data integrity and availability. Distributed Storage Systems (DSS's) offer a low-cost, reliable, and stable solution. A DSS stores data across potentially unreliable storage nodes by adding redundancy to ensure system reliability. Efficient update and repair mechanisms are critical for maintaining stability, especially during node failures. This thesis first constructs update-efficient codes based on finite projective planes, featuring efficient local repair and large repair availability. Sparse generator and parity-check matrices are provided that also allow efficient updates with flexibility in update frequencies. The performance of a DSS using these codes is also evaluated. Two key concepts in storage codes are node capacity and repair bandwidth, where the possible trade-offs between them are determined by the cutset bound. Most research focuses on exact repair, where lost node data is recovered exactly. However, functional repair, which does not recover lost node content exactly but still maintains data integrity, allows to reach otherwise unattainable points on the cutset bound. This thesis constructs a new optimal functional-repair code based on a vector space partition in 9-dimensional binary space, strongly related to the projective plane $\PG(2,8)$. This storage code also has an efficient repair algorithm which is described both geometrically and algebraically.