Informatsiooni distributsiooni analüüsimine komplekssetes süsteemides

Date

2017

Journal Title

Journal ISSN

Volume Title

Publisher

Abstract

Informatsiooniteooria on populaarne tööriist, mida kasutatakse tihti nii lineaarsete kui ka mittelineaarsete seoste tuvastamiseks dünaamilistes komplekssetes süsteemides.Hiljuti välja töötatud osaline informatsiooni dekompositsioon on täiendus harilikule informatsiooniteooriale, mis võimaldab partitsioneerida kahe sisendi ja ühe väljundi vahelise informatsiooni kolmeks komponendiks: unikaalseks, liiaseks ning sünergiliseks informatsiooniks. Nende suuruste praktiliseks arvutamiseks on Tartu Ülikoolis välja töötatud numbriline lahendaja.Käesolev bakalaureusetöö on esimene omalaadne, pakkudes kolme mudeli näolesimesi näiteid osalise informatsiooni dekompositsiooni praktilisest rakendamisest komplekssete süsteemide analüüsimisel. Esiteks leiti, et Isingu mudelis saavutab sünergia maksimumi korratus demagnetiseerunud režiimis enne faasinihet. Teiseks pakuti välja kvantitatiivne, informatsiooni jaotusel põhinev elementaarsete rakuautomaatide karakterisatsioon. Kolmandaks arutleti, et kuigi pärileviga tehisnärvivõrkude analüüsimine ei osutunud osalist informatsiooni dekompositsiooni kasutades viljakaks, võib informatsiooni jaotuse analüüsimine rekurrentsetes tehisnärvivõrkudes pakkuda huvitavamaid tulemusi.
Information theory is a popular tool that is often utilized to capture both linearas well as non-linear relationships between different parts of dynamical complex systems. Recently, an extension to classical information theory called partial information decomposition has been developed, which allows one to partition the information that two subsystems have about a third one into unique, redundant and synergetic information terms. To calculate these novel quantities in practice, a numerical estimator has been developed at the University of Tartu.This thesis provides the very first examples of applying partial information de-composition in complex systems research. Three complex systems are empirically analysed in terms of partial information decomposition using the numerical estimator. First, the synergy in the Ising model was found to peak while the system wasstill in the demagnetized, disorder regime. Second, a novel automatic and quantitative characterization of elementary cellular automata based on the information distribution in the automata was obtained. Last, feedforward neural networks were discovered not to be amenable to analysis with the current tools.However, it was argued that analysing recurrent neural networks could yield more interesting results.

Description

Keywords

Citation