Algorithms using information theory: classification in brain-computer interfaces and characterising reinforcement-learning agents

Abstract

Informatsiooniteooria on matemaatika haru, mis on teoreetiliseks aluseks tänapäeva kommunikatsioonitehnoloogiatele. Samuti on informatsiooniteooria abil proovitud defineerida abstraktseid mõisteid nagu autonoomsus. Antud töös kasutataksegi äsja nimetatud informatsiooniteooria rakendusi masinõppes esile tulnud probleemide lahendamiseks. Kommunikatsioonivaldkonnast käsitleti aju-arvuti liideseid (AAL). AAL on otsene suhtluskanal kasutaja aju ja välise seadme vahel - seega võimaldab "mõttejõul" seadmeid juhtida. Väliseks seadmeks võib olla näiteks arvuti või elektriline ratastool. AAL kasutab käskude tuvastamiseks kasutaja ajust pärit signaale, mida saab mõõta pea peale paigutatud elektroodidega. Teist rakendust, nimelt informatsiooniteoorial põhinevat autonoomsuse mõõtmist kasutati antud töös stiimulõppe agentide käitumise iseloomustamiseks. Stiimulõpe on teatavat tüüpi masinõpe, milles agent õpib keskkonnast saadud tagasiside põhjal.

Antud töös töötati välja algoritmid, mis põhinevad informatsiooniteooria tulemustel. AALide puhul kasutatakse informatsiooniteooria vahendeid informatsiooni edastamise kiiruse mõõtmiseks. Seda kasutatakse laialdaselt AALide efektiivsuse mõõdikuna. AALide puhul keskenduti antud töös küsimusele, kas on võimalik leida optimaalne klassifitseerija AALi jaoks ning mis eeldustel see oleks optimaalne. Töötati välja algoritmid optimaalse klassifitseerija leidmiseks.

Stiimulõppe agentide puhul saab informatsiooniteooriat kasutada agentide autonoomsuse ja teiste käitumist iseloomustavate suuruste mõõtmiseks. Stiimulõppe puhul tugineti antud töös olemasolevatele informatsiooniteooriast pärit mõistetele, mille abil saab mõõta agentide autonoomsust ja keskkonna internaliseeritust. Lisaks kasutati osalist informatsiooni lahutamise meetodit. Antud töö panus stiimulõppe valdkonnas on algoritm nende informatsiooniteooria suuruste mõõtmiseks; see võimaldab masinõppega treenitud agentide käitumist iseloomustada.Information theory is a branch of mathematics that forms a theoretical basis for today's communication technologies. Also, information theory has been used to give definitions of abstract notions like autonomy. This thesis uses just mentioned applications of information theory to tackle problems in different machine-learning frameworks. In the field of communication, brain-computer interfaces (BCIs) were considered. A BCI is a direct communication channel between the user's brain and an external device - thus, it allows controlling devices directly "by thought". An external device could be, for example, a computer or an electric wheelchair. A well-working BCI would allow a user to control devices using only brain signals measured with electrodes placed on the head. The second application of information theory, measuring autonomy, was used to characterise the behaviour of reinforcement-learning (RL) agents. RL is a type of machine learning in which an agent learns by getting feedback from an environment.

This thesis introduces algorithms that are based on information theory results. In the case of BCIs, information theory is used to measure the amount of information the BCI can send in a unit of time, acting as an abstract performance measure. The BCI-related contributions tackled the question of whether it is possible to find an optimal classifier for BCIs and under which conditions the rule is optimal. Algorithms that find the optimal classifier are introduced.

In the case of RL agents, information theory is used to quantify the agent's degree of autonomy and other characterising measures. This contribution relies on already existing information-theoretic definitions of autonomy and the agent's internalisation of the environment. Also, an already existing method called partial information decomposition is used. An algorithm is introduced to calculate the information-theoretic measures; this helps to characterise RL agents' behaviour.