Emergent Theory of Mind (ToM) from Token Merging

Abstract

Suured keelemudelid, kasutades süvaõppe meetodeid, annavad üllatavaid tulemusi inimtasemel jõudluse saavutamisel mitmesugustes ülesannetes, eriti see näitab tehisintellekti (AGI) võimekust ja valeuskumuste mõistmist ainult keeleõppest. See viitas tugevale seosele vaimuteooria (ToM) ja keeleõppe vahel, mida on psühholoogia valdkonnas kaua uuritud. See tõstatab küsimuse, kas see on sama ka nende süvaõppe keelemudelite puhul. Selles suunas keskendub lõputöö loomuliku keele mõistmise ülesandele (semantiline klassifikatsioon) ja esitab hüpoteesi, et peale statistika põhineb keelemudeli mõistmine koolitusest tulenevale süvastruktuurile. See struktuur ei ole aga otseselt juurdepääsetav, vaid ainult testide kaudu, nagu ka psühholoogia ToM-i uuringud. Seega on käesolevas lõputöös välja pakutud meetod – Token Merge, mis võimaldab testida struktuuri olemasolu. Eksperimendi tulemus annab positiivset tagasisidet väljapakutud hüpoteesi toetamise kohta ning annab ka järjestuse soorituse tähtsuse kohta grammatilise märgistamise teel.