Modelling Creativity Using Artificial Neural Networks

Abstract

The mental processes and algorithms that lead to creativity are still largely unknown. Psychological theories suggest that creativity arises from a balance between associative memory structure and the executive processes that retrieve and recombine information. In this thesis, I explore whether artificial neural networks can exhibit creative-like behaviour through controlled entropy modulation. Using the Continuous Generative Flow Network (C-GFN), a biologically inspired architecture, I simulate the impact of increased stochasticity on creative output. By varying the standard deviation in the model’s inner dynamics, I test the hypothesis that higher internal entropy leads to more creative outputs, as the entropy modulation theory of creativity predicted. As a result, models with elevated entropy not only generated more diverse symbolic representations but also did so more quickly and covered a greater distance in their latent space, emulating the faster-and-further phenomenon observed in human creativity research. These findings provide computational support for the associative and executive theories of creativity and highlight the role of entropy modulation in creative behaviour. Loovusega seotud protsesse ja algoritme mõistetakse siiamaani üsna kehvasti. Psühholoogias levinud teooriate kohaselt sünnib loovus assotsiatiivse mälu struktuuri ja sellel toimivate algoritmide tulemusel. Selles bakalaureusetöös uurin, kas tehisnärvivõrkudel põhinevat mudelit saab panna loovamalt käituma, kui selle protsesse mõjutada entroopiat ehk suvalisuse määra muutes, nagu väidab entroopia modulatsiooni teooria. Selle hüpoteesi testimiseks kasutan Continuous Generative Flow Network (C-GFN) mudelit, mille arhitektuur on inimajust inspireeritud. Et hüpoteesi uurida, vaatlen suurenenud entroopia mõju mudeli väljundite loomingulisele. Selleks mõjutan katsetes mudeli standardhälvet, mida see kasutab oma sisemistes protsessides otsuste langetamiseks. Katsete tulemusel selgus, et suurema entroopiaga mudelid tootsid mitmekesisemaid väljundeid, need asetsesid mudeli semantilises ruumis algsest sisendist kaugemal ja see kõik toimus kiiremini, kui madalaentroopia mudelites. Selline käitumine viitab "faster-and-further" ehk kiiremini ja kaugemale fenomenile, mida on loova mõtlemisega seostatud. Need tulemused toetavad loovuse assotsiatiivset ja täidesaatvat teooriat ning rõhutavad entroopia dünaamilise muutmise tähtsust loovas käitumises.