Impact of Initialization Methods on Energy Requirements in SNNs

Abstract

Impulss-neurovõrgud on laialdaselt tunnustatud kui energiasäästlikud alternatiivid tavalistele neurovõrkudele. On põhjalikult uuritud, kuidas ehitada võimalikult energiasäästlikke impulss-neurovõrke ilma konkureerivaid tulemusi ohverdamata, kuid õpitavate parameetrite initsialiseerimine vajab veel uurimist. Selles töös ehitatakse mitu impulss-neurovõrku piltide klassifitseerimiseks MNIST ja FashionMNIST andmestikel. Õpitavate parameetrite algsete väärtuste mõju analüüsitakse võrreldes keskmist impulsside arvu võrkudes peale treenimist. Leitakse, et mudelid, mille kaalud initsialiseeritakse madalamast vahemikust toodavad oluliselt vähem impulsse kui teised mudelid. Neuronite ajakonstantide initsialisatsioon impulsside arvu treenitud mudelis ei mõjuta.