Konvolutsiooniliste neurovõrkude kalibreerimine järkjärgulise külmutamise meetodiga

Abstract

Neurovõrke on väga edukalt kasutatud mitmete valdkondade ja ülesannete juures, neist üks parimaid näiteid on konvolutsiooniliste neurovõrkude kasutamine piltide klassifitseerimiseks. Samas ei saa tihti neid mudeleid siiski usaldada, sest nad on üldjuhul liiga enesekindlad oma ennustustes ehk määravad liiga kõrge tõenäosuse ennustatavale klassile. Selle tõttu on vaja mudeleid kalibreerida. Probleemi lahendamiseks on loodud mitmeid kalibreerimismeetodeid, neist üks tõhusamaid on temperatuuri skaleerimine. Selles töös on kalibreerimiseks, täpsemalt liigse enesekindluse vähendamiseks uurimise all järkjärguline külmutamine. Järkjärgulise külmutamise all mõeldakse meetodit neurovõrgu treenimiseks, kus mingitel hetkel lõpetatakse valitud kihtide kaalude muutmine. Töös kasutati Kängsepa 2018. aasta magistritöö lähtekoodi ja tulemusi. Kõigepealt leiti ühe mudeli ja andmestiku põhjal parimad viisid meetodi rakendamiseks. Valiti kaks järkjärgulise külmutamise skeemi ning seejärel implementeeriti Kängsepa töö abil mitmeid konvolutsioonilisi neurovõrke, rakendati neile järkjärgulist külmutamist ning treeniti neid. Saadud mudelite tulemusi võrreldi Kängsepa töö tulemustega. Kuigi ei saa väita, et uuritud mõõdikute põhjal aitas järkjärguline külmutamine liigset enesekindlust vähendada, siis vähendas külmutamine ajaliste ressursside kasutamist ning saavutas samas paljude mudelite juures sarnaseid tulemusi.