Konvolutsiooniliste närvivõrkude kalibreerimine
| dc.contributor.advisor | Meelis Kull | |
| dc.contributor.author | Kängsepp, Markus | |
| dc.date.accessioned | 2019-10-15T09:26:43Z | |
| dc.date.available | 2019-10-15T09:26:43Z | |
| dc.date.issued | 2018 | |
| dc.description.abstract | Süvanärvivõrgud koguvad aina populaarsust ja tänapäeval on need kasutusel ka mitmetes praktilistes rakendustes. Sellest hoolimata, ainult klassi märgendi ennustamine ei pruugi olla enam piisav, sest mõningatel aladel on ka tähtis teada, kui kindel mudel enda väljundis on. Hiljuti näidati, et sügavate närvivõrkude ennustused pole nii hästi kalibreeritud, võrreldes madalamate võrkudega. Näiteks sügavad närvivõrgud kipuvad olema liigselt enesekindlad.Aastal 2017, Guo et al. avaldas temperatuuri skaleerimise (temperature scaling) meetodi (Guo et al., 2017) ning võrdles seda teiste olemas olevate kalibreerimismeetoditega. Samal aastal avalikustas Kull et al. beta kalibreerismeetodi (beta calibration) (Kull et al., 2017), kuid seda ei testitud närvivõrkudel. Antud töö käigus hinnati beta kalibreerimise headust konvolutsioonilistel närvivõrkudel ja selleks, et võrrelda tulemusi teiste kalibreerimismeetoditega, on osa Guo et al. tulemustest replitseeritud.See lõputöö võrdleb histogrammimeetodit (histogram binning), isotoonilist regressiooni (isotonic regression) ja temperatuuri skaleerimine Guo et al. artiklist ja beta kalibreerimist Kull et al. artiklist erinevatel uusimatel konvolutsioonilistel närvivõrkudel. Lisaks Guo et al. poolt kasutatavatele kaomõõtudele (loss measure), lisati võrdlusesse Brieri skoor. Töös saadud tulemused olid kooskõlas Guo et al. tulemustega. Beta kalibreerimine oli enamustel mudelitel veidi halvem, kui temperatuuri skaleerimine. Vaatamata sellele oli veamäära korral beta kalibreerimine vähekene parem, kui teised võrdluses olevad kalibreerimise meetodid. | |
| dc.description.abstract | Deep neural networks have become more popular over time and nowadays these are used for many practical applications. However, the precise output by itself might not be enough, as in some areas it is also important to know how confident the model is. As recently shown, deep neural network predictions are not well-calibrated, in contrast to shallow ones. For example, deep neural networks tend to be over-confident.In 2017, Guo et al. published temperature scaling method (Guo et al., 2017) and compared it to other existing confidence calibration methods. Later that year, Kull et al. published beta calibration method (Kull et al., 2017), however it was not tested on neural networks. The thesis evaluates beta calibration in context of convolutional neural networks and in order to compare the results with other calibration methods, some of the Guo et al. results were replicated.This thesis compares histogram binning, isotonic regression and temperature scaling methods from Guo et al. and beta calibration by Kull et al. on various state-of-the-art convolutional neural networks. In addition to loss measures used by Guo et al., Brier score was added. The results were in accordance with Guo et al. outcome. The beta calibration was a little bit worse for most of the models compared to temperature scaling, however, in case of error rate, it was a bit better compared to temperature scaling. | |
| dc.identifier.uri | http://hdl.handle.net/10062/66188 | |
| dc.language.iso | en | |
| dc.title | Konvolutsiooniliste närvivõrkude kalibreerimine | |
| dc.title.alternative | Calibration of Convolutional Neural Networks | |
| dc.type | Thesis |
Files
Original bundle
1 - 1 of 1