Tõenäosuslike klassifikaatorite liigne enesekindlus ja temperatuuri-skaleerimine

Abstract

Magistritöös keskendume diskriminatiivsetele klassifikaatoritele nagu diskriminantanalüüs, logistiline regressioon ja tehisnärvivõrgud, millest viimased on oma võimekuse tõttu saavutanud möödunud kümnenditel suure populaarsuse. Populaarsusest ja võimekusest hoolimata on selgeks saanud, et suured tehisnärvivõrgud ei ole hästi kalibreeritud ning kipuvad olema liiga enesekindlad (Guo et al. 2017). Mudeli liigne enesekindlus tähendab seda, et olukorras, kus mudel tegelikult ei tea kindlalt, mis on õige väljund, annab ta ikkagi oma otsusele kõrge tõenäosuse. Töö fookuses ongi tõenäosuslike klassifikaatorite liigne enesekindlus ja selle ravimine temperatuuri-skaleerimise meetodi abil. Viimane on praktikas osutunud väga kasulikuks, kuid pole päris selge, miks see meetod ikkagi nii hea on. Magistritöös annamegi esmalt ülevaate temperatuuri-skaleerimise kalibratsioonimeetodist ning mudeli liigsest enese- ja ebakindlusest. Seejärel näitame, et liigne enesekindlus ei ole vaid suurte tehisnärvivõrkude mure vaid esineb teatud juhtudel ka lihtsate mudelite korral nagu diskriminantanalüüs ja logistiline regressioon. Muuhulgas näitame, et mudeli liigne enesekindlus kajastub ka tema treening- ja valideerimisskoorijaotuste erinevuses. Lõpuks tõestame, et vähemalt millistel eeldustel kalibreerib temperatuuri-skaleerimine mudeli ning seletame, miks ta praktikas niivõrd hästi töötab.