2. Kaitsmiseks esitatud doktoritööd. Pre-Theses only

Selle kollektsiooni püsiv URIhttps://hdl.handle.net/10062/38

Vaata ka

Doktoritööd edastab TÜ Kirjastus vastavalt ülikoolisisesele korrale.
Autoril palume hoolikalt jälgida autoriõiguslikke aspekte ja edastada õigeaegselt informatsioon väitekirja nende osade kohta, mille avaldamiseks õigused puuduvad (ilmunud artiklid, graafilised materjalid etc)

Sirvi

Nüüd näidatakse 1 - 1 1

Aligning training loss to evaluation metrics in deep learnin
(Tartu Ülikooli Kirjastus, 2025-12-29) Komisarenko, Viacheslav; Kull, Meelis, juhendaja; Tartu Ülikool. Loodus- ja täppisteaduste valdkond
Viimaste aastate edusammud masinõppes on kiirendanud masinõppesüsteemide kasutuselevõttu paljudes valdkondades ning tulemused ületavad sageli nii algoritmilisi baastasemeid kui ka mõnel juhul inimsooritust. Selle arengu on võimalikuks teinud mitmed vastastikmõjus olevad tegurid, sealhulgas suurte ja üha kvaliteetsemate andmestike kättesaadavus, rikkalikke kõrgemõõtmelisi esitusi võimaldavad tehisnärvivõrgude arhitektuurid ning optimeerimisprotseduurid, mis on praktikas piisavalt skaleeruvad. Optimeerimisvalikute hulgas on keskne roll kaofunktsioonil, mida võib vaadelda kui mõõdikut, mis määrab trahvi suuruse ennustava mudeli igale eksimusele. Kaofunktsioon defineerib optimeerimismaastiku ja selle abil määratakse, kuidas mudeli kaalusid treenimise käigus muudetakse. Klassifitseerimisel on kaofunktsiooni vaikevalikuna kasutatud näiteks ristentroopiat. Kui aga suuri mudeleid treenitakse ristentroopiaga, võib mudeli ennustustes ilmneda liigne enesekindlus, ning see halvendab mudeli usaldusväärsust nendele ennustustele tuginevates rakendustes. Kuna masinõppesüsteemid on üha enam põimitud otsustusprotsessidesse, on konkreetses rakendusvaldkonnas olulise hindamismõõdiku alusel sooritust parandava kaofunktsiooni valimine muutunud oluliseks praktiliseks väljakutseks. Lisaraskusi tekitab asjaolu, et sooritust hinnatakse lõpuks hindamismõõdikutega, mis võivad olla katkevuspunktidega, mitte-diferentseeruvad või väga ülesandespetsiifilised. Sellised mõõdikud ei ole sageli treenimiseks otseselt sobivad, mistõttu kasutatakse asenduskaofunktsioone, nagu näiteks ristentroopia. See võib aga tekitada ebakõla treeningul optimeeritava eesmärgi ja lõpprakenduses olulise eesmärgi vahel. Klassikalistest mõõdikutest, nagu täpsus, paljudes kaasaegsetes rakendustes ei piisa, mistõttu toetuvad praktikud üha enam hinnatundlikele mõõdikutele, mis kaaluvad vigu vastavalt nende tähtsusele, ja kalibreerituse mõõdikutele, mis mõõdavad tõenäosuslike ennustuste kvaliteeti. Need mõõdikud kajastavad usaldusväärsuse aspekte, mida täpsus üksi väljendada ei suuda, ning on seetõttu muutunud olulisteks tööriistadeks soorituse hindamisel praktilistes rakendustes. Käesolev väitekiri koosneb kolmest omavahel seotud uurimusest, mille eesmärk on parandada treenimisel kasutatavate kaofunktsioonide ja praktikas oluliste hindamismõõdikute vahelist joondatust. Esimene uurimus käsitleb kaofunktsiooni valikut hinnatundlikus klassifitseerimises, kus hindamismõõdik kaalub iga veatüüpi klassispetsiifiliste kuludega, mis on tavaliselt saadud valdkonna ekspertidelt. Praktikas on need kulud harva täpselt teada; selle asemel esinevad need ebakindlate hinnangutena, mis võivad aja jooksul ja kasutustingimuste muutudes teiseneda. Selle ebakindluse modelleerimiseks käsitleme klassispetsiifilisi kulusid etteantud jaotusega juhuslike suurustena ja tuletame kaofunktsioonide perekonnad, mis on matemaatiliselt samaväärsed vale klassifitseerimise eeldatava kuluga antud määramatuse korral. Tuvastame praktikas mugavad jaotuste perekonnad, näiteks beeta-jaotused kuluproportsioonide ja gamma-jaotused toorkulude jaoks, ning näitame, kuidas nende parameetrid määravad keskmist kulu, asümmeetriat ja ebakindlust. Katsed mitmete andmestike ja kulustsenaariumidega näitavad, et mõned tuletatud kaofunktsioonid saavutavad vastavatel hinnatundlikel mõõdikutel järjepidevalt tugeva soorituse, pakkudes põhimõttekindlat alternatiivi \emph{ad-hoc} kaalumisskeemidele. Teine uurimus uurib mudeli kalibreeritust, mis iseloomustab seda, kui hästi vastavad ennustatud tõenäosused tegelikele tinglikele klassitõenäosustele. Mudeli kalibreeritus on hädavajalik mudeli praktilisel rakendamisel, kus ennustatud tõenäosuste põhjal tehakse praktilisi otsuseid. Eriti tähtis on kalibreeritus ohutuse või kulude seisukohalt kriitilistes olukordades. Kuigi ristentroopia on rangelt korralik kaofunktsioon ja teoreetiliselt soodustab kalibreeritud tõenäosusi, on sellega treenitud sügavad tehisnärvivõrgud sageli valesti kalibreeritud. Seevastu fokaalse kaofunktsiooni puhul on korduvalt täheldatud, et see annab paremini kalibreeritud mudeleid isegi ilma hilisema \emph{post-hoc} kohandamiseta. Doktoritöös on seda nähtust uuritud ja näidatud, et fokaalset kaofunktsiooni saab väljendada kahe komponendi kompositsioonina: korralik kaofunktsioon, mida minimeerivad tegelikud klassitõenäosused, ja fikseeritud kalibreerimisfunktsioon, mis sarnaneb temperatuuri skaleerimisega. See dekompositsioon selgitab, miks fokaalne kaofunktsioon on praktikas sageli hästi kalibreeritud, kuna see seob korraliku kaofunktsiooni treenimise ajal rakendatava sisseehitatud kalibreerimisteisendusega. Seda dekompositsiooni on laiendatud laiale lahutuvusomadusega kaofunktsioonide klassile ning on tuletatud valemid nendega seotud korralike komponentide ja kalibreerimisfunktsioonide jaoks. Need tulemused võimaldavad disainida uusi kaofunktsioone, millel on soovitud kalibreerimis- ja eristusomadused. Mitmed töös tuletatud uued kaofunktsioonid koos nende juurde kuuluvate kalibreerimisfunktsioonidega saavutavad täpsuse ja kalibreerituse osas tulemusi, mis on konkurentsivõimelised või paremad kui standardsed baastasemed. Kolmas uurimus käsitleb lõhet treenimisel kasutatavate hindamismõõdikute ja rakendusepõhiste kasufunktsioonide vahel, kus kasufunktsioonid kvantifitseerivad mudeli ennustustel põhinevate otsuste domeenispetsiifilist väärtust. Rakendusepõhised kasufunktsioonid võivad sõltuda kontekstist tulenevatest teguritest, mis pole treenimise ajal kättesaadavad, ning nende hindamine võib olla kulukas, nõudes mõnikord simulatsiooni või füüsilisi eksperimente. Kui rakendusepõhist kasu ei saa suures mahus arvutada, muutub mudelite valimine keeruliseks. Selle probleemi leevendamiseks on töös välja pakutud meetod, milles valideerimisandmetel treenitud väike närvivõrk aitab treenimisel kasutatavat hindamismõõdikut paremini joondada rakendusepõhise kasufunktsiooniga. Töös on analüüsitud tingimusi, mille korral sellised teisendused säilitavad korralikkuse, ja demonstreeritud meetodi rakenduvust mitmes ülesandes, sealhulgas laoseisu optimeerimise probleemi korral. Selle meetodiga saab rakenduse jaoks hästi sobiva mudeli valida ka olukorras, kus rakendusepõhise kasufunktsiooni otsene hindamine on ebapraktiline. Kokkuvõttes näitavad selle väitekirja tulemused treenimisel kasutatava kaofunktsiooni ja hindamismõõdiku joondamise olulisust. Töös on uuritud, kuidas erinevad kaofunktsiooni valikud kujundavad treenitava mudeli ennustuslikku käitumist, ning loodud meetodeid mudelite soorituse parandamiseks rakendusvaldkonnas olulistel mõõdikutel.

Sirvi

Sirvi 2. Kaitsmiseks esitatud doktoritööd. Pre-Theses only Autor "Komisarenko, Viacheslav" järgi