Märgendite silumine klassifikaatorite logistilisel kalibreerimisel

Abstract

Antud töös kirjeldati põhjalikult tõenäosuslike klassifikaatorite kalibreerimist logistilise kalibreerimise ehk Platti skaleerimise meetodiga. Töö käigus viidi läbi eksperimendid otsimaks logistilise kalibreerimise meetodi silumismäära väärtusest paremat väärtust. Eksperimendid viidi läbi sünteetilistel andmestikel, varieerides nii klasside suurust kui klassijaotust. Eksperimentide tulemustest sai teada, et Platti skaleerimise meetodis valitud silumismäär pole ühelgi vaadeldaval andmestikul optimaalne. Veel leiti, et optimaalne silumismäär sõltub lisaks klasside suurusest ka mudeli veamäärast.

This thesis gives a detailed overview of calibrating probabilistic classifiers with logistic calibration also known as Platt scaling. Experiments were carried out to find better label smoothing parameter values than what is used in logistic calibration. Experiments were carried out on toy datasets, varying the size and distribution of classes. The results also show that the current label smoothing parameter formula for Platt scaling is not the optimal value for any of the chosen datasets. It is also noteworthy that the optimal label smoothing parameter depends on both class size and error rate.