From data to fair decisions: on ensuring fairness in machine learning models

Abstract

Masinõppesüsteemid on märkamatult saanud paljude igapäevaste otsuste lahutamatuks osaks. Näiteks otsustatakse nende abil, keda kutsuda töövestlusele, milline laenutaotlus heaks kiita ja millist meditsiinilist järelravi soovitada. Need süsteemid suudavad töödelda tohutuid andmemahte ja teha otsuseid mahus, millega ükski inimene ei suudaks konkureerida. Sellise tõhususega kaasnevad siiski ka riskid: kui alusandmed peegeldavad levinud ühiskondlikke eelarvamusi, võivad nende abil loodud mudelid seada teatud isikuid või rühmi süstemaatiliselt ebasoodsamasse olukorda nende soo, vanuse või etnilise päritolu tõttu. Käesolev väitekiri esitab keerulise, ent otsekohese küsimuse: kuidas luua mudeleid, mis jäävad täpseks, kuid kohtlevad erinevaid rühmi õiglasemalt? Väitekiri läheneb sellele probleemile kolmest teineteist täiendavast vaatenurgast. Esiteks tutvustatakse meetodit The Fairness Stitch (õigluse kiht), mis sekkub sügavate närvivõrkude sisemistesse kihtidesse, selle asemel et piirduda üksnes lõpliku väljundkihi kohandamisega. Sellisel moel sisemist esitusviisi muutes on võimalik oluliselt vähendada varjatud kallutatust, säilitades samal ajal mõistliku ennustustäpsuse. Teiseks pakub töö välja rühmapõhise treenimisskeemi, mis määrab eri demograafiliste rühmade puhul vigadele erinevad karistused, julgustades mudelit toimima usaldusväärselt mitte ainult enamusrühmas, vaid ka rühmades, mis on andmetes tavaliselt alaesindatud või süsteemselt ebasoodsas olukorras. Kolmandaks arendatakse väitekirjas graafipõhist meetodit ebausaldusväärsete treeningsiltide tuvastamiseks ja parandamiseks, pöörates erilist tähelepanu olukordadele, kus mõned rühmad on teistest rohkem mõjutatud suuremast müratasemest või enam kallutatutud märgistamisprotsessist. Koos näitavad need kolm uurimissuunda, et õiglus ei pea olema pelgalt tagantjärele lisatud kaalutlus. Sekkudes mudeli arhitektuuri, treeningueesmärki ja andmete kvaliteeti, on võimalik luua klassifitseerijaid, mis on rühmade lõikes tasakaalustatumad, kuid toimivad üldiselt siiski hästi. Saadud tulemused pakuvad praktilisi tööriistu ja disainipõhimõtteid organisatsioonidele, kes soovivad kasutada masinõpet vastutustundlikult suurt mõju omavate otsuste tegemisel.Machine learning systems have quietly become integral to many everyday decisions, such as who is invited to a job interview, which loan application is approved, and what kind of medical follow-up is recommended. These systems can process vast amounts of data and make decisions at a scale no human could match. Still, this efficiency comes with a risk: when the underlying data reflect existing social biases, the resulting models may systematically disadvantage specific individuals or groups based on characteristics such as gender, age, or ethnicity. This thesis poses a demanding yet straightforward question: How can we build models that remain accurate while treating different groups more fairly? The thesis approaches this challenge from three complementary directions. First, it introduces a method termed 'The Fairness Stitch', which intervenes inside the layers of deep neural networks rather than only adjusting the final output layer. By modifying the internal representation in this way, the method can substantially reduce hidden biases while maintaining a reasonable level of predictive accuracy. Second, the work proposes a group-level training scheme that assigns different penalties to errors across various demographic groups, thereby encouraging the model to perform robustly not only on the majority group but also on groups that are typically underrepresented or systematically disadvantaged in the data. Third, the thesis develops a graph-based technique for identifying and correcting unreliable training labels, with particular attention to settings in which some groups are exposed to noisier or more biased labelling processes than others. Together, these three lines of work show that fairness does not have to be an afterthought. By intervening in the model architecture, the training objective, and the quality of the data, it is possible to obtain classifiers that are more balanced across groups while still performing well overall. The results provide practical tools and design principles for organisations that wish to use machine learning responsibly in high-stake decision-making.