Flores Macario, Huber Raul, juhendajaOttun, Abdul-Rasheed OlatunjiTartu Ülikool. Loodus- ja täppisteaduste valdkond2025-10-102025-10-102025-10-10978-9908-57-031-0978-9908-57-032-7 (pdf)2613-59062806-2345 (pdf)https://hdl.handle.net/10062/116730Kaasaegsed rakendused tuginevad üha enam masin- ja süvaõppele ehk tehisintellektile (AI, ingl artificial intelligence), et suurendada jõudlust, parandada taju ja pakkuda usaldusväärsemat kasutajakogemust. Vaatamata täiustatud arutlusvõimele on AI-mudelid sageli läbipaistmatud, tekitades muret ohutuse osas ja vähendades usaldust. Regulatiivsed raamistikud rõhuvad usaldusväärsele tehisintellektile, mis on arendatud kooskõlas usaldusväärse andmetöötluse (ingl trustworthy computing) printsiipidega: läbipaistvus ja inimjärelevalve. Paraku esineb praktikas olulisi takistusi, mis pärsivad inimjärelvalve ja AI-süsteemide integreerimist. Käesoleva doktoritöö peamiseks uurimisküsimuseks on: Kuidas integreerida inimjärelvalve AI-põhistesse rakendustesse, et jälgida ja parandada nende usaldusväärsust? Püstitatud ülesande lahendamiseks esitame kolm tulemust, millest igaüks keskendub konkreetsele tehnilisele küsimusele vastavas masinõppe etapis. Esiteks, kuna andmete kvaliteet on tehisintellekti otsuste tegemisel kriitilise tähtsusega, toome sisse sotsiaalteadliku liitõppe (SAFL, ingl Socially Aware Federated Learning) hajutatud masinõppe eesmärgil. SAFL juhib mudeli treenimiseks vajalikke andmete valikut koostööpõhiselt, kasutades ära sotsiaalseid dünaamikaid ja ülesannete delegeerimist viisil, mis soodustab inimeste osalust. Põhjaliku kasutajauuringu ja kontseptsiooni tõestava rakenduse tulemused näitavad, et SAFL-i abil saadud inimeste sisend parandab nii andmete kvaliteeti kui ka masinõppemudeli jõudlust. Teiseks, kuna rakendused kaasavad üha enam tehisintellekti komponente, pakume lahenduse nende usaldusväärsuse omaduste jälgimiseks. Jälgides süsteemiarhitektuuride arengut uurime süstemaatiliselt, kuidas saab integreerida usaldusväärsuse mehhanisme kaasaegsetesse süsteemidesse. Kontseptsiooni tõestuseks loome SPATIAL-i – arhitektuuri, mis integreerib usaldusväärsuse mõõdikud AI-põhistesse rakendustesse. SPATIAL kuvab neid mõõdikuid lihtsasti arusaadava kasutajaliidesena, võimaldades vastavatel ekspertidel jälgida AI järeldusloogikat. Empiirilised hinnangud demonstreerivad SPATIAL-i efektiivsust, tuues samas esile usaldusväärsuse omaduste hindamise ja jälgimise keerukuse. Kolmandaks rõhutame inimjärelvalve vajalikkust ka olemasolevate rakenduste jälgimiseks, eriti kui need rakendused toimivad autonoomselt ja laiaulatuslikult. Selleks pakume välja AntiVenom-i – tõhusa ja valdkonna-agnostilise meetodi anomaaliate tuvastamiseks hajutatud tehisintellekti rakendustes. AntiVenom kasutab seadme tasemel jõudlusmõõdikuid, et tuvastada ebakorrapärasusi ja märgistada need inimese poolt läbivaatamiseks. Võrdlus olemasolevate selgitatavate tehisintellekti (XAI, ingl explainable AI) meetoditega näitab AntiVenomi potentsiaali kiire ja ennetava jälgimise jaoks võrreldes traditsiooniliste ja keerukamate meetoditega. Kokkuvõttes panustavad toodud tulemused usaldusväärse AI arengusse, tuues esile nii inimosaluse potentsiaali kui ka keerukust selle rakendamisel järjest autonoomsemaks muutuvates süsteemides.Modern applications increasingly rely on machine and deep learning, or artificial intelligence (AI) to boost performance, enhance perception, and deliver a more reliable user experience. Despite their advanced reasoning capabilities, AI models are often opaque, creating safety concerns and reducing trust. Regulatory frameworks emphasize trustworthy AI, which builds on trustworthy computing with added principles like transparency and human oversight. However, integrating human-in-the-loop mechanisms in distributed AI systems remains a challenge. The core research question of this thesis is: How can human oversight approaches be integrated into AI-enabled applications to monitor and contribute to their trustworthiness? To address these challenges, we propose three contributions, each targeting a specific technical problem and corresponding stage of the machine learning pipeline. First, since data quality is critical for AI decision-making, we introduce Social-Aware Federated Learning (SAFL) for distributed machine learning. SAFL adopts a collaborative approach that leverages social dynamics and task delegation to guide data selection for model training while incentivizing human participation. Through a rigorous user study and a proof-of-concept implementation, we demonstrate that SAFL enhances both data quality and model performance by integrating meaningful human input. Second, as applications increasingly incorporate AI components, we present a solution to monitor their trustworthy properties. By examining the evolution of system architectures, we systematically explore how trustworthiness mechanisms can be embedded into modern systems. We introduce SPATIAL, a proof-of-concept architecture that integrates trustworthiness metrics into AI-enabled applications. SPATIAL features a user-facing dashboard that communicates these metrics clearly, enabling human experts to monitor AI inference logic effectively. Empirical evaluations demonstrate its effectiveness while highlighting the challenges of integrating mechanisms to measure and maintain trustworthiness in real-world applications. Third, human oversight is also essential in monitoring deployed applications,particularly those operating autonomously at scale. To this end, we propose AntiVenom, an efficient, domain-agnostic technique for detecting anomalies in distributed AI deployments. AntiVenom leverages device-level performance metrics to identify irregularities and flag them for human review. Comparative analysis against initial examination with explainable AI (XAI) methods shows AntiVenom’s potential for fast and proactive monitoring when compared with traditional and more complex methods. Together, these contributions highlight both the potential and the complexity of embedding human oversight into increasingly autonomous systems, advancing the development of trustworthy AI.enAttribution-NonCommercial-NoDerivs 3.0 Estoniahttp://creativecommons.org/licenses/by-nc-nd/3.0/ee/doktoritöödtehisintellektusaldusväärsusjärelevalvekvaliteetartificial intelligencetrustworthinesssupervisionqualityThesis