FedCAPE: Federated Concept Alignment for Privacy-Preserving Explanations

Abstract

Traditional machine learning pipelines are limited by their dependence on centralized data, making them unsuitable for privacy-sensitive domains and distributed real-world settings. Furthermore, these methods often lack concept-level interpretability and require labor-intensive manual annotation to identify and explain meaningful concepts in complex datasets. While recent automated approaches, such as [1] proposed by Ghorbani et al.,(NeurIPS 2019), have advanced the automation of concept discovery and explanation, they do not address the challenges of privacy preservation, data decentralization, or collaborative concept alignment across multiple participants. In this thesis, we propose Federated Concept Alignment for Privacy-Preserving Explanations (FedCAPE), a novel Framework designed to enable scalable, privacy-preserving, and fully decentralized concept discovery, alignment, and interpretability. FedCAPE leverages self-supervised learning (DINO) and the multimodal capabilities of OpenAI CLIP to automatically assign semantic meaning to image segments, thereby eliminating the need for manual annotation and introducing a semantic layer over the extracted features. Critically, FedCAPE employs federated K-means clustering to collaboratively align and refine discovered concepts across clients, ensuring that shared conceptual knowledge emerges without the need to exchange raw data. Through this federated approach, FedCAPE achieves end-to-end interpretability, improved concept alignment, and enhanced transparency of model predictions—surpassing both traditional and state-of-the-art automated approaches in terms of privacy preservation, scalability, and explainability. Experimental evaluation across multiple distributed clients demonstrated strong cross-client semantic consistency, with human evaluators preferring FedCAPE clusters over random baselines in 80–100% of cases. Quantitatively, FedCAPE achieved high TCAV scores for salient concepts, in some cases exceeding the centralized baseline while avoiding over-clustering and improving cluster purity. These results highlight FedCAPE’s potential to bridge the gap between interpretable AI and privacy-preserving machine learning in distributed environments.

Traditsioonilised masinõppe töövood on piiratud oma sõltuvusega tsentraliseeritud andmetest, mis muudab need sobimatuks privaatsustundlikes valdkondades ja jaotatud reaalsetes keskkondades. Lisaks puudub neil meetoditel sageli kontseptsioonitasandi interpreteeritavus ning nad nõuavad töömahukat käsitsi märgistamist, et tuvastada ja selgitada keerukates andmestikes tähenduslikke kontseptsioone. Kuigi hiljutised automaatsed lähenemised, nagu [1] (Ghorbani jt., NeurIPS 2019), on edendanud kontseptsioonide avastamise ja selgitamise automatiseerimist, ei käsitle need privaatsuse säilitamise, andmete detsentraliseerimise ega koostööl põhineva kontseptsioonide joondamise väljakutseid mitme osaleja vahel. Käesolevas töös esitame Federated Concept Alignment for Privacy-Preserving Explanations (FedCAPE) — uue raamistiku, mis on loodud võimaldama mastaapset, privaatsust säilitavat ja täielikult detsentraliseeritud kontseptsioonide avastamist, joondamist ja interpreteeritavust. FedCAPE kasutab isejuhitud õppimist (DINO) ja OpenAI CLIP-i multimodaalseid võimalusi, et automaatselt määrata pildisegmentidele semantiline tähendus, kaotades seeläbi vajaduse käsitsi märgistamise järele ning lisades eraldatud tunnustele semantilise kihi. Oluliselt rakendab FedCAPE föderatiivset K-means klasterdamist, et ühiselt joondada ja täiustada avastatud kontseptsioone klientide vahel, tagades, et jagatud kontseptuaalne teadmine tekib ilma toorandmeid vahetamata. Selle föderaalse lähenemise kaudu saavutab FedCAPE otsast lõpuni interpreteeritavuse, parema kontseptsioonide joondamise ja suurema läbipaistvuse mudeli ennustustes — ületades nii traditsioonilisi kui ka tipptasemel automaatseid lähenemisi privaatsuse säilitamise, mastaapsuse ja seletatavuse osas. Eksperimentaalne hindamine mitme jaotatud kliendi puhul näitas tugevat semantilist järjepidevust klientide vahel, kusjuures inimhindajad eelistasid FedCAPE klastri tulemusi juhuslikele võrdlusnäidetele 80–100% juhtudest. Kvantitatiivselt saavutas FedCAPE kõrgeid TCAV-skoore silmapaistvate kontseptsioonide puhul, ületades mõnel juhul tsentraliseeritud baastaseme, vältides samas üleklaasterdamist ja parandades klastrite puhtust Need tulemused toovad esile FedCAPE potentsiaali olla sillaks interpreteeritava tehisintellekti ja privaatsust säilitava masinõppe vahel jaotatud keskkondades.