FLBench - A Comprehensive Experimental Evaluation of Federated Learning Frameworks

Abstract

Federated learning is an innovative approach to collaborative machine learning that allows several decentralized organizations to cooperatively train a common model without disclosing their own data. With increasingly tighter data privacy regulations like GDPR in force, Federated Learning has become one of the need-to-have techniques to adopt. For example, by employing FL, hospitals can train models on patient data from different hospitals to enhance diagnostic accuracy while keeping sensitive information away from a central repository. Similarly, it can improve financial systems' authenticity for security by making them more secure with customer data encrypted safely within their own database. However, the Federated Learning domain is rapidly changing, and many new frameworks are emerging as the landscape of open-source tools continues to grow. This growth makes even experienced researchers uncertain about the trade-off among these frameworks and when to use which framework. This study aims to resolve this issue by comprehensively examining six popular federated learning (FL) frameworks: NVIDIA FLARE, Flower, FedML, TensorFlow Federated (TFF), FEDn, and Substra. We aim to systematically compare and analyze these frameworks, with the help of Federated Averaging (FedAvg) on a Convolutional Neural Network (CNN) model trained with CIFAR-10 data. Performance analysis includes these metrics: loss, accuracy, total training time, CPU and RAM consumption, and network utilization during training. In order to buttress our claims with empirical proof and offer a complete view, we conducted experiments while running them on different client counts (1, 10, 50, 100), which helped us understand how each framework scales up. Key results of our research are: FedML achieved the highest accuracy with 91\% on 100 clients but had longer training times. Flower demonstrated a balance of high accuracy and the shortest training times which makes it suitable for production environments. NVIDIA FLARE showed high CPU utilization and good overall performance. TensorFlow Federated and Substra exhibited consistent performance on different client counts. FEDn had the lowest accuracy but showed potential for cases where limited computational resources are available. This review contributes to the literature by providing an overview and comparison of federated learning frameworks that can inform a choice for use-case-dependent priorities and resource availability constraints. Our results suggest that when picking a framework, we should consider its performance on general evaluation metrics and other factors such as scalability, customizability, or resource constraints in your application scenario. The study's results are designed to guide industry practitioners and researchers in making informed decisions when implementing a Federated Learning solution by providing insights into each framework's capabilities and trade-offs. The detailed research and comprehensive evaluation provided help in understanding the nuances and implications of federated learning frameworks in various use cases. Födereeritud õpe on uuenduslik lähenemine koostööl põhinevale masinõppele, mis võimaldab mitmel detsentraliseeritud organisatsioonil ühist mudelit koostöös välja õpetada ilma oma andmeid avaldamata. Üha rangemate andmete privaatsuseeskirjade, nagu GDPR, jõustumise tõttu on Federated Learningist saanud üks vajalikest tehnikatest, mida kasutusele võtta. Näiteks FL-i kasutades saavad haiglad koolitada erinevate haiglate patsientide andmete mudeleid, et parandada diagnostilist täpsust, hoides samal ajal tundlikku teavet kesksest hoidlast eemal. Samamoodi võib see parandada finantssüsteemide autentsust turvalisuse tagamiseks, muutes need turvalisemaks kliendiandmetega, mis on turvaliselt nende enda andmebaasis krüpteeritud. Födereeritud õppe domeen muutub aga kiiresti ja avatud lähtekoodiga tööriistade arenedes on esile kerkimas palju uusi raamistikke. See kasv muudab isegi kogenud teadlased ebakindlaks nende raamistike vahelise kompromissi osas ja millal millist raamistikku kasutada. Selle uuringu eesmärk on see probleem lahendada, uurides põhjalikult kuut populaarset liitõppe (FL) raamistikku: NVIDIA FLARE, Flower, FedML, TensorFlow Federated (TFF), FEDn ja Substra. Meie eesmärk on neid raamistikke süstemaatiliselt võrrelda ja analüüsida, kasutades CIFAR-10 andmetega koolitatud konvolutsioonilise närvivõrgu (CNN) mudelit Federated Averaging (FedAvg). Jõudlusanalüüs sisaldab järgmisi mõõdikuid: kadu, täpsus, kogu treeninguaeg, protsessori ja RAM-i tarbimine ning võrgu kasutamine treeningu ajal. Oma väidete toetamiseks empiiriliste tõenditega ja täieliku ülevaate pakkumiseks viisime läbi katsed, käitades neid erinevate klientide arvuga (1, 10, 50, 100), mis aitasid meil mõista, kuidas iga raamistik suureneb. Meie uuringu peamised tulemused on järgmised: FedML saavutas 100 kliendi puhul kõrgeima täpsuse 91\%, kuid koolituse aeg oli pikem. Flower demonstreeris tasakaalu suure täpsuse ja lühimate treeningaegade vahel, mis muudab selle sobivaks tootmiskeskkondadesse. NVIDIA FLARE näitas kõrget protsessori kasutust ja head üldist jõudlust. TensorFlow Federated ja Substra näitasid erinevate klientide arvu osas ühtlast jõudlust. FEDn oli madalaima täpsusega, kuid see näitas potentsiaali juhtudel, kui arvutusressursid on piiratud. See ülevaade täiendab kirjandust, pakkudes ülevaadet ja võrdlust ühendatud õpperaamistikest, mis võivad anda teavet kasutusjuhtumist sõltuvate prioriteetide ja ressursside kättesaadavuse piirangute valikul. Meie tulemused näitavad, et raamistiku valimisel peaksime arvestama selle toimivust üldiste hindamismõõdikute ja muude teguritega, nagu skaleeritavus, kohandatavus või ressursipiirangud teie rakenduse stsenaariumis. Uuringu tulemused on mõeldud selleks, et suunata valdkonna praktikuid ja teadlasi liitõppelahenduse rakendamisel teadlike otsuste tegemisel, pakkudes ülevaadet iga raamistiku võimalustest ja kompromissidest. Üksikasjalikud uuringud ja põhjalik hindamine aitasid mõista ühendatud õpperaamistike nüansse ja tagajärgi erinevatel kasutusjuhtudel.