Skalabilitas dan Evaluasi Kinerja Kerangka Kerja Federated Learning: Analisis Komparatif

Perbandingan eksperimental sistematis FedML, Flower, Substra, dan OpenFL pada jumlah klien yang bervariasi

Bassel Soudan; Sohail Abbas; Ahmed Kubba; Manar Wasif Abu Talib; Qassim Nasir· 2026· DOI 10.48550/arXiv.2609.15681

Masalah inti

Federated Learning (FL) memungkinkan pelatihan model secara kolaboratif di antara klien terdesentralisasi tanpa berbagi data mentah, sehingga menarik untuk aplikasi yang sensitif terhadap privasi. Namun, memilih kerangka kerja FL yang sesuai untuk penerapan di dunia nyata memerlukan pemahaman tentang bagaimana masing-masing kerangka kerja tersebut berskala seiring bertambahnya jumlah klien. Makalah ini menyajikan pemeriksaan sistematis dan perbandingan eksperimental empat kerangka kerja FL terkemuka: FedML, Flower, Substra, dan OpenFL. Studi ini menekankan analisis skalabilitas dan metrik kinerja utama—total waktu pelatihan, loss, akurasi, penggunaan CPU, dan penggunaan RAM—seiring bertambahnya jumlah klien. Tujuannya adalah memberikan panduan untuk penerapan yang efektif di berbagai basis pengguna.

Hasilnya menunjukkan karakteristik kinerja yang berbeda di antara kerangka kerja: - **Flower**: Menampilkan loss yang luar biasa tinggi. - **FedML**: Mencapai rentang akurasi yang sangat rendah, yaitu 66% hingga 79%. - **Substra**: Menunjukkan efisiensi sumber daya yang baik, tetapi total waktu pelatihan tumbuh secara eksponensial seiring bertambahnya jumlah klien. - **OpenFL**: Muncul sebagai platform yang paling skalabel, mempertahankan akurasi, loss, dan waktu pelatihan yang konsisten pada berbagai jumlah klien. Penggunaan CPU dan RAM-nya tetap stabil, menegaskan keandalan dalam skenario dunia nyata. Temuan ini menyoroti trade-off antara skalabilitas, akurasi, dan konsumsi sumber daya.

Federated Learning (FL) memungkinkan pelatihan model secara kolaboratif di antara klien terdesentralisasi tanpa berbagi data mentah, sehingga menarik untuk aplikasi yang sensitif terhadap privasi. Namun, memilih kerangka kerja FL yang sesuai untuk penerapan di dunia nyata memerlukan pemahaman tentang bagaimana masing-masing kerangka kerja tersebut berskala seiring bertambahnya jumlah klien. Makalah ini menyajikan pemeriksaan sistematis dan perbandingan eksperimental empat kerangka kerja FL terkemuka: FedML, Flower, Substra, dan OpenFL. Studi ini menekankan analisis skalabilitas dan metrik kinerja utama—total waktu pelatihan, loss, akurasi, penggunaan CPU, dan penggunaan RAM—seiring bertambahnya jumlah klien. Tujuannya adalah memberikan panduan untuk penerapan yang efektif di berbagai basis pengguna.

Penulis mengimplementasikan Federated Learning pada jumlah klien yang bervariasi menggunakan setiap kerangka kerja. Mereka mengukur dampak peningkatan jumlah klien terhadap:

Analisis komparatif mengungkapkan bahwa tidak ada satu kerangka kerja pun yang unggul dalam semua metrik. Kinerja OpenFL yang konsisten pada berbagai jumlah klien membuatnya cocok untuk penerapan skala besar yang mengutamakan stabilitas. Efisiensi sumber daya Substra diimbangi oleh pertumbuhan waktu pelatihan yang eksponensial, sehingga membatasi skalabilitasnya. Akurasi FedML yang rendah menunjukkan potensi masalah dengan konvergensi atau agregasi model saat jumlah klien meningkat. Loss Flower yang tinggi mengindikasikan kemungkinan ketidakstabilan atau hyperparameter yang kurang optimal. Studi ini memberikan wawasan berharga tentang kemampuan relatif kerangka kerja FL, memandu praktisi dalam memilih alat yang tepat untuk kebutuhan penerapan spesifik mereka. Pekerjaan selanjutnya dapat mengeksplorasi pendekatan hibrida atau strategi optimasi untuk mengurangi kelemahan yang diamati.

Praktisi dan peneliti ilmu komputer

Membuka konten member…