Distilasi Federasi Terdesentralisasi yang Robust melalui Kolaborasi Pengetahuan Multi-Modalitas

Kerangka DFL yang tahan Byzantine yang menyaring, membobot, dan memvalidasi pengetahuan antar-klien di seluruh modalitas kelas, batas, dan korelasi

Xiao Ma; Hong Shen; Hui Tian; Wei Ke; Wenqi Lyu· 2026· DOI 10.48550/arXiv.2609.07230

Masalah inti

Pembelajaran federasi terdesentralisasi (DFL) semakin dibutuhkan dalam komputasi tepi dan kolaborasi UAV yang berorientasi misi, di mana klien beroperasi tanpa agregator pusat dan sering memiliki arsitektur model yang heterogen. Dalam skenario dunia nyata yang tidak andal seperti itu, klien terpapar pada pesan Byzantine spesifik penerima yang berisi prediksi berbahaya. Para penulis (Xiao Ma, Hong Shen, Hui Tian, Wei Ke, Wenqi Lyu) mengatasi tantangan ini dengan mengusulkan metode distilasi federasi terdesentralisasi yang robust yang memungkinkan klien dengan model heterogen berkolaborasi melalui prediksi pada data publik tak berlabel yang dibagikan. Masalah intinya adalah bahwa dalam DFL, pengetahuan yang dipertukarkan antar-peer dapat dirusak oleh klien Byzantine, dan tidak adanya server pusat menghilangkan titik agregasi alami untuk pertahanan. Kontribusi makalah ini adalah skema kolaborasi pengetahuan multi-modalitas yang mengevaluasi prediksi yang diterima dalam tiga modalitas—prediksi kelas, keputusan batas, dan korelasi prediksi—sebelum membangun guru dan memvalidasi gradien distilasi terhadap gradien terawasi privat.

Eksperimen ekstensif pada CIFAR-10 dan CIFAR-100 menunjukkan bahwa metode yang diusulkan meningkatkan akurasi prediksi model heterogen klien pada data non-IID dan serangan Byzantine. Para penulis melaporkan bahwa metode ini memastikan pengaruh Byzantine yang terbatas pada gradien distilasi dan gradien privat klien individual setelah fusi lintas modalitas, sehingga memungkinkan optimasi lokal yang stabil bagi klien jujur di bawah distilasi Byzantine. Bukti konvergensi menunjukkan optimasi lokal yang stabil untuk klien jujur, dan hasil empiris mengonfirmasi ketahanan pada kedua dataset tolok ukur. Makalah ini tidak memberikan nilai akurasi numerik spesifik dalam abstrak, tetapi klaim kualitatifnya adalah peningkatan yang konsisten dibandingkan baseline dalam kondisi adversarial.

Pembelajaran federasi terdesentralisasi (DFL) semakin dibutuhkan dalam komputasi tepi dan kolaborasi UAV yang berorientasi misi, di mana klien beroperasi tanpa agregator pusat dan sering memiliki arsitektur model yang heterogen. Dalam skenario dunia nyata yang tidak andal seperti itu, klien terpapar pada pesan Byzantine spesifik penerima yang berisi prediksi berbahaya. Para penulis (Xiao Ma, Hong Shen, Hui Tian, Wei Ke, Wenqi Lyu) mengatasi tantangan ini dengan mengusulkan metode distilasi federasi terdesentralisasi yang robust yang memungkinkan klien dengan model heterogen berkolaborasi melalui prediksi pada data publik tak berlabel yang dibagikan.

Masalah intinya adalah bahwa dalam DFL, pengetahuan yang dipertukarkan antar-peer dapat dirusak oleh klien Byzantine, dan tidak adanya server pusat menghilangkan titik agregasi alami untuk pertahanan. Kontribusi makalah ini adalah skema kolaborasi pengetahuan multi-modalitas yang mengevaluasi prediksi yang diterima dalam tiga modalitas—prediksi kelas, keputusan batas, dan korelasi prediksi—sebelum membangun guru dan memvalidasi gradien distilasi terhadap gradien terawasi privat.

Wawasan kunci dari karya ini adalah bahwa ketahanan dalam distilasi federasi terdesentralisasi dapat dicapai dengan memanfaatkan beberapa pandangan komplementer terhadap prediksi peer. Prediksi kelas, keputusan batas, dan korelasi prediksi masing-masing menangkap aspek berbeda dari perilaku model, dan fusi lintas modalitas membuat klien Byzantine lebih sulit merusak proses pembelajaran tanpa terdeteksi. Analisis teoretis menetapkan pengaruh Byzantine yang terbatas, yang merupakan jaminan yang lebih kuat daripada penolakan outlier sederhana. Ketergantungan metode ini pada data publik tak berlabel yang dibagikan merupakan kekuatan sekaligus potensi batasan: metode ini memungkinkan kolaborasi antar-model heterogen tanpa berbagi parameter, tetapi mengasumsikan ketersediaan dataset publik. Para penulis memposisikan pendekatan ini sebagai memiliki potensi besar untuk adopsi DFL dalam skenario dunia nyata yang tidak andal, khususnya komputasi tepi dan kolaborasi UAV. Pekerjaan selanjutnya dapat mengeksplorasi skema pembobotan adaptif dan perluasan ke modalitas lain di luar tiga modalitas yang dipertimbangkan.

Praktisi dan peneliti ilmu komputer

Membuka konten member…