Admisi dan Retensi Data Adaptif untuk Streaming Federated Learning

Kerangka kerja gabungan admisi sisi server dan manajemen memori sisi klien untuk streaming federated learning di bawah batasan biaya sampling dan buffer

Zhuoyi Zhao; Ben Liang· 2026· DOI 10.48550/arXiv.2607.23987

Masalah inti

Streaming federated learning (FL) menghadapi ketegangan mendasar: klien terus-menerus menghasilkan data pelatihan baru, tetapi buffer memori mereka terbatas, dan sampling setiap titik data menimbulkan biaya yang berubah terhadap waktu. Makalah ini membahas masalah pemilihan secara selektif untuk mengadmisi dan mempertahankan data sepanjang waktu guna meminimalkan risiko populasi berlebih kumulatif di bawah anggaran biaya sampling dan batasan buffer. Penulis mempertimbangkan kerangka kerja gabungan admisi sisi server dan manajemen memori sisi klien. Tantangan utamanya adalah menyeimbangkan manfaat pembelajaran dari data segar terhadap biaya sampling dan risiko luapan buffer, semuanya sambil beroperasi dalam lingkungan terdesentralisasi di mana klien tidak dapat berbagi data mentah. Karya ini menurunkan batas galat pembelajaran yang secara eksplisit menangkap efek ukuran sampel pelatihan sesaat, pertumbuhan sampel berbeda, dan ketidakseimbangan penggunaan ulang melalui karakterisasi ukuran sampel efektif. Batas ini memotivasi penalti surrogate yang memandu perancangan kebijakan online.

Inovasi

Penulis memberikan jaminan teoretis untuk ACDPP. Melalui serangkaian argumen perbandingan via kebijakan admisi konstan tambahan, mereka menghubungkan batas pembelajaran ACDPP ke tolok ukur oracle tanpa biaya. Ini menghasilkan jaminan eksplisit dalam hal regret sublinear dan pelanggaran biaya sampling. Secara spesifik, regret adalah O (T), dan pelanggaran biaya sampling juga sublinear, dikendalikan oleh wilayah admisi persegi panjang yang berubah terhadap waktu. Pelanggaran okupansi buffer dikendalikan melalui pemilihan offline horizon retensi K . Analisis teoretis menunjukkan bahwa ACDPP mencapai trade-off antara kinerja pembelajaran dan pemenuhan batasan. Eksperimen pada beberapa dataset menunjukkan bahwa kebijakan yang diusulkan tetap dekat dengan tolok ukur oracle sekaligus memenuhi batasan biaya sampling dan buffer. Hasil empiris mengonfirmasi temuan teoretis, menunjukkan bahwa ACDPP mengungguli kebijakan baseline yang tidak beradaptasi terhadap biaya yang berubah terhadap waktu atau batasan buffer.

Streaming federated learning (FL) menghadapi ketegangan mendasar: klien terus-menerus menghasilkan data pelatihan baru, tetapi buffer memori mereka terbatas, dan sampling setiap titik data menimbulkan biaya yang berubah terhadap waktu. Makalah ini membahas masalah pemilihan secara selektif untuk mengadmisi dan mempertahankan data sepanjang waktu guna meminimalkan risiko populasi berlebih kumulatif di bawah anggaran biaya sampling dan batasan buffer. Penulis mempertimbangkan kerangka kerja gabungan admisi sisi server dan manajemen memori sisi klien. Tantangan utamanya adalah menyeimbangkan manfaat pembelajaran dari data segar terhadap biaya sampling dan risiko luapan buffer, semuanya sambil beroperasi dalam lingkungan terdesentralisasi di mana klien tidak dapat berbagi data mentah. Karya ini menurunkan batas galat pembelajaran yang secara eksplisit menangkap efek ukuran sampel pelatihan sesaat, pertumbuhan sampel berbeda, dan ketidakseimbangan penggunaan ulang melalui karakterisasi ukuran sampel efektif. Batas ini memotivasi penalti surrogate yang memandu perancangan kebijakan online.

Penulis merumuskan masalah sebagai meminimalkan risiko populasi berlebih kumulatif sepanjang horizon waktu T, dengan tunduk pada anggaran biaya sampling dan batasan buffer per klien. Misalkan x_{t} menyatakan keputusan admisi pada waktu t (1 jika diadmisi, 0 jika tidak), dan misalkan c_{t} adalah biaya sampling yang berubah terhadap waktu. Okupansi buffer berkembang sebagai B_{t + 1} = max (0, B_{t} + x_{t} - r_{t}), di mana r_{t} menunjukkan apakah suatu sampel dipertahankan. Batas galat pembelajaran dinyatakan dalam ukuran sampel efektif N_{eff}, yang bergantung pada ukuran sampel pelatihan sesaat, pertumbuhan sampel berbeda, dan ketidakseimbangan penggunaan ulang. Secara spesifik, risiko berlebih dibatasi oleh O (1/ N_{eff}) . Untuk meminimalkan batas ini di bawah batasan, penulis memperkenalkan penalti surrogate dan mengembangkan kebijakan Active-Constraint Drift-Plus-Penalty (ACDPP). ACDPP menggabungkan aturan retensi K -langkah sisi klien yang terstruktur dengan aturan admisi online sisi server dan wilayah admisi persegi panjang yang berubah terhadap waktu. Aturan retensi menyimpan sampel paling lama K langkah, sedangkan aturan admisi memutuskan apakah akan melakukan sampling berdasarkan biaya saat ini dan keadaan buffer. Wilayah admisi persegi panjang didefinisikan oleh ambang batas yang berubah terhadap waktu yang memastikan anggaran biaya sampling dipatuhi. Kebijakan ini bersifat online dan tidak memerlukan pengetahuan di masa depan tentang biaya atau kedatangan data.

Mengapa penting

Kontribusi utama makalah ini adalah penurunan batas galat pembelajaran yang secara eksplisit memperhitungkan efek ukuran sampel pelatihan sesaat, pertumbuhan sampel berbeda, dan ketidakseimbangan penggunaan ulang. Batas ini menyediakan cara berprinsip untuk merancang kebijakan online bagi streaming FL dengan memori terbatas. Kebijakan ACDPP terbukti efektif dalam menyeimbangkan trade-off antara akurasi pembelajaran dan batasan sumber daya. Penggunaan penalti surrogate dan wilayah admisi persegi panjang memungkinkan implementasi online yang tractable. Perbandingan dengan tolok ukur oracle memberikan jaminan teoretis yang kuat. Namun, makalah ini mengasumsikan bahwa biaya sampling diketahui pada setiap langkah waktu, yang mungkin tidak berlaku dalam praktik. Pekerjaan selanjutnya dapat mempertimbangkan pembelajaran distribusi biaya atau memasukkan ketidakpastian. Selain itu, horizon retensi K dipilih secara offline, yang mungkin tidak optimal dalam lingkungan non-stasioner. Pemilihan K secara adaptif dapat lebih meningkatkan kinerja. Secara keseluruhan, karya ini memajukan pemahaman tentang manajemen data dalam streaming federated learning dan menyediakan kebijakan praktis dengan jaminan teoretis.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…