CIDERS: Pembelajaran Kolaboratif LLM Cloud-Edge melalui Percepatan Optimasi Bilevel yang Dipersonalisasi

Kerangka optimasi bilevel yang dipersonalisasi dan solver efisien untuk personalisasi berkelanjutan yang dipandu konsensus dalam sistem LLM cloud-edge

Victor H. Chen; Hairui Yu; Stella K. Chung; Hong Yan· 2026· DOI 10.48550/arXiv.2609.15664

Masalah inti

Kemajuan pesat kecerdasan dunia fisik telah menempatkan large language model (LLM) kolaboratif cloud-edge sebagai peta jalan yang menjanjikan untuk penerapan LLM secara praktis. Namun, paradigma cloud-edge yang ada masih sulit menyeimbangkan konsensus global dengan personalisasi lokal. Paradigma tersebut gagal memenuhi kebutuhan ganda akan fondasi pengetahuan yang terpadu di cloud dan adaptasi spesifik domain di edge. Karya ini memperkenalkan, untuk pertama kalinya, kerangka optimasi bilevel yang dipersonalisasi yang memformalkan kolaborasi LLM cloud-edge sebagai struktur ganda: tingkat atas mengoptimalkan personalisasi di sisi edge, sedangkan tingkat bawah mengatur transfer pengetahuan di sisi cloud, sehingga cloud dan edge dapat berkembang secara terkoordinasi. Untuk menyelesaikannya secara efisien, penulis mengusulkan CIDERS, sebuah solver efisien yang mendekomposisi model menjadi backbone yang dapat dipelajari dan messenger. Cloud melakukan transfer pengetahuan ke backbone yang dapat dipelajari, sedangkan inovasi utamanya terletak pada penyematan lintasan global ke setiap langkah personalisasi lokal melalui koreksi consensus-variate untuk menyelaraskan personalisasi dengan kons

Inovasi

Eksperimen ekstensif menunjukkan bahwa CIDERS secara konsisten mengungguli baseline kompetitif pada jalur edge terkompresi. Hasil kuantitatif utama meliputi: - **Penalaran matematika**: keunggulan 3,1x dibandingkan baseline. - **Pembuatan kode**: keunggulan 1,7x dibandingkan baseline. - **Metrik instruksi**: keunggulan relatif 10%. Keunggulan ini dicapai sambil mempertahankan kolaborasi cloud-edge yang efisien. Jalur edge terkompresi merujuk pada skenario ketika perangkat edge memiliki sumber daya komputasi terbatas, sehingga efisiensi CIDERS menjadi sangat bernilai. Hasil ini menunjukkan bahwa CIDERS secara efektif menyeimbangkan konsensus global dan personalisasi lokal, yang mengarah pada peningkatan signifikan di berbagai tugas.

Kemajuan pesat kecerdasan dunia fisik telah menempatkan large language model (LLM) kolaboratif cloud-edge sebagai peta jalan yang menjanjikan untuk penerapan LLM secara praktis. Namun, paradigma cloud-edge yang ada masih sulit menyeimbangkan konsensus global dengan personalisasi lokal. Paradigma tersebut gagal memenuhi kebutuhan ganda akan fondasi pengetahuan yang terpadu di cloud dan adaptasi spesifik domain di edge. Karya ini memperkenalkan, untuk pertama kalinya, kerangka optimasi bilevel yang dipersonalisasi yang memformalkan kolaborasi LLM cloud-edge sebagai struktur ganda: tingkat atas mengoptimalkan personalisasi di sisi edge, sedangkan tingkat bawah mengatur transfer pengetahuan di sisi cloud, sehingga cloud dan edge dapat berkembang secara terkoordinasi. Untuk menyelesaikannya secara efisien, penulis mengusulkan CIDERS, sebuah solver efisien yang mendekomposisi model menjadi backbone yang dapat dipelajari dan messenger. Cloud melakukan transfer pengetahuan ke backbone yang dapat dipelajari, sedangkan inovasi utamanya terletak pada penyematan lintasan global ke setiap langkah personalisasi lokal melalui koreksi consensus-variate untuk menyelaraskan personalisasi dengan konsensus. Makalah ini menyediakan analisis teoretis yang komprehensif, termasuk karakterisasi geometris lintasan lokal dan jaminan konvergensi penuh, yang mengungkap struktur trade-off eksplisit antara personalisasi dan konvergensi global. Eksperimen ekstensif menunjukkan bahwa CIDERS secara konsisten mengungguli baseline kompetitif pada jalur edge terkompresi, dengan keunggulan 3,1x dan 1,7x pada penalaran matematika dan pembuatan kode, serta keunggulan relatif 10% pada metrik instruksi. Eksperimen mekanisme mengaitkan keunggulan ini dengan koordinasi terkoreksi konsensus sejak awal dan distilasi yang sadar tugas. Secara keseluruhan, CIDERS menawarkan jalur yang layak menuju personalisasi berkelanjutan yang dipandu konsensus dalam sistem LLM cloud-edge.

Kerangka yang diusulkan memformalkan kolaborasi LLM cloud-edge sebagai masalah optimasi bilevel yang dipersonalisasi. Misalkan θ menyatakan parameter model global di sisi cloud dan ϕ_{i} menyatakan parameter terpersonalisasi di sisi edge untuk klien i . Masalah bilevel tersebut adalah:

Mengapa penting

Eksperimen mekanisme mengaitkan keunggulan yang diamati dengan dua faktor utama: koordinasi terkoreksi konsensus sejak awal dan distilasi yang sadar tugas. Koordinasi terkoreksi konsensus sejak awal memastikan informasi global disematkan ke dalam personalisasi lokal sejak awal, mencegah divergensi dan mendorong keselarasan. Distilasi yang sadar tugas memungkinkan cloud mentransfer pengetahuan yang secara spesifik relevan dengan tugas edge, meningkatkan personalisasi tanpa mengorbankan konsensus global. Analisis teoretis memberikan karakterisasi geometris lintasan lokal, yang mengungkap struktur trade-off eksplisit antara personalisasi dan konvergensi global. Trade-off ini dikelola oleh koreksi consensus-variate, yang menyesuaikan pembaruan lokal untuk menyeimbangkan kedua tujuan tersebut. Jaminan konvergensi penuh memastikan bahwa algoritma konvergen ke titik stasioner, memberikan fondasi teoretis yang kokoh untuk penerapan praktis. Secara keseluruhan, CIDERS menawarkan jalur yang layak menuju personalisasi berkelanjutan yang dipandu konsensus dalam sistem LLM cloud-edge. CIDERS mengatasi tantangan kritis dalam menyeimbangkan konsensus global dengan personalisasi lokal, memungkinkan penerapan LLM yang efisien dan efektif di lingkungan edge. Pekerjaan selanjutnya dapat mengeksplorasi perluasan CIDERS ke skenario pembelajaran kolaboratif lain dan lebih mengoptimalkan trade-off antara personalisasi dan konsensus.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…