PFAdapter: Dekomposisi LoRA Hierarkis untuk MLLM Federasi yang Dipersonalisasi

Kerangka kerja hemat komunikasi yang memisahkan adapter LoRA global-shared dan local-private untuk multimodal large language model federasi di tepi jaringan

Jing Liu; Kun Yang; Yan Wang; Dingkang Yang; Xiaoshuai Hao; Wei Zhang; Yang Liu; Wei Zhou· 2026· DOI 10.48550/arXiv.2607.12111

Masalah inti

Sistem AI agentic sedang membentuk ulang komunikasi dan jaringan melalui penyebaran agen cerdas otonom yang dapat belajar secara kolaboratif sambil menjaga privasi data di tepi jaringan. Dalam lingkungan terdistribusi ini, Multimodal Large Language Model (MLLM) berperan sebagai mesin kognitif bagi perangkat tepi, namun fine-tuning federasi masih sulit menyeimbangkan agregasi pengetahuan global dengan adaptasi lokal di bawah kondisi jaringan yang heterogen. Protokol federasi konvensional umumnya mengandalkan agregasi parameter yang seragam, yang mencampuradukkan fitur domain-invariant dengan nuansa spesifik klien, sehingga menghasilkan personalisasi suboptimal dan overhead komunikasi berlebihan. Para penulis (Jing Liu, Kun Yang, Yan Wang, Dingkang Yang, Xiaoshuai Hao, Wei Zhang, Yang Liu, dan Wei Zhou) mengusulkan PFAdapter untuk mengatasi ketegangan ini secara langsung. Wawasan intinya adalah tidak semua parameter adapter harus diperlakukan sama: sebagian mengodekan semantik multimodal universal yang layak dibagikan di seluruh jaringan, sementara sebagian lain mengodekan keahlian spesifik tepi yang harus tetap privat. Dengan membuat pembedaan ini eksplisit dalam arsitektur alih-ali

Inovasi

Eksperimen ekstensif pada empat dataset—VQA-RAD, SLAKE, Hateful Memes, dan CrisisMMD—menunjukkan bahwa PFAdapter secara konsisten mengungguli baseline state-of-the-art. Peningkatan akurasi berkisar 2,4% hingga 4,8% di berbagai tugas kecerdasan tepi, mencakup visual question answering medis (VQA-RAD, SLAKE), deteksi konten berbahaya (Hateful Memes), dan klasifikasi multimodal terkait krisis (CrisisMMD). Keunggulan ini bertahan pada campuran tugas yang heterogen, yang patut dicatat karena dataset-dataset tersebut berbeda secara substansial dalam domain, keseimbangan modalitas, dan semantik label. Selain akurasi, protokol agregasi selektif mengurangi biaya komunikasi hampir 50% dibandingkan agregasi seragam konvensional, karena hanya adapter query/key global-shared yang disinkronkan setiap ronde. Kombinasi akurasi lebih tinggi dan bandwidth lebih rendah menunjukkan bahwa pemisahan global/lokal bukan sekadar trik kompresi, melainkan inductive bias yang benar-benar lebih baik untuk pembelajaran multimodal federasi. Para penulis melaporkan bahwa PFAdapter menghadirkan solusi efisien untuk penyebaran AI agentic di jaringan komunikasi dengan sumber daya terbatas, memposisikannya sebagai ka

Sistem AI agentic sedang membentuk ulang komunikasi dan jaringan melalui penyebaran agen cerdas otonom yang dapat belajar secara kolaboratif sambil menjaga privasi data di tepi jaringan. Dalam lingkungan terdistribusi ini, Multimodal Large Language Model (MLLM) berperan sebagai mesin kognitif bagi perangkat tepi, namun fine-tuning federasi masih sulit menyeimbangkan agregasi pengetahuan global dengan adaptasi lokal di bawah kondisi jaringan yang heterogen. Protokol federasi konvensional umumnya mengandalkan agregasi parameter yang seragam, yang mencampuradukkan fitur domain-invariant dengan nuansa spesifik klien, sehingga menghasilkan personalisasi suboptimal dan overhead komunikasi berlebihan. Para penulis (Jing Liu, Kun Yang, Yan Wang, Dingkang Yang, Xiaoshuai Hao, Wei Zhang, Yang Liu, dan Wei Zhou) mengusulkan PFAdapter untuk mengatasi ketegangan ini secara langsung. Wawasan intinya adalah tidak semua parameter adapter harus diperlakukan sama: sebagian mengodekan semantik multimodal universal yang layak dibagikan di seluruh jaringan, sementara sebagian lain mengodekan keahlian spesifik tepi yang harus tetap privat. Dengan membuat pembedaan ini eksplisit dalam arsitektur alih-alih berharap perataan seragam akan menyelesaikannya, PFAdapter menyasar kualitas personalisasi sekaligus efisiensi komunikasi di jaringan komunikasi dengan sumber daya terbatas.

PFAdapter memperkenalkan dekomposisi LoRA hierarkis yang secara eksplisit memisahkan parameter adapter menjadi komponen global-shared dan local-private. Proyeksi query dan key ditetapkan untuk sinkronisasi global guna menangkap semantik multimodal universal di seluruh jaringan, sedangkan proyeksi value dan output tetap dilokalkan untuk adaptasi spesifik tepi. Pemisahan ini dimotivasi oleh peran masing-masing proyeksi dalam attention: interaksi query/key menentukan apa yang diperhatikan model dan karenanya lebih mudah ditransfer, sementara transformasi value/output membentuk bagaimana informasi ditulis kembali dan lebih sensitif terhadap distribusi data lokal.

Mengapa penting

Kontribusi utama PFAdapter bersifat konseptual: ia membingkai ulang fine-tuning federasi MLLM sebagai masalah penugasan peran parameter alih-alih perataan seragam. Dengan memetakan proyeksi query/key ke komponen global-shared dan proyeksi value/output ke komponen local-private, kerangka kerja ini mengodekan prior tentang operasi attention mana yang menggeneralisasi antar klien. Regularizer ortogonalitas norma Frobenius mengoperasionalkan prior ini dengan secara aktif mencegah kedua himpunan adapter runtuh menjadi representasi redundan, yang merupakan mode kegagalan umum ketika parameter shared dan private dilatih bersama tanpa kendala. Protokol agregasi selektif kemudian mengikuti secara alami: jika hanya parameter global-shared yang dimaksudkan universal, hanya parameter itu yang perlu melintasi jaringan, menghasilkan pengurangan komunikasi ~50% yang teramati. Peningkatan akurasi 2,4%-4,8% pada VQA-RAD, SLAKE, Hateful Memes, dan CrisisMMD menunjukkan bahwa pemisahan ini tidak mengorbankan personalisasi demi efisiensi; sebaliknya, kedua tujuan saling memperkuat. Batasan tidak dirinci dalam abstrak, tetapi pendekatan ini mengasumsikan bahwa pemisahan query/key versus value/output adalah proksi yang kokoh untuk transferabilitas antar domain, sebuah asumsi yang mungkin perlu ditinjau ulang untuk arsitektur dengan varian attention yang berbeda. Secara keseluruhan, PFAdapter menawarkan templat berprinsip untuk MLLM federasi yang dipersonalisasi dalam sistem AI agentic, di mana privasi, bandwidth, dan kondisi tepi yang heterogen harus diseimbangkan secara simultan.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…