Editorial Ilmu Komputer & AI
FISGuard: Pertahanan terhadap Membership Inference melalui Fixed Input Subspaces
Masalah inti
Large language models (LLMs) semakin banyak digunakan dalam pengaturan federated learning (FL), tempat klien melakukan parameter-efficient fine-tuning (PEFT) pada data privat yang terdistribusi. Meskipun klien hanya berbagi gradien, bukan data mentah, gradien tersebut tetap dapat membocorkan informasi keanggotaan tentang sampel pelatihan. ProjRes (S&P, 2026) memperbesar risiko ini: dengan informasi yang lebih sedikit dan tanpa mengakses keluaran model, penyerang dapat membedakan anggota dari non-anggota dengan memanfaatkan residual proyeksi antara representasi kandidat dan subspace yang diinduksi oleh gradien yang dapat diamati server.
Pertahanan yang ada terhadap membership inference (MI) umumnya mengandalkan perturbasi gradien atau regularisasi. Pendekatan ini dapat menurunkan utilitas model dan, yang lebih kritis, gagal mempertahankan diri terhadap ProjRes, yang memanfaatkan struktur geometris gradien alih-alih magnitudo atau derau-nya. Makalah ini memperkenalkan FISGuard, pertahanan ringan yang membangun dan menetapkan subspace representasi berdimensi rendah menggunakan data publik independen. Dengan membatasi ruang tempat representasi privat terekspos melalui gradien, FISGuar
Inovasi
Penulis mengevaluasi FISGuard terhadap lima metode pertahanan representatif pada tiga dataset NLP, dua LLM, dan dua strategi fine-tuning: Adapter dan LoRA. Metrik utamanya adalah AUC serangan membership inference ProjRes, dengan 0,5 menunjukkan tebakan acak.
Hasil menunjukkan bahwa FISGuard menurunkan AUC serangan ProjRes hingga mendekati 0,5 pada sebagian besar pengaturan, sehingga secara efektif menetralkan serangan. Sebagai contoh, pada dataset dan model yang dievaluasi, AUC turun dari jauh di atas 0,5 (pada kondisi tanpa pertahanan atau pertahanan baseline) menjadi nilai yang mendekati 0,5. Sementara itu, performa tugas hilir tetap mendekati model tanpa pertahanan, menunjukkan trade-off privasi–utilitas yang menguntungkan. Overhead komputasi yang diperkenalkan FISGuard terbatas, sehingga praktis untuk penerapan federated learning.
Mengapa penting
Wawasan kunci FISGuard adalah bahwa ProjRes memanfaatkan struktur geometris gradien—khususnya, residual proyeksi antara representasi kandidat dan subspace yang diinduksi oleh gradien yang dapat diamati server. Dengan menetapkan subspace berdimensi rendah yang dibangun dari data publik, FISGuard membatasi variabilitas residual ini antara anggota dan non-anggota, sehingga mengurangi daya diskriminatif serangan.
Berbeda dengan perturbasi gradien atau regularisasi, yang menambahkan derau atau memberi penalti pada parameter tertentu, FISGuard secara langsung membatasi informasi yang terekspos melalui gradien tanpa secara signifikan merusak informasi utama yang dibutuhkan untuk tugas hilir. Hal ini menjelaskan mengapa pertahanan ini mempertahankan utilitas sekaligus mencapai privasi yang kuat.
Evaluasi pada berbagai dataset, model, dan strategi PEFT menunjukkan ketangguhan FISGuard. Namun, pertahanan ini mengasumsikan ketersediaan data publik independen yang representatif terhadap distribusi data privat. Penelitian selanjutnya dapat mengeksplorasi konstruksi subspace adaptif dan pertahanan terhadap serangan lain yang sadar geometri.
Siapa yang sebaiknya membaca
Membuka konten member…