Editorial Ilmu Komputer & AI
Menyesatkan Perencana melalui Resume Menyesatkan: Injeksi pada Waktu Registrasi di Sistem Multi-Agen Terpusat
Masalah inti
Sistem multi-agen (MAS) terpusat berbasis LLM memperluas fungsionalitasnya dengan mendaftarkan agen pekerja baru. Perencana membaca deskripsi setiap pekerja untuk memutuskan bagaimana suatu tugas diuraikan, pekerja mana yang mengeksekusi setiap subtugas, dan apa yang dibutuhkan setiap subtugas. Deskripsi pihak ketiga ini ditulis di luar sistem namun dipercaya oleh perencana, sehingga membuka **kanal injeksi pada waktu registrasi**: muatan ditanam sebelum instruksi pengguna mana pun datang, menyasar perencana, dan menyebar melalui rencana yang dihasilkan ke pekerja yang tidak berbahaya. Yang krusial, serangan ini tetap berhasil bahkan ketika pekerja yang direkayasa tidak pernah diberi subtugas atau dipanggil.
Penulis mendefinisikan empat bidang deskripsi pekerja: **fungsionalitas**, **spesifikasi masukan**, **spesifikasi keluaran**, dan **batasan penggunaan**. Analisis terhadap 32.000 deskripsi dari tiga pasar agen publik menunjukkan bahwa sebagian besar menghilangkan spesifikasi masukan dan batasan penggunaan, sementara setidaknya **23,35%** memuat konten di luar bidang-bidang tersebut. Kesenjangan antara apa yang dipercaya perencana dan apa yang seharusnya dibawa oleh bidang-bida
Inovasi
Pada kasus paling parah, **satu deskripsi yang dimanipulasi** menurunkan keberhasilan tugas dari **84,31% menjadi 37,25%**, atau meningkatkan konsumsi token atau waktu eksekusi **lebih dari 111%**, sementara tujuan pengguna tetap tidak berubah dan pekerja dengan setia mengeksekusi rencana yang dihasilkan. Efek-efek ini bertahan pada dua implementasi MAS, enam LLM perencana, empat evaluator LLM, dan deskripsi dunia nyata dari tiga pasar.
Degradasi ini karena itu bukan artefak dari satu model atau satu tumpukan orkestrasi. Ini adalah properti dari kanal pada waktu registrasi: penguraian tugas, pembumian kapabilitas, dan spesifikasi subtugas oleh perencana semuanya dapat dijangkau dari deskripsi yang ditulis di luar sistem. Karena pekerja yang direkayasa tidak perlu diberi subtugas atau dipanggil, serangan ini tidak dapat dideteksi hanya dengan mengamati perilaku pekerja.
DescGuard memulihkan metrik perencanaan yang disasar dan kinerja hilir ke tingkat dasarnya tanpa memodifikasi implementasi pekerja, perencana, atau logika orkestrasi. Pertahanan ini dapat dikomposisikan dengan mekanisme isolasi, kontrol izin, dan runtime yang sudah ada, sehingga dapat dilapiskan pada penerapan saat
Mengapa penting
Temuan ini merumuskan ulang deskripsi pekerja sebagai **permukaan masukan yang tidak dipercaya** alih-alih metadata pasif. Taksonomi empat bidang (fungsionalitas, spesifikasi masukan, spesifikasi keluaran, batasan penggunaan) memberikan kosakata konkret tentang apa yang seharusnya dibawa oleh deskripsi; pengamatan bahwa sebagian besar deskripsi pasar menghilangkan spesifikasi masukan dan batasan penggunaan, dan bahwa setidaknya 23,35% memuat konten di luar bidang-bidang tersebut, menunjukkan seberapa jauh praktik saat ini dari ideal itu.
Delapan strategi serangan memetakan ke tiga perilaku perencana, yang menunjukkan bahwa pertahanan harus dievaluasi terhadap ketiganya alih-alih terhadap satu mode kegagalan saja. Prinsip desain DescGuard adalah **hak istimewa paling sedikit pada waktu registrasi**: hanya informasi antarmuka yang berskala pekerja yang mencapai perencana, sehingga perencana tetap dapat membumikan kapabilitas dan menentukan subtugas tanpa menyerap konten di luar cakupan.
Karena serangan ini bertahan pada dua implementasi MAS, enam LLM perencana, empat evaluator LLM, dan tiga pasar, hasilnya adalah properti sistemik dari MAS terpusat, bukan keanehan yang spesifik pada satu model. Kompatibilitas pertahanan ini dengan mekanisme isolasi, kontrol izin, dan runtime menunjukkan bahwa penyaringan pada waktu registrasi dapat diadopsi bersama pengaman yang sudah ada. Penelitian selanjutnya dapat memperluas taksonomi ke skema deskripsi yang lebih kaya dan menguji apakah kanal yang sama ada pada topologi MAS terdesentralisasi atau terfederasi.
Siapa yang sebaiknya membaca
Membuka konten member…