Editorial ilmu komputer
Data Agent di Bawah Serangan: Kerentanan pada Sistem Analitik yang Digerakkan LLM
Masalah inti
Inovasi
Eksperimen mengungkap kerentanan keamanan yang substansial pada keenam sistem yang dievaluasi. Serangan yang dihasilkan melalui pipeline yang digerakkan LLM berhasil mengeksploitasi kelemahan pada lapisan interpretation, execution, dan policy. Temuan kuantitatif utama meliputi:
- **Tingkat Keberhasilan Serangan:** Serangan mencapai tingkat keberhasilan yang tinggi pada berbagai sistem, dengan variasi bergantung pada arsitektur dan pertahanan sistem.
- **Distribusi Kerentanan:** Delapan risiko spesifik data agent teramati dalam praktik, dengan sebagian risiko lebih umum daripada yang lain.
- **Perbandingan Sistem:** Data agent open-source dan layanan analitik cloud produksi sama-sama menunjukkan kerentanan, meskipun kelemahan spesifiknya berbeda.
Hasil ini menunjukkan bahwa data agent saat ini belum diamankan secara memadai terhadap ancaman yang teridentifikasi. Empat temuan kunci dari eksperimen tersebut adalah:
1. Data agent memunculkan permukaan serangan baru yang tidak tercakup oleh keamanan basis data tradisional atau keamanan LLM-agent.
2. Kerangka kerentanan berlapis secara efektif menangkap risiko-risiko tersebut.
3. Taksonomi serangan dan pipeline pembangkitan payload ef
Mengapa penting
Temuan ini menyoroti celah kritis dalam keamanan data agent yang digerakkan LLM. Penggabungan kembali keamanan basis data dan keamanan LLM-agent menciptakan mode kegagalan yang tidak ditangani oleh salah satu bidang sendirian. Misalnya, penyerang dapat mengeksploitasi lapisan interpretation untuk menyuntikkan prompt berbahaya yang memanipulasi penalaran agent, sehingga menyebabkan akses data tanpa izin atau eksekusi alat yang berbahaya. Kerentanan lapisan execution memungkinkan penyerang mengeksekusi kode atau kueri arbitrer, sedangkan kelemahan lapisan policy memungkinkan melewati kontrol akses.
Taksonomi serangan memberikan cara terstruktur untuk memahami perilaku penyerang. Tiga tujuan (misalnya, eksfiltrasi data, manipulasi data, denial of service) dicapai melalui tujuh taktik dan empat belas teknik. Pipeline pembangkitan payload yang digerakkan LLM memastikan serangan disesuaikan dengan skema basis data target, sehingga meningkatkan efektivitasnya.
Evaluasi pada enam sistem menegaskan urgensi pertahanan yang kuat. Penulis menyarankan agar pekerjaan selanjutnya berfokus pada pengembangan mekanisme keamanan yang mengatasi tantangan unik data agent, seperti interpretasi input pengguna yang aman, eksekusi alat dalam sandbox, dan penegakan policy yang dinamis.
Arsitektur tingkat tinggi data agent dan permukaan serangannya dapat direpresentasikan sebagai:
Diagram ini menggambarkan alur dari input pengguna melalui penalaran LLM, pemilihan alat, eksekusi basis data, dan penegakan policy, dengan permukaan serangan yang disorot.
Siapa yang sebaiknya membaca
Membuka konten member…