ActGov: Mengatur Aksi Agen LLM melalui Validasi Berbasis Batasan Kebijakan

Agen large language model (LLM) semakin banyak menjalankan alur kerja jangka panjang melalui alat eksternal, sehingga keluaran yang tidak tepercaya dapat memengaruhi aksi berikutnya dan melampaui otorisasi pengguna. Pertahanan yang ada mengisolasi konten yang disuntikkan atau membatasi eksekusi dengan rencana yang telah ditetapkan dan kebijakan statis, tetapi pendekatan ini rapuh pada alur kerja dinamis dan kurang berskala pada ekosistem alat yang dapat diperluas. Masalah intinya adalah agen dapat mengusulkan aksi alat yang secara semantik masuk akal tetapi melanggar batas otorisasi pengguna, terutama ketika keluaran alat yang tidak tepercaya menyuntikkan instruksi berbahaya. ActGov mengatasi hal ini dengan memvalidasi setiap aksi alat yang diusulkan LLM sebelum menimbulkan efek eksternal, alih-alih mengandalkan LLM untuk mengidentifikasi instruksi berbahaya dengan benar. Kerangka ini dibangun di atas model semantik terpadu untuk otorisasi, aksi, konteks runtime, dan batasan keamanan, sehingga memungkinkan penegakan yang terperinci pada eksekusi agen yang dinamis.

ActGov dievaluasi pada benchmark AgentDojo dan AgentDyn di berbagai model dan konfigurasi serangan. Hasilnya menunjukkan ActGov secara konsisten menurunkan tingkat keberhasilan serangan indirect prompt injection sekaligus mempertahankan utilitas tugas, jauh melampaui pertahanan yang ada. Secara spesifik, ActGov mencapai tingkat keberhasilan serangan yang lebih rendah daripada pertahanan baseline pada berbagai konfigurasi serangan, tanpa mengorbankan kemampuan agen menyelesaikan tugas benign. Evaluasi mencakup berbagai model, menunjukkan bahwa mekanisme penegakan ini agnostik terhadap model dan tidak bergantung pada kemampuan internal LLM untuk mendeteksi instruksi berbahaya. Hasil ini menunjukkan ActGov dapat menegakkan otorisasi terperinci pada eksekusi agen yang dinamis, memberikan pertahanan yang kuat terhadap indirect prompt injection pada alur kerja jangka panjang.