SkillSecurer: Mendeteksi dan Menambal Kerentanan Prompt-Injection pada Skill Agen AI

Kerangka red-blue yang sepenuhnya agentic dengan tingkat deteksi injeksi 100% dan mengungkap kerentanan laten pada lebih dari 17% skill agen populer

Donato Mecca; Alberto Verna; Youness Bouchari; Nikhil Jha; Marco Mellia· 2026· DOI 10.48550/arXiv.2609.14079

Masalah inti

Skill agen memperluas agen AI dengan instruksi, skrip, dan konfigurasi yang dapat digunakan kembali, sehingga memungkinkan perilaku modular dan komposabel. Namun, ekstensibilitas ini memunculkan permukaan serangan baru: skill yang berbahaya atau terkompromi dapat memengaruhi keputusan dan tindakan agen melalui prompt injection. Pemindai keamanan yang ada sering menandai skill pada tingkat kasar, tanpa lokalisasi dan remediasi yang dapat ditindaklanjuti. Makalah ini menyajikan SkillSecurer, kerangka yang sepenuhnya agentic yang dirancang untuk menghasilkan, mendeteksi, melokalisasi, dan meremediasi risiko keamanan pada skill agen. Kerangka ini menjawab kebutuhan akan analisis yang sadar konteks yang melampaui penandaan sederhana, dengan menyediakan bukti yang berdasar dan patch. Penulis mengevaluasi SkillSecurer dengan memilih LLM backend terbaik, membandingkannya dengan pesaing, dan melakukan validasi silang secara manual pada setiap tahap evaluasi. Hasilnya menunjukkan bahwa SkillSecurer adalah satu-satunya pemindai yang mencapai tingkat deteksi injeksi 100% dengan backend terbaiknya. Selain itu, analisis terhadap skill populer dari skills.sh mengungkap kerentanan laten pada lebih

Evaluasi SkillSecurer menghasilkan beberapa temuan kunci. Dengan LLM backend terbaiknya, SkillSecurer mencapai tingkat deteksi injeksi 100%, mengungguli semua pesaing. Penulis membandingkan SkillSecurer dengan pemindai lain, yang menunjukkan kemampuan deteksi dan lokalisasi yang lebih unggul. Validasi silang manual mengonfirmasi keandalan tahap evaluasi. Dalam analisis dunia nyata terhadap skill populer dari skills.sh, SkillSecurer mengungkap kerentanan laten pada lebih dari 17% skill yang diperiksa. Pengujian beberapa skill rentan tersebut memicu insiden nyata, yang memberikan bukti konkret tentang risiko menjalankan skill yang belum terverifikasi. Hasil ini menyoroti prevalensi kerentanan prompt-injection dalam ekosistem skill agen dan efektivitas SkillSecurer dalam mengidentifikasinya. Kemampuan kerangka ini untuk melokalisasi injeksi dan mengusulkan patch memungkinkan remediasi yang dapat ditindaklanjuti, yang membedakannya dari pemindai yang hanya menandai skill pada tingkat tinggi.

Skill agen memperluas agen AI dengan instruksi, skrip, dan konfigurasi yang dapat digunakan kembali, sehingga memungkinkan perilaku modular dan komposabel. Namun, ekstensibilitas ini memunculkan permukaan serangan baru: skill yang berbahaya atau terkompromi dapat memengaruhi keputusan dan tindakan agen melalui prompt injection. Pemindai keamanan yang ada sering menandai skill pada tingkat kasar, tanpa lokalisasi dan remediasi yang dapat ditindaklanjuti. Makalah ini menyajikan SkillSecurer, kerangka yang sepenuhnya agentic yang dirancang untuk menghasilkan, mendeteksi, melokalisasi, dan meremediasi risiko keamanan pada skill agen. Kerangka ini menjawab kebutuhan akan analisis yang sadar konteks yang melampaui penandaan sederhana, dengan menyediakan bukti yang berdasar dan patch. Penulis mengevaluasi SkillSecurer dengan memilih LLM backend terbaik, membandingkannya dengan pesaing, dan melakukan validasi silang secara manual pada setiap tahap evaluasi. Hasilnya menunjukkan bahwa SkillSecurer adalah satu-satunya pemindai yang mencapai tingkat deteksi injeksi 100% dengan backend terbaiknya. Selain itu, analisis terhadap skill populer dari skills.sh mengungkap kerentanan laten pada lebih dari 17% skill yang diperiksa, dan pengujian beberapa skill tersebut memicu insiden nyata, yang menegaskan risiko menjalankan skill yang belum terverifikasi.

SkillSecurer memakai arsitektur dua agen: agen red dan agen blue, dengan verifier opsional untuk instance terkontrol. Agen red menghasilkan injeksi yang kompatibel dengan konteks pada sembilan jenis ancaman sekaligus mencatat modifikasi persis yang dilakukan pada skill. Pencatatan ini memungkinkan evaluasi pada tingkat injeksi. Agen blue menganalisis paket skill secara lengkap, menghasilkan bukti yang berdasar, dan mengusulkan patch untuk meremediasi kerentanan yang terdeteksi. Untuk instance terkontrol, verifier membandingkan temuan dan patch agen blue dengan injeksi yang dicatat agen red, sehingga memungkinkan penilaian akurat atas akurasi deteksi dan lokalisasi. Kerangka ini sepenuhnya agentic, memanfaatkan LLM untuk generasi maupun analisis. Penulis memilih LLM backend terbaik melalui evaluasi dan membandingkan SkillSecurer dengan pemindai pesaing. Validasi silang manual dilakukan pada setiap tahap evaluasi untuk memastikan keandalan. Metodologi ini menekankan analisis yang sadar konteks, sehingga memungkinkan lokalisasi injeksi yang andal dan remediasi yang dapat ditindaklanjuti, melampaui penandaan pada tingkat skill semata.

Temuan ini menegaskan pentingnya analisis LLM yang sadar konteks untuk mengamankan skill agen. Pendekatan dua agen SkillSecurer, yang dikombinasikan dengan verifier untuk instance terkontrol, menyediakan mekanisme yang kuat untuk menghasilkan, mendeteksi, dan meremediasi kerentanan prompt-injection. Tingkat deteksi 100% yang dicapai dengan LLM backend terbaik menunjukkan potensi kerangka agentic di bidang ini. Penemuan kerentanan laten pada lebih dari 17% skill populer menunjukkan celah keamanan yang luas dalam ekosistem skill agen yang sedang berkembang. Insiden nyata yang dipicu oleh pengujian skill rentan menegaskan konsekuensi dunia nyata dari menjalankan skill yang belum terverifikasi. Penulis berargumen bahwa lokalisasi injeksi yang andal dan remediasi yang dapat ditindaklanjuti sangat penting, melampaui penandaan pada tingkat skill semata. Kemampuan SkillSecurer untuk menghasilkan bukti yang berdasar dan patch memfasilitasi kepercayaan dan keamanan dalam penerapan skill agen. Pekerjaan selanjutnya dapat mencakup perluasan taksonomi ancaman, peningkatan generasi patch, dan integrasi SkillSecurer ke dalam marketplace skill untuk penilaian keamanan berkelanjutan. Desain kerangka ini selaras dengan kebutuhan akan solusi keamanan otomatis dan skalabel dalam ekosistem agen AI.

Praktisi dan peneliti ilmu komputer

Membuka konten member…