LyndHub
Jadwal Sholat

Memuat jadwal sholat…

← Semua jurnalIndeks pencarian

Editorial Ilmu Komputer & AI

Open AccessOA2026

Menuju Agen Pengujian Penetrasi Berbasis AI yang Aman: Ancaman Keamanan, Guardrail, dan Perspektif Arsitektur

Analisis keamanan komprehensif atas agen keamanan ofensif otonom berbasis LLM, batas kepercayaan, permukaan serangan, dan kebutuhan akan guardrail khusus
Rahul Dev T Y; Hiran V Nath· 2026· DOI 10.48550/arXiv.2609.16694

Masalah inti

Agen otonom berbasis Large Language Model (LLM) mengubah pengujian penetrasi dengan memungkinkan alur kerja keamanan ofensif multi-langkah yang dinamis dengan pengawasan manusia minimal. Agen-agen ini memanfaatkan penalaran canggih dan alat keamanan eksternal untuk secara mandiri melakukan pengintaian, mengidentifikasi kerentanan, menyusun rencana eksploitasi, dan menjalankan operasi pasca-eksploitasi. Namun, memori persisten, kemampuan tindakan dunia nyata, dan penalaran jangka panjang dari agen-agen ini menghadirkan kekhawatiran keamanan yang secara kualitatif berbeda dibandingkan sistem LLM berbasis obrolan tradisional. Mekanisme guardrail yang ada yang dirancang untuk AI percakapan tidak memadai untuk mengamankan agen pengujian penetrasi AI otonom. Makalah ini mengatasi kesenjangan tersebut dengan melakukan analisis keamanan komprehensif terhadap agen pengujian penetrasi AI otonom. Penulis secara sistematis menganalisis arsitektur agen yang representatif, mencirikan batas kepercayaan dan permukaan serangannya, serta mengusulkan taksonomi ancaman yang selaras dengan siklus hidup agen. Mereka juga menelaah keterbatasan guardrail saat ini, mengidentifikasi kesenjangan penelitian,

Inovasi

Analisis ini menghasilkan beberapa temuan kunci:

- **Batas Kepercayaan dan Permukaan Serangan**: Agen pengujian penetrasi AI otonom memiliki batas kepercayaan yang diperluas karena kemampuannya berinteraksi dengan alat eksternal, mempertahankan memori persisten, dan menjalankan rencana jangka panjang. Hal ini menciptakan permukaan serangan pada tingkat LLM (misalnya, prompt injection), tingkat arsitektur agen (misalnya, manipulasi API alat), dan tingkat perilaku (misalnya, eksploitasi yang tidak disengaja).

- **Taksonomi Ancaman**: Taksonomi yang diusulkan mengidentifikasi ancaman spesifik dalam setiap kategori. Misalnya, serangan siklus hidup LLM mencakup peracunan data selama fine-tuning, sedangkan serangan arsitektur agen mencakup peracunan memori dan pembajakan alat. Serangan perilaku lintas sektoral mencakup reward hacking dan goal drift.

- **Ketidakmemadaian Guardrail yang Ada**: Guardrail saat ini untuk AI percakapan, seperti filter konten dan sanitasi keluaran, tidak memadai karena tidak memperhitungkan otonomi agen, penalaran multi-langkah, dan dampak dunia nyata. Misalnya, guardrail yang memblokir prompt berbahaya mungkin tidak mencegah agen merangkai tindakan yang tam

Agen otonom berbasis Large Language Model (LLM) mengubah pengujian penetrasi dengan memungkinkan alur kerja keamanan ofensif multi-langkah yang dinamis dengan pengawasan manusia minimal. Agen-agen ini memanfaatkan penalaran canggih dan alat keamanan eksternal untuk secara mandiri melakukan pengintaian, mengidentifikasi kerentanan, menyusun rencana eksploitasi, dan menjalankan operasi pasca-eksploitasi. Namun, memori persisten, kemampuan tindakan dunia nyata, dan penalaran jangka panjang dari agen-agen ini menghadirkan kekhawatiran keamanan yang secara kualitatif berbeda dibandingkan sistem LLM berbasis obrolan tradisional. Mekanisme guardrail yang ada yang dirancang untuk AI percakapan tidak memadai untuk mengamankan agen pengujian penetrasi AI otonom. Makalah ini mengatasi kesenjangan tersebut dengan melakukan analisis keamanan komprehensif terhadap agen pengujian penetrasi AI otonom. Penulis secara sistematis menganalisis arsitektur agen yang representatif, mencirikan batas kepercayaan dan permukaan serangannya, serta mengusulkan taksonomi ancaman yang selaras dengan siklus hidup agen. Mereka juga menelaah keterbatasan guardrail saat ini, mengidentifikasi kesenjangan penelitian, dan membahas arah masa depan untuk mengembangkan guardrail khusus yang sadar konteks dan sadar arsitektur guna mengamankan sistem keamanan ofensif berbasis AI generasi berikutnya.
Penulis menggunakan pendekatan analisis keamanan sistematis yang berfokus pada agen pengujian penetrasi AI otonom. Metodologi ini melibatkan tiga langkah utama:

Mengapa penting

Pembahasan menguraikan implikasi temuan dan mengusulkan arah penelitian masa depan. Penulis berargumen bahwa mengamankan agen pengujian penetrasi AI otonom memerlukan pergeseran dari guardrail reaktif berbasis konten ke mekanisme proaktif yang sadar arsitektur. Mereka menyarankan beberapa arah:

- **Guardrail yang Sadar Arsitektur**: Mengembangkan guardrail yang terintegrasi dengan arsitektur agen untuk memantau dan membatasi penggunaan alat, operasi memori, dan perencanaan. Misalnya, guardrail dapat menegakkan kebijakan yang mencegah agen menjalankan alat tertentu tanpa persetujuan manusia.

- **Guardrail yang Sadar Konteks**: Memasukkan informasi kontekstual seperti lingkungan target, cakupan misi, dan batasan hukum untuk menyesuaikan ketatnya guardrail secara dinamis. Hal ini dapat melibatkan penggunaan reinforcement learning from human feedback (RLHF) untuk melatih guardrail yang beradaptasi dengan berbagai skenario.

- **Verifikasi Formal**: Menerapkan metode formal untuk memverifikasi bahwa rencana agen mematuhi kebijakan keamanan. Hal ini dapat dimodelkan sebagai masalah pemuasan kendala:

di mana rencana harus memenuhi kendala kebijakan.

- **Keamanan Multi-Agen**: Karena pengujian penetrasi sering melibatkan beberapa agen, diperlukan protokol koordinasi yang aman untuk mencegah kolusi atau interferensi yang tidak disengaja.

- **Kerangka Etika dan Hukum**: Memastikan bahwa agen pengujian penetrasi otonom beroperasi dalam batas hukum dan etika, mungkin melalui pemeriksaan kepatuhan bawaan.

Penulis juga membahas trade-off antara otonomi dan keamanan, dengan mencatat bahwa peningkatan guardrail dapat mengurangi efektivitas agen. Mereka mengusulkan pendekatan seimbang di mana guardrail disesuaikan dengan tingkat risiko operasi.

Terakhir, mereka menyajikan arsitektur tingkat tinggi untuk agen pengujian penetrasi AI yang aman, diilustrasikan di bawah ini:

Arsitektur ini mencakup lapisan guardrail yang mencegat dan memvalidasi tindakan antara modul perencanaan dan antarmuka alat, serta operasi memori. Policy engine menyediakan kendala dinamis berdasarkan konteks.

Makalah ini menyimpulkan bahwa mengamankan agen pengujian penetrasi AI otonom merupakan tantangan terbuka yang memerlukan penelitian interdisipliner yang menggabungkan keamanan AI, metode formal, dan keamanan siber.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…