Editorial ilmu komputer
Mengevaluasi Coding Agent dalam Pembuatan Exploit Kernel
Masalah inti
Coding agent telah menunjukkan kemampuan menemukan kerentanan nyata pada perangkat lunak produksi. Namun, hasil penemuan bug tidak mengukur apakah agent dapat membangun exploit primitive—blok bangunan dasar yang diperlukan untuk mengubah kerentanan menjadi exploit yang berfungsi. Makalah ini memperkenalkan **KEX-bench**, sebuah tolok ukur yang dirancang untuk mengevaluasi coding agent dalam pembuatan exploit primitive terhadap kernel sistem operasi nyata.
KEX-bench berisi **45 instance tugas** di **40 CVE Linux dan Windows**, mencakup lima kategori primitive: kernel address leak, instruction-pointer control, heap read, heap write, dan arbitrary address write. Setiap tugas berjalan di virtual machine terisolasi, mengekspos alat yang terkendali, dan menggunakan verifier deterministik untuk memeriksa keberhasilan spesifik per primitive. Tolok ukur ini bertujuan menyediakan penelitian yang dapat direproduksi tentang eksploitasi berbantuan AI.
Pertanyaan penelitian utamanya adalah: *Dapatkah coding agent mutakhir, yang dipasangkan dengan model frontier dan open-weight, menghasilkan exploit primitive di bawah anggaran tool-call yang tetap?* Penulis mengevaluasi beberapa konfigurasi dan
Inovasi
Evaluasi mengungkap kesenjangan kinerja yang mencolok antara tugas Windows dan Linux, serta antara pengaturan dengan dan tanpa PoC referensi.
**Tanpa PoC referensi:**
- Konfigurasi terkuat menyelesaikan **1 dari 20 tugas Windows (5,0%)**.
- Konfigurasi terkuat menyelesaikan **14 dari 25 tugas Linux (56,0%)**.
**Dengan PoC referensi:**
- Konfigurasi terkuat menyelesaikan **31 dari 45 tugas (68,9%)**.
Hasil ini menyoroti bahwa agent sering dapat mencapai kernel crash tetapi gagal membentuk kernel state menjadi exploit primitive. Kehadiran PoC referensi secara dramatis meningkatkan keberhasilan, menunjukkan bahwa agent kesulitan dengan aspek kreatif dan manipulasi state dalam pembuatan primitive.
Ringkasan hasil ditunjukkan di bawah ini:
| Setting | Windows | Linux | Overall |
|---------|---------|-------|---------|
| Without PoC | 1/20 (5.0%) | 14/25 (56.0%) | 15/45 (33.3%) |
| With PoC | — | — | 31/45 (68.9%) |
*Catatan: Makalah ini tidak memberikan rincian Windows vs. Linux untuk pengaturan dengan PoC.*
Mengapa penting
Hasil ini menyingkap batasan kritis pada coding agent saat ini: meskipun mereka dapat menemukan kerentanan dan memicu kernel crash, mereka tidak memiliki kemampuan untuk secara andal mengubah crash tersebut menjadi exploit primitive yang terkendali. Kesenjangan ini sangat mencolok pada Windows, di mana hanya 5,0% tugas diselesaikan tanpa PoC referensi, dibandingkan dengan 56,0% pada Linux. Perbedaan ini mungkin berasal dari kompleksitas internal kernel Windows, perbedaan alat yang tersedia, atau sifat CVE yang dipilih.
Peningkatan substansial ketika PoC referensi diberikan (68,9% secara keseluruhan) menunjukkan bahwa agent sangat diuntungkan oleh panduan. Ini menunjukkan bahwa agent saat ini lebih baik dalam mengadaptasi dan menyempurnakan strategi exploit yang ada daripada menciptakan yang baru dari awal. Anggaran tool-call yang tetap semakin membatasi eksplorasi, menekankan efisiensi.
KEX-bench menyediakan platform yang dapat direproduksi untuk mengukur kemajuan dalam eksploitasi berbantuan AI. Pekerjaan selanjutnya dapat berfokus pada peningkatan kemampuan agent untuk memanipulasi kernel state, menggeneralisasi lintas sistem operasi, dan beroperasi di bawah batasan yang lebih ketat. Rilis tolok ukur ini di https://kex-bench.github.io bertujuan untuk memacu penelitian ke arah ini.
Arsitektur tingkat tinggi dari tolok ukur ini diilustrasikan di bawah ini:
Arsitektur ini memastikan bahwa setiap tugas dievaluasi secara konsisten dan aman.
Siapa yang sebaiknya membaca
Membuka konten member…