Menuju Deteksi Kerentanan Terpandu Behavior Tree dengan LLM Ringan

Representasi perantara ringkas untuk model lokal yang terbatas token

Enna Basic; Alberto Giaretta· 2026· DOI 10.48550/arXiv.2609.01758

Masalah inti

Large Language Model (LLM) semakin banyak diterapkan untuk deteksi kerentanan perangkat lunak, namun efektivitasnya bergantung pada bagaimana kode sumber direpresentasikan dalam input. Sebagian besar pendekatan prompting memasukkan kode sumber dalam bentuk aslinya, sementara beberapa karya mengusulkan representasi terstruktur. Abstract Syntax Tree (AST) populer tetapi verbose: ukuran inputnya bertambah relatif terhadap kode sumber, sehingga sulit dimuat dalam context window sebagian LLM. Makalah ini meneliti Behavior Tree (BT) sebagai representasi perantara alternatif. BT mengodekan alur kendali, kondisi, dan aksi yang dapat dieksekusi secara lebih ringkas daripada AST, sehingga menjadi kandidat alami ketika jumlah token menjadi kendala. Penulis mengusulkan tahap prapemrosesan yang mengurai kode sumber Java menjadi AST lalu mengonversinya menjadi representasi BT. Mereka membandingkan kinerja deteksi kerentanan pada 460 sampel Java dari Juliet Java test suite menggunakan tiga representasi input: kode sumber mentah, AST, dan BT. Semua eksperimen memakai satu LLM lokal terkuantisasi, Mistral Small 3.2 24B (Q4_K_M). Pertanyaan penelitian utamanya adalah apakah BT dapat menyediakan repr

Hasil eksperimen menunjukkan trade-off yang berbeda di antara ketiga representasi. Pada sampel kode pendek, representasi BT meningkatkan recall dibandingkan kode sumber mentah dan AST. Namun, kode sumber mentah mencapai precision lebih tinggi. Pada sampel lebih panjang, BT meningkatkan kinerja keseluruhan dibandingkan representasi asli dan muat dalam context window, sedangkan banyak AST melampaui batas konteks. Secara spesifik, penulis melaporkan bahwa AST paling verbose, sering melampaui context window model Mistral Small 3.2 24B terkuantisasi. BT lebih ringkas daripada AST dan, dalam banyak kasus, lebih ringkas daripada kode sumber mentah, sehingga dapat muat dalam context window. Tabel berikut merangkum temuan kualitatif: | Representation | Precision | Recall | Context Fit | |----------------|-----------|--------|-------------| | Raw Source | High | Low | Good | | AST | Medium | Medium | Poor (long samples) | | BT | Medium | High | Good | Hasil ini menunjukkan bahwa BT sangat bermanfaat ketika jumlah token menjadi kendala, seperti pada LLM terkuantisasi yang dapat dideploy secara lokal.

Large Language Model (LLM) semakin banyak diterapkan untuk deteksi kerentanan perangkat lunak, namun efektivitasnya bergantung pada bagaimana kode sumber direpresentasikan dalam input. Sebagian besar pendekatan prompting memasukkan kode sumber dalam bentuk aslinya, sementara beberapa karya mengusulkan representasi terstruktur. Abstract Syntax Tree (AST) populer tetapi verbose: ukuran inputnya bertambah relatif terhadap kode sumber, sehingga sulit dimuat dalam context window sebagian LLM. Makalah ini meneliti Behavior Tree (BT) sebagai representasi perantara alternatif. BT mengodekan alur kendali, kondisi, dan aksi yang dapat dieksekusi secara lebih ringkas daripada AST, sehingga menjadi kandidat alami ketika jumlah token menjadi kendala. Penulis mengusulkan tahap prapemrosesan yang mengurai kode sumber Java menjadi AST lalu mengonversinya menjadi representasi BT. Mereka membandingkan kinerja deteksi kerentanan pada 460 sampel Java dari Juliet Java test suite menggunakan tiga representasi input: kode sumber mentah, AST, dan BT. Semua eksperimen memakai satu LLM lokal terkuantisasi, Mistral Small 3.2 24B (Q4_K_M). Pertanyaan penelitian utamanya adalah apakah BT dapat menyediakan representasi terstruktur yang ringkas dan berguna untuk deteksi kerentanan dengan LLM terkuantisasi yang dapat dideploy secara lokal.

Pipeline yang diusulkan terdiri atas dua tahap utama: (1) mengurai kode sumber Java menjadi Abstract Syntax Tree (AST), dan (2) mengonversi AST menjadi representasi Behavior Tree (BT). BT mengodekan alur kendali, kondisi, dan aksi yang dapat dieksekusi dalam format hierarkis yang ringkas. Untuk evaluasi, penulis menggunakan 460 sampel Java dari Juliet Java test suite, tolok ukur standar untuk deteksi kerentanan. Setiap sampel diproses menjadi tiga representasi input: kode sumber mentah, AST, dan BT. Semua eksperimen dilakukan dengan satu LLM lokal terkuantisasi: Mistral Small 3.2 24B (Q4_K_M). Model diminta mengklasifikasikan setiap sampel sebagai rentan atau tidak rentan. Kinerja diukur menggunakan precision, recall, dan akurasi keseluruhan. Jumlah token setiap representasi juga dicatat untuk menilai kecocokan context window. Proses konversi dapat diringkas sebagai:

Temuan ini menunjukkan bahwa Behavior Tree menawarkan representasi perantara yang menjanjikan untuk deteksi kerentanan dengan LLM ringan. Keringkasan BT mengatasi keterbatasan context window pada AST, memungkinkan model memproses sampel kode lebih panjang tanpa pemotongan. Peningkatan recall pada sampel pendek menunjukkan bahwa BT membantu model mengidentifikasi pola rentan yang mungkin terlewat saat menggunakan kode sumber mentah. Namun, precision kode sumber mentah yang lebih tinggi menyiratkan bahwa BT dapat memasukkan sejumlah noise atau kehilangan detail halus yang penting untuk menghindari false positive. Trade-off antara precision dan recall harus dipertimbangkan berdasarkan aplikasi: dalam konteks yang kritis terhadap keamanan, recall lebih tinggi mungkin lebih disukai untuk menghindari kerentanan yang terlewat, sementara dalam konteks lain, precision mungkin lebih penting untuk mengurangi alarm palsu. Penulis mencatat bahwa konversi dari AST ke BT bersifat lossy, yang mungkin menjelaskan penurunan precision. Pekerjaan selanjutnya dapat mengeksplorasi representasi hibrida atau pemilihan representasi adaptif berdasarkan panjang kode. Studi ini terbatas pada Java dan satu LLM; generalisasi ke bahasa dan model lain masih perlu diuji. Secara keseluruhan, BT menyediakan representasi terstruktur yang ringkas dan berguna untuk deteksi kerentanan dengan LLM terkuantisasi yang dapat dideploy secara lokal.

Praktisi dan peneliti ilmu komputer

Membuka konten member…