Mengevaluasi NIST Bugs Framework terhadap CWE sebagai Penerus untuk Klasifikasi Kerentanan Otomatis

Penilaian empiris atas reproduktibilitas dan keramahan otomasi BF untuk pemetaan CVE ke kelemahan

Md Nazmul Hoque; Shaswata Mitra; Subash Neupane; Sudip Mittal; Shahram Rahimi· 2026· DOI 10.48550/arXiv.2609.16433

Masalah inti

Klasifikasi kerentanan berdasarkan kelemahan akar masalah sangat penting untuk berbagai aktivitas keamanan siber, di mana Common Weakness Enumeration (CWE) berfungsi sebagai repositori publik atas kelemahan tersebut. Namun, entri-entrinya yang tumpang tindih menciptakan struktur non-ortogonal. Akibatnya, kerentanan yang sama dipetakan ke beberapa kelemahan, sehingga menyulitkan Root Cause Analysis (RCA) dan triase. Untuk mengatasi hal ini, NIST Special Publication 800-231 memperkenalkan Bugs Framework (BF), yang mengorganisasi kerentanan ke dalam tripel ⟨ cause, operation, consequence ⟩ dan menghubungkan tripel tersebut ke dalam rantai kausal, sehingga sebuah kerentanan membawa akar masalah dan sink-nya sekaligus alih-alih satu label terminal. Namun, hingga kini BF telah dispesifikasikan tetapi belum dievaluasi terkait kinerjanya terhadap tantangan klasifikasi otomatis. Bukti yang diperlukan untuk adopsi belum diteliti secara empiris. Makalah ini mengevaluasi BF sebagai target klasifikasi dan pelengkap CWE menggunakan korpus Common Vulnerabilities and Exposures (CVE) otomatis yang disaring secara sistematis dan dikaitkan dengan penelitian CWE.

Studi antar-penilai mengungkapkan kesepakatan kuat pada sumbu cause dan operation, dengan kesepakatan cukup pada sumbu attribute. Hal ini menunjukkan bahwa meskipun BF menyediakan struktur yang jelas untuk cause dan operation, sumbu attribute memerlukan panduan yang lebih tepat. Kerangka otomatis, yang diuji pada dua penerapan LLM dengan anggaran berbeda, menunjukkan reproduktibilitas dalam memetakan CVE ke BF. Meskipun terdapat keterbatasan seperti ketersediaan bukti dan tidak adanya commit perbaikan yang dapat diambil untuk perangkat lunak closed-source, temuan ini mendukung klaim bahwa BF adalah kerangka yang lebih terstruktur dan ramah otomasi dibandingkan CWE. Studi ini juga mengungkapkan celah spesifik pada BF, termasuk panduan yang kurang terperinci mengenai atribut. Hasilnya menunjukkan bahwa BF dapat melengkapi CWE dengan menyediakan representasi kerentanan yang lebih ortogonal dan kausal.

Klasifikasi kerentanan berdasarkan kelemahan akar masalah sangat penting untuk berbagai aktivitas keamanan siber, di mana Common Weakness Enumeration (CWE) berfungsi sebagai repositori publik atas kelemahan tersebut. Namun, entri-entrinya yang tumpang tindih menciptakan struktur non-ortogonal. Akibatnya, kerentanan yang sama dipetakan ke beberapa kelemahan, sehingga menyulitkan Root Cause Analysis (RCA) dan triase. Untuk mengatasi hal ini, NIST Special Publication 800-231 memperkenalkan Bugs Framework (BF), yang mengorganisasi kerentanan ke dalam tripel ⟨ cause, operation, consequence ⟩ dan menghubungkan tripel tersebut ke dalam rantai kausal, sehingga sebuah kerentanan membawa akar masalah dan sink-nya sekaligus alih-alih satu label terminal. Namun, hingga kini BF telah dispesifikasikan tetapi belum dievaluasi terkait kinerjanya terhadap tantangan klasifikasi otomatis. Bukti yang diperlukan untuk adopsi belum diteliti secara empiris. Makalah ini mengevaluasi BF sebagai target klasifikasi dan pelengkap CWE menggunakan korpus Common Vulnerabilities and Exposures (CVE) otomatis yang disaring secara sistematis dan dikaitkan dengan penelitian CWE.

Penulis menilai reproduktibilitas klasifikasi CVE ke BF melalui dua evaluasi. Pertama bersifat kualitatif: studi antar-penilai teranonimkan di mana 2 subject-matter expert (SME) secara independen memetakan 13 CVE ke empat sumbu BF. Anotator menunjukkan kesepakatan kuat pada sumbu cause dan operation, sedangkan sumbu attribute menunjukkan kesepakatan cukup. Evaluasi kedua menguji kerangka otomatis pada dua penerapan large language model (LLM) dengan anggaran berbeda untuk analisis reproduktibilitas. Korpusnya terdiri atas Common Vulnerabilities and Exposures (CVE) otomatis yang disaring secara sistematis dan dikaitkan dengan penelitian CWE. Studi ini mengakui keterbatasan, seperti ketersediaan bukti dan tidak adanya commit perbaikan yang dapat diambil untuk perangkat lunak closed-source. Struktur BF dapat direpresentasikan sebagai rantai kausal:

Evaluasi ini menyoroti potensi BF sebagai penerus atau pelengkap CWE untuk klasifikasi kerentanan otomatis. Struktur non-ortogonal CWE menyebabkan entri yang tumpang tindih dan pemetaan ganda untuk satu kerentanan, sehingga menyulitkan RCA dan triase. Tripel ⟨ cause, operation, consequence ⟩ dan rantai kausal BF menawarkan pendekatan yang lebih terstruktur, dengan membawa akar masalah dan sink sekaligus. Kesepakatan kuat pada sumbu cause dan operation menunjukkan bahwa aspek-aspek ini telah terdefinisi dengan baik, sedangkan kesepakatan cukup pada atribut menunjukkan perlunya spesifikasi yang lebih jelas. Otomasi berbasis LLM menunjukkan harapan, tetapi dibatasi oleh ketersediaan bukti dan kendala perangkat lunak closed-source. Pekerjaan selanjutnya harus mengatasi celah ini, khususnya dalam panduan atribut, untuk meningkatkan adopsi BF. Secara keseluruhan, BF menyajikan kerangka yang lebih ramah otomasi, tetapi bukti empiris lebih lanjut diperlukan untuk sepenuhnya menggantikan CWE.

Praktisi dan peneliti ilmu komputer

Membuka konten member…