Model Bahasa Besar untuk Pembuatan Dataset Sintetis Indikator Kompromi Keamanan Siber

Fine-Tuning GPT-3.5 dengan Gaya Media Sosial dan Pengetahuan IoC Terkurasi untuk Mengevaluasi Klasifier ML/DL

Ashwaq Almorjan; Mohammed Basheri; Miada Almasre· Italian National Conference on Sensors· 2025· DOI 10.3390/s25092825

Masalah inti

Cyber Threat Intelligence (CTI) bergantung pada dataset berlabel berkualitas tinggi yang memuat Indikator Kompromi (IoC) untuk melatih model prediktif yang tangguh. Abstrak sumber mengidentifikasi kelangkaan 'dataset berkualitas tinggi dan berlabel yang mencakup Indikator Kompromi (IoC)' sebagai hambatan utama, terutama untuk mengklasifikasikan IoC dalam komunikasi daring. Media sosial menjadi lingkungan yang sangat penting karena pengguna berpotensi sangat terpapar ancaman siber. Pembuatan dataset sintetis diusulkan sebagai cara untuk mengisi kesenjangan ini dan mengembangkan sistem CTI yang efektif. Oleh karena itu, studi ini bertujuan melakukan fine-tuning terhadap Large Language Model (LLM) milik OpenAI, GPT-3.5, untuk menghasilkan dataset sintetis yang mereplikasi gaya dataset terkurasi media sosial nyata dan memasukkan IoC terpilih sebagai pengetahuan domain. Secara formal, proses pembuatan dapat dinyatakan sebagai D_{sy n} \sim P_{θ} (x ∣ D_{r e a l}, K_{I o C}), dengan θ menyatakan parameter GPT-3.5 yang telah di-fine-tune, D_{r e a l} adalah dataset terkurasi media sosial nyata, dan K_{I o C} adalah pengetahuan domain IoC terkurasi.

Abstrak melaporkan bahwa empat model ML dan DL dievaluasi pada dua dataset yang dihasilkan. Pada dataset 4.000 instans, Dense Neural Network (DenseNN) menghasilkan akurasi tertinggi sebesar 77%. Pada dataset 12.000 instans, Logistic Regression (LR) mencapai akurasi tertinggi sebesar 82%. Hasil ini menunjukkan bahwa dataset sintetis dengan ukuran berbeda dapat mendukung evaluasi klasifier, dan model dengan kinerja terbaik dapat berubah seiring skala dataset. Tampilan ringkasnya diberikan di bawah ini: | Ukuran dataset sintetis | Model terbaik | Akurasi tertinggi | | --- | --- | --- | | 4.000 instans | DenseNN | 77% | | 12.000 instans | LR | 82% | Abstrak tidak menyebutkan dua model lain yang dievaluasi, sehingga digest ini tidak menyimpulkan identitas atau kinerja keduanya.

Cyber Threat Intelligence (CTI) bergantung pada dataset berlabel berkualitas tinggi yang memuat Indikator Kompromi (IoC) untuk melatih model prediktif yang tangguh. Abstrak sumber mengidentifikasi kelangkaan 'dataset berkualitas tinggi dan berlabel yang mencakup Indikator Kompromi (IoC)' sebagai hambatan utama, terutama untuk mengklasifikasikan IoC dalam komunikasi daring. Media sosial menjadi lingkungan yang sangat penting karena pengguna berpotensi sangat terpapar ancaman siber. Pembuatan dataset sintetis diusulkan sebagai cara untuk mengisi kesenjangan ini dan mengembangkan sistem CTI yang efektif. Oleh karena itu, studi ini bertujuan melakukan fine-tuning terhadap Large Language Model (LLM) milik OpenAI, GPT-3.5, untuk menghasilkan dataset sintetis yang mereplikasi gaya dataset terkurasi media sosial nyata dan memasukkan IoC terpilih sebagai pengetahuan domain. Secara formal, proses pembuatan dapat dinyatakan sebagai D_{sy n} \sim P_{θ} (x ∣ D_{r e a l}, K_{I o C}), dengan θ menyatakan parameter GPT-3.5 yang telah di-fine-tune, D_{r e a l} adalah dataset terkurasi media sosial nyata, dan K_{I o C} adalah pengetahuan domain IoC terkurasi.

Metodologi ini melakukan fine-tuning terhadap GPT-3.5 milik OpenAI menggunakan dataset media sosial nyata dan pengetahuan domain IoC terkurasi. Fine-tuning dirancang agar LLM meniru gaya dataset terkurasi media sosial nyata sekaligus menyuntikkan IoC terpilih sebagai pengetahuan domain. Studi ini kemudian menghasilkan dua dataset sintetis: satu dengan 4.000 instans dan satu lagi dengan 12.000 instans. Empat model pembelajaran mesin (ML) dan pembelajaran mendalam (DL) dievaluasi pada dataset yang dihasilkan tersebut. Evaluasi berfokus pada kinerja klasifikasi untuk IoC dalam komunikasi daring. Akurasi adalah metrik yang dilaporkan, didefinisikan sebagai A cc u r a cy = \frac{T P + T N}{T P + T N + F P + F N}, dengan T P, T N, F P, dan F N masing-masing menyatakan true positive, true negative, false positive, dan false negative. Alur proses dapat diringkas sebagai berikut:

Studi ini menyoroti potensi pengintegrasian LLM yang telah di-fine-tune dengan pengetahuan spesifik domain untuk menciptakan data sintetis berkualitas tinggi. Kontribusi utamanya adalah adopsi fine-tuning untuk sebuah LLM, GPT-3.5, menggunakan dataset media sosial nyata dan pengetahuan domain IoC terkurasi. Hal ini diharapkan dapat meningkatkan proses pembuatan dataset sintetis dan kemudian ekstraksi serta klasifikasi IoC, menawarkan sumber daya yang realistis dan baru untuk aplikasi keamanan siber. Pendekatan ini menjawab hambatan praktis dalam CTI: kurangnya data IoC berlabel yang dapat dibagikan atau dikumpulkan dalam skala besar. Dengan menggunakan dataset terkurasi media sosial nyata sebagai referensi gaya dan IoC terkurasi sebagai pengetahuan domain, data yang dihasilkan bertujuan agar realistis sekaligus relevan dengan tugas. Temuan pada tingkat abstrak juga menunjukkan bahwa ukuran dataset dapat memengaruhi pemilihan model, dengan DenseNN unggul pada set 4.000 instans yang lebih kecil dan LR unggul pada set 12.000 instans yang lebih besar. Namun, ringkasan sumber yang tersedia tidak melaporkan metrik per kelas, analisis kesalahan, atau identitas keempat model yang dievaluasi; hal-hal tersebut penting untuk menilai generalisasi. Karya ini membuka jalur bagi sistem CTI masa depan yang menggabungkan sintesis data berbasis LLM dengan ekstraksi dan klasifikasi IoC di hilir.

Praktisi dan peneliti ilmu komputer

Membuka konten member…