Desain dan Evaluasi Subsistem Orkestrasi dan Respons Insiden Pasca-Alert Terkendali Menggunakan Rule Engine dan Large Language Model Lokal

Hasil ini memvalidasi pilihan desain yang memisahkan klasifikasi deterministik dari analisis kontekstual dan persetujuan manusia. Akurasi sempurna Rule Engine pada kasus batas menunjukkan bahwa matriks perutean yang terdefinisi dengan baik dapat menangani kasus tepi tanpa ambiguitas. Kinerja Durable Queue menunjukkan bahwa eksekusi tugas yang andal dapat dicapai bahkan di bawah beban, dan batas konkurensi secara efektif membatasi penggunaan model, yang krusial untuk penerapan LLM lokal di mana sumber daya mungkin terbatas.

Rata-rata waktu pemrosesan 33 detik patut dicatat. Meskipun ini mungkin dapat diterima untuk sistem informasi pendidikan, ini bisa menjadi hambatan di lingkungan alert dengan frekuensi tinggi. Waktu tersebut kemungkinan didominasi oleh inferensi LLM dan langkah persetujuan manusia, meskipun makalah ini tidak merinci latensi per tahap. Penelitian selanjutnya dapat mengoptimalkan inferensi LLM atau memperkenalkan pemrosesan paralel untuk tugas yang tidak bertentangan.

Kendali di sekitar LLM—Validator, Guardrail, Output Sanitizer, dan Safe Fallback—sangat penting untuk penerapan yang aman. Kendali ini memastikan bahwa konten saran dapat diandalkan dan tidak mengarah pada tindakan berbahaya. Namun, makalah ini tidak memberikan rincian tentang tingkat false positive atau false negative dari kendali tersebut, yang bisa menjadi arah untuk studi lebih lanjut.

Langkah persetujuan manusia menimbulkan potensi penundaan dan memerlukan ketersediaan operator. Dalam skenario dunia nyata, ini bisa menjadi faktor pembatas. Namun, ini juga memastikan akuntabilitas dan memungkinkan konteks yang mungkin terlewatkan oleh sistem otomatis.

Secara keseluruhan, subsistem ini menunjukkan pendekatan yang seimbang terhadap respons insiden, menggabungkan kecepatan otomatisasi dengan keamanan pengawasan manusia. Arsitekturnya modular dan dapat diadaptasi ke domain lain di luar sistem informasi pendidikan. Penggunaan LLM lokal menjawab kekhawatiran privasi data, karena data alert sensitif tidak meninggalkan lokasi.

Batasan meliputi lingkup laboratorium dan penggunaan alert simulasi. Alert dunia nyata mungkin lebih bising dan lebih beragam, berpotensi menantang matriks perutean Rule Engine. Makalah ini tidak membahas bagaimana matriks perutean dipelihara atau diperbarui, yang penting untuk operasi jangka panjang. Selain itu, evaluasi berfokus pada kebenaran fungsional dan waktu, tetapi tidak pada efektivitas keamanan (misalnya, apakah tindakan tersebut benar-benar memitigasi ancaman). Penelitian selanjutnya harus mencakup pengujian adversarial dan penerapan di dunia nyata.

Sebagai kesimpulan, makalah ini menyajikan subsistem dengan arsitektur yang baik yang mencapai tujuan yang dinyatakan dalam lingkup yang dievaluasi. Pemisahan concerns, perutean deterministik, dan integrasi LLM yang terbatas adalah kekuatan utama. Hasil ini memberikan fondasi untuk penelitian lebih lanjut dan implementasi praktis.