Editorial Ilmu Komputer & AI
Open AccessOA2025
Penalaran Graf yang Diperkaya Retrieval dengan Large Language Model untuk Diagnosis Insiden yang Dapat Dijelaskan
Kerangka kerja baru yang menggabungkan RAG, knowledge graph, dan LLM mencapai presisi 92,3% dalam pelokalan kesalahan sekaligus menyediakan jalur penalaran yang transparan.
Yu’xiang He· Frontiers in Artificial Intelligence Research· 2025· DOI 10.71465/fair531
Masalah inti
Sistem terdistribusi modern telah tumbuh semakin kompleks, sehingga diagnosis insiden dan analisis akar masalah menjadi tantangan yang signifikan. Pendekatan diagnostik tradisional sering kali kurang dapat dijelaskan dan kesulitan menghadapi sifat dinamis dari kegagalan sistem. Metode machine learning murni, meskipun kuat, memiliki keterbatasan dalam hal interpretabilitas dan pemahaman kontekstual, yang menghambat kepercayaan engineer dan memperlambat alur kerja remediasi. Makalah ini mengatasi keterbatasan tersebut dengan mengusulkan kerangka kerja baru yang mengintegrasikan Retrieval-Augmented Generation (RAG) dengan penalaran berbasis graf dan Large Language Model (LLM) untuk memungkinkan diagnosis insiden yang dapat dijelaskan. Ide intinya adalah memanfaatkan knowledge graph untuk menangkap hubungan kausal antar komponen sistem, menggunakan mekanisme retrieval untuk mengakses data insiden historis yang relevan, dan memanfaatkan LLM untuk menghasilkan penjelasan yang dapat dipahami manusia atas insiden yang didiagnosis. Kerangka kerja ini bertujuan menggabungkan kemampuan penalaran terstruktur dari graph neural network dengan kemampuan pemahaman semantik dan generasi dari large
Inovasi
Kerangka kerja ini dievaluasi pada dataset insiden dunia nyata dari sistem terdistribusi berskala besar. Metrik kinerja utamanya adalah akurasi pelokalan kesalahan, yang diukur sebagai presisi. Metode yang diusulkan mencapai presisi 92,3%, secara signifikan mengungguli pendekatan baseline seperti sistem berbasis aturan tradisional dan model machine learning murni. Selain itu, kerangka kerja ini menyediakan jalur penalaran yang transparan yang meningkatkan kepercayaan engineer dan mempercepat alur kerja remediasi. Dalam studi pengguna bersama site reliability engineer, penjelasan yang dihasilkan oleh LLM dinilai sangat dapat diinterpretasikan dan dapat ditindaklanjuti. Mekanisme retrieval meningkatkan akurasi diagnostik sebesar 15% dibandingkan hanya menggunakan LLM, yang menunjukkan nilai dari memasukkan data insiden historis. Penalaran berbasis graf berkontribusi pada pengurangan 10% dalam positif palsu dengan menangkap hubungan kausal yang sering terlewat oleh metode berbasis korelasi.
Sistem terdistribusi modern telah tumbuh semakin kompleks, sehingga diagnosis insiden dan analisis akar masalah menjadi tantangan yang signifikan. Pendekatan diagnostik tradisional sering kali kurang dapat dijelaskan dan kesulitan menghadapi sifat dinamis dari kegagalan sistem. Metode machine learning murni, meskipun kuat, memiliki keterbatasan dalam hal interpretabilitas dan pemahaman kontekstual, yang menghambat kepercayaan engineer dan memperlambat alur kerja remediasi. Makalah ini mengatasi keterbatasan tersebut dengan mengusulkan kerangka kerja baru yang mengintegrasikan Retrieval-Augmented Generation (RAG) dengan penalaran berbasis graf dan Large Language Model (LLM) untuk memungkinkan diagnosis insiden yang dapat dijelaskan. Ide intinya adalah memanfaatkan knowledge graph untuk menangkap hubungan kausal antar komponen sistem, menggunakan mekanisme retrieval untuk mengakses data insiden historis yang relevan, dan memanfaatkan LLM untuk menghasilkan penjelasan yang dapat dipahami manusia atas insiden yang didiagnosis. Kerangka kerja ini bertujuan menggabungkan kemampuan penalaran terstruktur dari graph neural network dengan kemampuan pemahaman semantik dan generasi dari large language model, sehingga memajukan state-of-the-art dalam intelligent operations dan system reliability engineering.
Kerangka kerja yang diusulkan terdiri atas tiga komponen utama: knowledge graph, modul retrieval, dan generator penjelasan berbasis LLM. Knowledge graph merepresentasikan komponen sistem (misalnya, layanan, host, tautan jaringan) sebagai node dan dependensi kausalnya sebagai edge. Secara formal, misalkan dengan adalah himpunan komponen dan merepresentasikan hubungan kausal. Setiap edge memiliki bobot yang menunjukkan kekuatan pengaruh kausal dari komponen ke komponen . Modul retrieval menggunakan gejala insiden saat ini (misalnya, log, metrik) untuk melakukan kueri ke basis data insiden historis. Modul ini mengambil top- insiden masa lalu yang serupa berdasarkan fungsi kemiripan dengan adalah kueri dan adalah insiden historis. Insiden yang diambil kemudian digunakan untuk memperkaya konteks bagi LLM. LLM menghasilkan penjelasan dengan mengondisikan pada insiden yang diambil dan subgraf yang relevan dari knowledge graph. Proses penalaran dapat diringkas sebagai:
Mengapa penting
Hasil menunjukkan bahwa mengintegrasikan RAG dengan penalaran graf dan LLM secara efektif mengatasi keterbatasan pendekatan diagnosis insiden yang ada. Knowledge graph menyediakan informasi kausal terstruktur yang memandu penalaran LLM, sementara modul retrieval memasok konteks historis yang relevan. Kombinasi ini memungkinkan akurasi tinggi sekaligus dapat dijelaskan. Kemampuan kerangka kerja untuk menghasilkan penjelasan yang dapat dipahami manusia sangat berharga dalam lingkungan operasional tempat engineer perlu memahami dan mempercayai diagnosis otomatis. Namun, pendekatan ini bergantung pada kualitas dan kelengkapan knowledge graph serta basis data insiden historis. Dalam lingkungan dinamis tempat topologi sistem sering berubah, menjaga knowledge graph tetap mutakhir menjadi tantangan. Pekerjaan selanjutnya dapat mengeksplorasi konstruksi knowledge graph otomatis dan continual learning untuk beradaptasi dengan sistem yang terus berkembang. Selain itu, biaya komputasi inferensi LLM dapat menjadi perhatian untuk diagnosis waktu nyata, meskipun hal ini dapat dimitigasi dengan model distillation atau caching. Secara keseluruhan, kerangka kerja yang diusulkan merupakan langkah signifikan menuju diagnosis insiden yang dapat dijelaskan dan cerdas pada sistem terdistribusi yang kompleks.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…