Evaluasi Pipeline untuk Integrasi Data ke dalam Knowledge Graph

Tolok ukur untuk menilai cakupan, kebenaran, dan konsistensi dalam alur kerja integrasi KG

Marvin Hofer; Erhard Rahm· 2026· DOI 10.48550/arXiv.2605.22304

Masalah inti

Knowledge graph (KG) semakin banyak digunakan untuk mengintegrasikan data dari berbagai sumber, tetapi proses memasukkan data baru ke dalam KG yang sudah ada biasanya melibatkan alur kerja atau pipeline yang kompleks. Banyak pipeline yang mungkin dipakai untuk suatu masalah integrasi tertentu, namun belum ada pendekatan umum untuk mengevaluasi kualitas dan kinerja keseluruhannya, sehingga sulit menentukan pilihan terbaik. Makalah ini mengatasi kesenjangan tersebut dengan mengusulkan KGI-Bench, sebuah tolok ukur yang dirancang untuk mengevaluasi pipeline integrasi yang memasukkan berbagai jenis data masukan ke dalam KG yang sudah ada. Penulis memotivasi kebutuhan akan tolok ukur semacam ini dengan menyoroti kurangnya metode evaluasi yang terstandardisasi, yang menghambat reproduksibilitas dan pengambilan keputusan yang terinformasi dalam proyek integrasi KG.

Untuk menunjukkan penerapan dan kegunaan KGI-Bench, penulis secara komparatif mengevaluasi 12 pipeline. Pipeline-pipeline ini berbeda dalam pilihan desain, seperti urutan langkah integrasi, penanganan format masukan yang berbeda, dan penggunaan teknik pemetaan atau fusi tertentu. Evaluasi menganalisis perilaku mereka di berbagai format data masukan dan pilihan desain. Hasil menunjukkan bahwa kinerja pipeline sangat bervariasi bergantung pada faktor-faktor tersebut, dengan adanya trade-off antara cakupan, kebenaran, dan konsistensi. Misalnya, beberapa pipeline mencapai cakupan tinggi tetapi kebenaran lebih rendah, sementara yang lain mengutamakan konsistensi dengan mengorbankan cakupan. Tolok ukur ini berhasil mengidentifikasi kekuatan dan kelemahan setiap pipeline, memberikan wawasan untuk memilih atau merancang alur kerja integrasi yang lebih baik.

Knowledge graph (KG) semakin banyak digunakan untuk mengintegrasikan data dari berbagai sumber, tetapi proses memasukkan data baru ke dalam KG yang sudah ada biasanya melibatkan alur kerja atau pipeline yang kompleks. Banyak pipeline yang mungkin dipakai untuk suatu masalah integrasi tertentu, namun belum ada pendekatan umum untuk mengevaluasi kualitas dan kinerja keseluruhannya, sehingga sulit menentukan pilihan terbaik. Makalah ini mengatasi kesenjangan tersebut dengan mengusulkan KGI-Bench, sebuah tolok ukur yang dirancang untuk mengevaluasi pipeline integrasi yang memasukkan berbagai jenis data masukan ke dalam KG yang sudah ada. Penulis memotivasi kebutuhan akan tolok ukur semacam ini dengan menyoroti kurangnya metode evaluasi yang terstandardisasi, yang menghambat reproduksibilitas dan pengambilan keputusan yang terinformasi dalam proyek integrasi KG.

Tolok ukur yang diusulkan, KGI-Bench, mengevaluasi pipeline dengan menganalisis keluarannya—KG yang diperbarui—menggunakan tiga metrik kualitas yang saling melengkapi: cakupan, kebenaran, dan konsistensi. Cakupan mengukur sejauh mana data masukan terwakili dalam KG yang diperbarui. Kebenaran menilai akurasi data yang diintegrasikan terhadap KG referensi. Konsistensi memeriksa kontradiksi logis atau pelanggaran batasan di dalam KG. Untuk mendukung evaluasi, penulis menyediakan dataset tolok ukur untuk domain film, termasuk KG awal, data masukan yang tumpang tindih dalam tiga format (misalnya, CSV, JSON, RDF), dan KG referensi yang berfungsi sebagai ground truth. Tolok ukur ini dirancang agar bersifat umum dan dapat diterapkan pada berbagai skenario integrasi. Proses evaluasi dapat diringkas sebagai:

Makalah ini membahas implikasi temuan bagi praktik integrasi KG. Ketiga metrik tersebut memberikan pandangan multifaset terhadap kualitas pipeline, memungkinkan praktisi membuat keputusan yang terinformasi berdasarkan kebutuhan spesifik mereka. Dataset tolok ukur dan metodologi evaluasi dirilis untuk memfasilitasi reproduksibilitas dan penelitian lebih lanjut. Penulis juga menguraikan potensi perluasan, seperti memasukkan metrik tambahan (misalnya, kinerja, skalabilitas) dan menerapkan tolok ukur pada domain lain di luar film. Kontribusi utamanya adalah demonstrasi bahwa tidak ada satu pipeline pun yang mendominasi di semua metrik, yang menegaskan perlunya evaluasi yang cermat. Karya ini meletakkan dasar bagi benchmarking terstandardisasi dalam integrasi KG, yang dapat mendorong perbaikan dalam desain pipeline dan perkakas. Pekerjaan selanjutnya dapat mencakup otomatisasi pemilihan pipeline dan optimalisasi alur kerja integrasi menggunakan hasil tolok ukur.

Praktisi dan peneliti ilmu komputer

Membuka konten member…