PIPE-Cypher: Pembuatan Benchmark Enterprise Otomatis untuk Sistem Text-to-Cypher

Property graph enterprise sangat heterogen: strukturnya berbeda dalam skema, terminologi internal, asumsi domain, batasan tata kelola, dan pola interaksi pengguna. Akibatnya, benchmark Text2Cypher yang relevan untuk deployment harus mencerminkan pertanyaan yang benar-benar diajukan pengguna dan agen terhadap graph spesifik tersebut. Namun, membuat benchmark semacam itu sulit karena skema dan nilai bersifat unik untuk setiap graph, dan struktur graph terus berkembang seiring waktu. Setiap query bahasa alami (NL) yang dipasangkan dengan query Cypher harus dapat dieksekusi, menggunakan entitas graph nyata, mempertahankan keragaman, dan tetap seimbang di seluruh jenis query dan tingkat kesulitan. PIPE-Cypher menjawab kesenjangan ini dengan menyediakan pipeline lokal yang secara otomatis menghasilkan benchmark NL-to-Cypher yang seimbang dari property graph aktif dan seed query opsional yang berasal dari pertanyaan pelanggan, log analis, atau panggilan tool agen.

Dengan generasi dan penjurian Qwen3.5-9B lokal, PIPE-Cypher mengekspor **3.000 contoh FinBench/SNB yang diterima**. Pipeline ini menyelesaikan **tiga suite ablasi yang diaudit** untuk mengisolasi kontribusi setiap komponen. Perilaku judge dikalibrasi dengan label manusia, dan **11 model hilir lokal** dievaluasi pada benchmark yang dihasilkan. Benchmark ini sengaja bersifat diskriminatif: performa transfer zero-shot lemah, yang menunjukkan bahwa model kesulitan tanpa contoh spesifik skema. Namun, kontrol few-shot menunjukkan bahwa bank contoh spesifik skema dapat sangat membantu keluarga model yang kompatibel. Hasil ini menunjukkan bahwa PIPE-Cypher menghasilkan benchmark yang menantang dan realistis yang mencerminkan graph target dan beban kerjanya.