GraphAlignCoder: Menyelaraskan Graf Program dan Bukti untuk Generasi Kode

Kerangka pelatihan yang mentransfer struktur kebenaran eksplisit dari jejak bukti formal ke LLM kode, mengungguli CodeRL hingga 43,8% relatif pada benchmark sulit.

Yueke Zhang; Zihan Fang; Kevin Leach; Yu Huang· 2026· DOI 10.48550/arXiv.2608.11394

Masalah inti

Code large language model (LLM) dapat menghasilkan program yang tampak benar secara sintaksis namun melanggar batasan semantik yang tersembunyi. Metode pelatihan berbasis umpan balik eksekusi yang ada mengidentifikasi apakah program yang telah selesai gagal, tetapi hanya memberikan supervisi terbatas tentang bagaimana solusi yang benar seharusnya disusun. Kesenjangan inilah yang memotivasi GraphAlignCoder, sebuah kerangka pelatihan yang mentransfer struktur kebenaran eksplisit ke dalam generasi kode. Alih-alih hanya mengandalkan sinyal eksekusi lulus/gagal biner, GraphAlignCoder membangun graf implementasi yang menangkap kendali dan dependensi antar wilayah program. Secara paralel, pipeline Lean yang dibatasi menghasilkan jejak bukti, yang darinya penulis mengekstraksi graf alur bukti formal. Hipotesis utamanya adalah bahwa menyelaraskan kedua graf ini memberi model supervisi tingkat wilayah yang lebih kaya tentang *mengapa* sebuah program benar, bukan sekadar *apakah* program itu benar. Karya ini diposisikan terhadap model dasar, supervised fine-tuning (SFT) kode saja, dan CodeRL, serta dievaluasi pada LiveCodeBench v6, BigCodeBench Hard, dan BigCodeBench Full.

Inovasi

GraphAlignCoder secara konsisten mengungguli model dasar, SFT kode saja, dan CodeRL pada semua benchmark. Dibandingkan CodeRL, metode ini meningkatkan jumlah soal terselesaikan dari 38 menjadi 50 pada LiveCodeBench v6 dan dari 16 menjadi 23 pada BigCodeBench Hard, yang setara dengan keuntungan relatif 31,6% dan 43,8%. Pada BigCodeBench Full, metode ini meningkatkan dari 359 menjadi 363 tugas. Angka-angka ini menunjukkan bahwa keuntungan relatif terbesar muncul pada benchmark tersulit, tempat batasan semantik tersembunyi paling mungkin mengalahkan pelatihan yang hanya berbasis umpan balik eksekusi. Arah peningkatan yang konsisten pada tiga benchmark dengan tingkat kesulitan berbeda menunjukkan bahwa keuntungan tersebut bukan artefak dari satu set evaluasi saja. Delta yang dilaporkan dirangkum di bawah ini. | Benchmark | CodeRL | GraphAlignCoder | Relative Gain | |---|---|---|---| | LiveCodeBench v6 | 38 | 50 | 31.6% | | BigCodeBench Hard | 16 | 23 | 43.8% | | BigCodeBench Full | 359 | 363 | ~1.1% | Pola ini konsisten dengan klaim bahwa struktur kebenaran tingkat wilayah memberikan supervisi yang tidak dapat disediakan oleh umpan balik eksekusi biner.

Code large language model (LLM) dapat menghasilkan program yang tampak benar secara sintaksis namun melanggar batasan semantik yang tersembunyi. Metode pelatihan berbasis umpan balik eksekusi yang ada mengidentifikasi apakah program yang telah selesai gagal, tetapi hanya memberikan supervisi terbatas tentang bagaimana solusi yang benar seharusnya disusun. Kesenjangan inilah yang memotivasi GraphAlignCoder, sebuah kerangka pelatihan yang mentransfer struktur kebenaran eksplisit ke dalam generasi kode. Alih-alih hanya mengandalkan sinyal eksekusi lulus/gagal biner, GraphAlignCoder membangun graf implementasi yang menangkap kendali dan dependensi antar wilayah program. Secara paralel, pipeline Lean yang dibatasi menghasilkan jejak bukti, yang darinya penulis mengekstraksi graf alur bukti formal. Hipotesis utamanya adalah bahwa menyelaraskan kedua graf ini memberi model supervisi tingkat wilayah yang lebih kaya tentang *mengapa* sebuah program benar, bukan sekadar *apakah* program itu benar. Karya ini diposisikan terhadap model dasar, supervised fine-tuning (SFT) kode saja, dan CodeRL, serta dievaluasi pada LiveCodeBench v6, BigCodeBench Hard, dan BigCodeBench Full.

GraphAlignCoder beroperasi dalam dua tahap. Pertama, ia membangun **graf implementasi** G_{impl} = (V_{impl}, E_{impl}) dengan simpul merepresentasikan wilayah program dan sisi mengodekan relasi alur kendali dan dependensi data di antaranya. Kedua, pipeline Lean yang dibatasi menghasilkan jejak bukti untuk solusi kandidat; dari jejak ini kerangka mengekstraksi **graf alur bukti formal** G_{proof} = (V_{proof}, E_{proof}) yang simpulnya berkorespondensi dengan kewajiban bukti dan sisinya menangkap dependensi logis.

Mengapa penting

Studi ablasi lebih lanjut menunjukkan bahwa penyuntikan graf verifikasi menghasilkan keuntungan penalaran awal, sedangkan konsolidasi verifikasi-ke-kode sangat penting untuk transfer lintas benchmark yang kokoh. Dekomposisi ini penting: ini menyiratkan bahwa sekadar memaparkan model pada struktur bukti menghasilkan peningkatan lokal, tetapi manfaat yang tahan lama dan dapat ditransfer berasal dari tahap kedua yang mengonsolidasikan pengetahuan verifikasi kembali ke generator kode. Keuntungan yang relatif moderat pada BigCodeBench Full (359 menjadi 363) bersamaan dengan keuntungan besar pada BigCodeBench Hard (16 menjadi 23) menunjukkan bahwa keunggulan metode ini terpusat pada tugas-tugas di mana batasan semantik menjadi kesulitan utama, bukan pada tugas yang sudah sebagian besar terselesaikan. Sebuah batasan adalah bahwa pendekatan ini bergantung pada pipeline Lean yang dibatasi untuk menghasilkan jejak bukti, yang dapat membatasi penerapannya pada domain di mana formalisasi dapat dilakukan. Kandidat taksonomi yang terdaftar untuk karya ini—Architecture, Cybersecurity, Network, dan Cryptography—adalah domain hilir yang masuk akal, karena masing-masing melibatkan batasan semantik tersembunyi (invarian protokol, aturan kendali akses, kebenaran kriptografi) yang mungkin tidak terungkap oleh umpan balik eksekusi saja. Pekerjaan selanjutnya dapat mengkaji apakah penyelarasan graf implementasi dan graf alur bukti dapat digeneralisasi ke asisten bukti non-Lean dan ke skala model yang lebih besar.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…