Editorial Ilmu Komputer & AI
Jangan Biarkan Model Menulis YAML: Remediasi GitOps Deterministik dengan Diff Minimal dari Perubahan Field yang Diusulkan LLM
Masalah inti
Inovasi
Diff terpadu tidak aman untuk otomasi tanpa pengawasan. Di bawah patching ketat, hampir tidak ada yang diterapkan, tetapi ini adalah artefak dari kekakuan. Alat toleran seperti GNU patch menerapkan 96% diff, namun secara diam-diam salah menerapkan sekitar 1 dari 7 (14–20%) tanpa sinyal kesalahan. Penulisan ulang berkas penuh bergantung pada kapabilitas: model kecil merusak berkas, sedangkan model frontier biasanya benar tetapi non-deterministik—secara diam-diam menghilangkan field atau mengubah tetangga pada beberapa eksekusi—dan harus meregenerasi seluruh berkas, dengan biaya O(ukuran berkas) per suntingan. Sebaliknya, pipeline deterministik mencapai penerapan yang benar dan deterministik terlepas dari model, dengan diff minimal serta format dan komentar yang terjaga. Biaya generasi adalah
Evaluasi membandingkan dua strategi generasi teks yang digerakkan LLM dengan pipeline deterministik yang diusulkan. Pertama, diff terpadu diuji dengan patching ketat dan patching toleran (GNU patch). Kedua, penulisan ulang berkas penuh dinilai pada model kecil dan model frontier. Alternatif yang diusulkan membuat agen hanya mengeluarkan maksud perubahan field terstruktur. Pipeline deterministik kemudian mengindeks manifes berdasarkan (kind, name), menemukan rentang karakter tepat dari skalar target menggunakan penanda posisi node parser YAML, dan mengganti hanya rentang itu pada teks mentah. Karena berkas tidak pernah diserialisasi ulang, diff menjadi minimal secara konstruksi, format dan komentar terjaga, dan suntingan benar serta deterministik terlepas dari model, dengan biaya generasi
Mengapa penting
Siapa yang sebaiknya membaca
Membuka konten member…