Editorial ilmu komputer
Alur Kerja Bahasa Alami Belum Menjadi Perangkat Lunak: Kompilasi Berbasis Artefak untuk Eksekusi Agen yang Andal
Masalah inti
Alur kerja bahasa alami menawarkan abstraksi yang menarik: pakar domain menulis prosedur yang dapat dipakai ulang dalam bentuk prosa, dan agen mengeksekusinya sebagai instruksi. Antarmuka mirip perangkat lunak ini, bagaimanapun, belum andal. Masalah intinya adalah deskripsi alur kerja biasanya membiarkan dependensi data tetap implisit. Ketika suatu langkah berbunyi "ringkas temuan", eksekutor harus menyimpulkan hasil sebelumnya mana yang merupakan "temuan". Beban inferensi ini menumpuk seiring alur kerja memanjang atau bercabang, dan agen di bawah tekanan konteks dapat gagal mengikuti instruksi secara setia.
Makalah ini membingkainya sebagai masalah beban penegakan (enforcement burden). Dalam perangkat lunak konvensional, kompilator menyelesaikan dependensi, memeriksa tipe, dan menegakkan alur kontrol sebelum eksekusi. Dalam alur kerja bahasa alami, seluruh beban itu diserahkan kepada agen saat runtime. Penulis mengusulkan **Artic**, kompilator alur kerja berbasis artefak yang mengubah alur kerja bahasa alami menjadi representasi di mana setiap langkah secara eksplisit mendeklarasikan artefak yang dibaca dan ditulisnya, constraint membatasi artefak yang dihasilkan, dan transfer ko
Inovasi
Artic meningkatkan resolve rate tugas sebesar **28 poin persentase** dibandingkan alur kerja teks asli pada 488 instans masalah dari 11 alur kerja domain dunia nyata. Inilah hasil utamanya: membuat artefak eksplisit dan alur kontrol eksplisit secara material meningkatkan apakah agen menyelesaikan tugas.
Keuntungan konsistensi bahkan lebih besar. Alur kerja yang dikompilasi Artic **32 poin persentase** lebih konsisten dalam setup lintas model—artinya model berbeda yang mengeksekusi alur kerja terkompilasi yang sama menghasilkan luaran yang lebih mirip—dan **56 poin persentase** lebih konsisten dalam setup eksekusi berulang, di mana model yang sama menjalankan alur kerja beberapa kali. Angka eksekusi berulang ini sangat menonjol karena berbicara tentang determinisme, sifat yang secara terkenal tidak dimiliki alur kerja bahasa alami.
Pola lintas metrik menunjukkan bahwa beban penegakan, bukan kemampuan model mentah, adalah sumber kegagalan dominan dalam alur kerja bahasa alami. Ketika kompilator menyerap resolusi dependensi dan pengarahan kontrol, agen lebih sedikit menyimpulkan dan lebih sedikit salah. Keuntungan konsistensi lintas model lebih lanjut menyiratkan bahwa alur kerja te
Mengapa penting
Klaim utama makalah ini adalah bahwa alur kerja bahasa alami belum menjadi perangkat lunak karena tidak memiliki langkah kompilasi. Artic menyediakan langkah itu, dan hasilnya mendukung pembingkaian tersebut. Representasi berbasis artefak adalah langkah kuncinya: dengan memaksa setiap langkah mendeklarasikan , kompilator mengubah masalah inferensi menjadi masalah pemeriksaan. Inferensi adalah tempat agen gagal; pemeriksaan adalah tempat kompilator unggul.
Penyempurnaan melalui optimasi terbatas pada langkah berbeban tinggi adalah pilihan desain yang pragmatis. Alih-alih menuntut transformasi LLM yang sempurna dalam satu lintasan, Artic mengidentifikasi langkah yang paling mungkin salah dikompilasi dan mengiterasinya. Dry run berbasis skenario kemudian memberikan bukti bahwa wilayah terkompilasi sesuai dengan maksud sumber. Ini adalah strategi validasi yang menghormati batas transformasi berbantuan LLM sekaligus memanfaatkan daya angkatnya.
Beberapa batasan dan pertanyaan terbuka masih ada. Evaluasi mencakup 11 alur kerja domain dan 488 instans; generalisasi ke alur kerja dengan penggunaan alat eksternal yang berat, efek samping nondeterministik, atau masukan adversarial belum ditetapkan. Pemeriksaan kesetiaan diuraikan menjadi kewajiban lokal, yang dapat ditangani tetapi mungkin melewatkan ketidakkonsistenan global yang hanya muncul antar wilayah. Dan keuntungan konsistensi eksekusi berulang sebesar 56 poin, meskipun besar, masih menyisakan ruang bagi nondeterminisme residual.
Implikasi yang lebih luas bersifat arsitektural. Jika kompilasi berbasis artefak menjadi standar, alur kerja bahasa alami menjadi bahasa sumber, dan graf artefak terkompilasi menjadi eksekutabel. Pemisahan itu mencerminkan pembelahan yang sudah dikenal antara kode tingkat tinggi dan biner terkompilasi, dan menyiratkan pembagian kerja: pakar domain menulis prosa, kompilator menegakkan struktur, dan agen mengeksekusi terhadap antarmuka eksplisit. Kandidat taksonomi—Architecture, Cybersecurity, Network, Cryptography—tepat karena masalah beban penegakan yang sama muncul di mana pun agen mengeksekusi prosedur dengan dependensi implisit dan kontrol bercabang.
Siapa yang sebaiknya membaca
Membuka konten member…