Mengevaluasi Trade-off LLM untuk Otomasi Perusahaan: Pelajaran dari Generasi Alur Kerja di Platform Perusahaan Produksi
Xavier Wrenn; Radoslav Raykov; Aleksandar Angelov; Hirokuni Kitahara; Yuji Watanabe; Anca Sailer
- Ringkasan
- Makalah ini mengevaluasi enam large language model untuk generasi alur kerja berbasis AI di platform perusahaan produksi, dengan benchmark 2.784 eksekusi di 29 skenario otomasi TI. Pipeline piecewise yang dirancang ulang menaikkan keberhas…
- Metode
- Evaluasi membandingkan dua arsitektur pipeline generasi. Pipeline awal menggunakan generasi alur kerja monolitik, di mana satu panggilan LLM menghasilkan seluruh JSON alur kerja. …
- Hasil
- Pipeline monolitik mencapai tingkat keberhasilan struktural berkisar dari 31,5% hingga 82,8% di seluruh model, dengan sebagian besar model kesulitan pada generasi JSON yang kompleks. Pipeline piecewi…