Agen yang Berpenciptaan Rasa: Mengukur dan Meningkatkan Rasa dalam Tugas Jangka Panjang
Wenbo Pan; Zhichao Liu; Shujie Liu; Jingying Zeng; Chin-Yew Lin; Xianfeng Tang; Yan Lu; Qi He; Xiaohua Jia
- Ringkasan
- Makalah ini memperkenalkan konsep "rasa" untuk agen LLM—kemampuan membuat keputusan jangka panjang yang baik—dan menyajikan Taste-Bench, tolok ukur persimpangan keputusan yang ditambang secara otomatis dari lintasan agen. Model terdepan ha…
- Metode
- Penulis membangun Taste-Bench dengan menambang persimpangan keputusan dari lintasan yang dihasilkan oleh agen pada tugas rekayasa dan penelitian. Dua sumber persimpangan digunakan…
- Hasil
- Penulis mengevaluasi model terdepan pada Taste-Bench dan melaporkan bahwa model terbaik hanya menjawab **59,7%** pertanyaan dengan benar. Ini menunjukkan bahwa bahkan LLM tercanggih kesulitan dengan …