LiveEvalBench: Menuju Evaluasi Open-World untuk Generasi Web

Large language models (LLMs) semakin mampu menyintesis proyek frontend yang dapat dieksekusi, namun benchmark yang ada masih memperlakukan generasi web sebagai masalah evaluasi statis. Penulis berargumen bahwa artefak frontend menuntut paradigma yang berbeda karena tiga alasan: artefak tersebut interaktif dan bukan statis, menerima implementasi yang beragam namun sama-sama valid, serta berkembang lebih cepat daripada yang dapat diakomodasi oleh pipeline yang kaku.

Kesenjangan ini memotivasi **LiveEvalBench**, sebuah framework otomatis yang merumuskan ulang evaluasi generasi web sebagai proses yang *agentic, adaptif, dan extensible*. Alih-alih menilai artefak yang dibekukan terhadap rubrik tetap, LiveEvalBench mewujudkan evaluasi sebagai alur kerja tinjauan kolaboratif di mana peran-peran evaluator khusus mengumpulkan bukti di sepanjang siklus hidup penuh sebuah proyek frontend.

Makalah ini memosisikan hal tersebut sebagai pergeseran menuju evaluasi *open-world*: benchmark harus tetap valid ketika framework, library, dan konvensi desain berubah, dan harus menerima berbagai solusi yang benar untuk spesifikasi yang sama.

Penulis melaporkan eksperimen pada beragam skenario generasi web dunia nyata. Dua temuan utama dinyatakan:

1. **Keselarasan dengan penilaian pakar manusia** — LiveEvalBench selaras erat dengan penilaian pakar manusia, yang mengindikasikan bahwa alur kerja tinjauan agentic menangkap sinyal kualitas yang juga dikenali oleh peninjau manusia.
2. **Wawasan terperinci** — framework ini memberikan wawasan terperinci tentang kemampuan generasi web model-model frontier, alih-alih memadatkan kinerja menjadi satu skor yang tidak transparan.

Makalah ini tidak melaporkan skor numerik spesifik, nama model, atau ukuran dataset dalam abstrak; bukti yang dilaporkan bersifat kualitatif dan komparatif. Kode tersedia di repositori proyek yang tercantum pada sumber.