OxyEcomBench: Tolok Ukur Model Fondasi Multimodal di Ekosistem E-Commerce

Large language models (LLMs) dan multimodal large language models (MLLMs) telah menjadi hal yang tak terpisahkan di berbagai aplikasi. E-commerce, bagaimanapun, menghadirkan tantangan khas yang cukup berbeda dari pengetahuan dunia umum yang menjadi dasar pelatihan utama model-model tersebut. Tantangan ini mencakup pengetahuan domain yang rumit, bukti produk long-tail, data visual yang heterogen, dan interaksi antarmultiple peran pemangku kepentingan. Akibatnya, sering muncul kesenjangan yang mencolok antara kinerja model di domain terbuka dan kinerjanya di e-commerce.

Tolok ukur e-commerce yang ada biasanya mengadopsi satu perspektif pemangku kepentingan, menyasar sekumpulan tugas yang sempit, atau menangani tantangan yang terisolasi, sehingga sulit menilai secara holistik pemahaman model terhadap keseluruhan alur e-commerce. Untuk mengukur kesenjangan ini secara sistematis, para penulis memperkenalkan **OxyEcomBench**, tolok ukur multimodal terpadu yang terdiri atas sekitar **6.300 instans berkualitas tinggi** untuk e-commerce bilingual Tionghoa–Inggris dunia nyata. Tolok ukur ini dirancang untuk mencakup secara bersama operator platform, pedagang, dan pelanggan di **6 aspek kapa

Evaluasi pada **20 LLM dan MLLM arus utama** menunjukkan bahwa bahkan model terdepan hanya mencapai kinerja yang moderat pada OxyEcomBench. Kesenjangan kinerja antarmodel menyempit pada tolok ukur ini, yang mengindikasikan bahwa infus pengetahuan khusus e-commerce yang tidak memadai meredam keunggulan model serbaguna yang canggih di domain ini.

Temuan kuantitatif utama meliputi:
- Tolok ukur ini terdiri atas sekitar 6.300 instans, dengan representasi yang seimbang di seluruh peran pemangku kepentingan dan aspek kapabilitas.
- Seluruh 29 tugas dianotasi dengan rubrik tingkat kesulitan P0–P3, sehingga memungkinkan analisis kinerja model yang terperinci di seluruh tingkat kesulitan.
- Tolok ukur ini memprioritaskan kasus multimodal yang menonjol secara visual, di mana bukti kunci berada pada gambar dan bukan pada teks, untuk menguji penalaran multimodal model.
- Meskipun model yang dievaluasi beragam, kinerja teratas tetap moderat, yang menunjukkan kesenjangan substansial antara kapabilitas domain terbuka dan kapabilitas khusus e-commerce.