Tanda Tangan Token dari Kode: Membandingkan Perilaku Coding di Berbagai Large Language Model
Junpeng Wang; Yuzhong Chen; Menghai Pan; Uday Singh Saini; Yiwei Cai
- Ringkasan
- CLIC memperkenalkan metode visual analytics yang memakai analisis frekuensi token dan decision tree yang interpretable untuk membedakan LLM berdasarkan perilaku coding, dengan metrik baru untuk robustness dan concentration. Studi kasus pad…
- Metode
- CLIC merepresentasikan setiap sampel kode sebagai vektor fitur frekuensi token. Untuk pasangan LLM tertentu, CLIC melatih decision tree yang interpretable untuk memisahkan himpuna…
- Hasil
- Penulis melakukan studi kasus yang membandingkan 10 LLM pada 22 tugas ML Kaggle. Hasilnya menunjukkan bahwa CLIC dapat secara efektif membedakan LLM berdasarkan tanda tangan frekuensi token. Decision…