Codebook LLMs: Mengevaluasi LLM sebagai Alat Pengukuran untuk Konsep Ilmu Politik

Penelitian ini mengevaluasi apakah large language model siap pakai dapat secara setia mengikuti codebook ilmu politik untuk mengukur konsep kompleks seperti peristiwa protes, kekerasan politik, dan manifesto. Penulis mengusulkan kerangka lima tahap dan menemukan bahwa meskipun kinerja zero-shot terbatas, supervised instruction-tuning secara substansial meningkatkan akurasi.

Andrew Halterman; Katherine A. Keith· Political Analysis· 2024· DOI 10.1017/pan.2025.10017

Masalah inti

Ilmuwan politik secara rutin menggunakan codebook—dokumen yang mengoperasionalkan konsep dan menguraikan prosedur anotasi—untuk mengode teks politik. Seiring peneliti semakin beralih ke generative large language model (LLM) untuk pengodean otomatis, bukti empiris masih terbatas mengenai apakah LLM siap pakai dapat secara setia mengikuti operasionalisasi codebook dunia nyata dan mengukur konstruk politik yang kompleks dengan akurasi yang memadai. Makalah ini mengatasi kesenjangan tersebut dengan mengurasi tiga codebook ilmu politik dunia nyata yang mencakup peristiwa protes, kekerasan politik, dan manifesto, beserta teks tak terstruktur dan label yang dikode manusia. Penulis mengusulkan kerangka lima tahap untuk pengukuran codebook-LLM dan memberikan demonstrasi empiris menggunakan beberapa LLM open-weight pra-latih berukuran 7-12 miliar parameter. Kontribusi mereka bukan pada mengidentifikasi LLM 'terbaik', melainkan pada penyediaan dataset codebook, kerangka evaluasi, dan panduan bagi peneliti terapan yang menjalankan proyek pengukuran codebook-LLM mereka sendiri.

Penulis mengusulkan kerangka lima tahap untuk pengukuran codebook-LLM: 1. **Menyiapkan codebook untuk manusia dan LLM**: Menyesuaikan instruksi dan contoh codebook untuk konsumsi LLM. 2. **Menguji kemampuan dasar LLM pada sebuah codebook**: Menilai apakah LLM dapat memahami dan menerapkan definisi codebook. 3. **Mengevaluasi akurasi pengukuran zero-shot**: Mengukur kinerja siap pakai tanpa pelatihan tambahan. 4. **Menganalisis kesalahan**: Mengidentifikasi pola dan sumber kesalahan LLM. 5. **Pelatihan terawasi (parameter-efficient) lebih lanjut pada LLM**: Fine-tuning LLM dengan label yang dikode manusia untuk meningkatkan kinerja. Demonstrasi empiris menggunakan tiga codebook ilmu politik dunia nyata—mencakup peristiwa protes, kekerasan politik, dan manifesto—beserta teks tak terstruktur dan label yang dikode manusia. Beberapa LLM open-weight pra-latih berukuran 7-12 miliar parameter dievaluasi dalam kerangka ini.

Pendahuluan

Ilmuwan politik secara rutin menggunakan codebook—dokumen yang mengoperasionalkan konsep dan menguraikan prosedur anotasi—untuk mengode teks politik. Seiring peneliti semakin beralih ke generative large language model (LLM) untuk pengodean otomatis, bukti empiris masih terbatas mengenai apakah LLM siap pakai dapat secara setia mengikuti operasionalisasi codebook dunia nyata dan mengukur konstruk politik yang kompleks dengan akurasi yang memadai. Makalah ini mengatasi kesenjangan tersebut dengan mengurasi tiga codebook ilmu politik dunia nyata yang mencakup peristiwa protes, kekerasan politik, dan manifesto, beserta teks tak terstruktur dan label yang dikode manusia. Penulis mengusulkan kerangka lima tahap untuk pengukuran codebook-LLM dan memberikan demonstrasi empiris menggunakan beberapa LLM open-weight pra-latih berukuran 7-12 miliar parameter. Kontribusi mereka bukan pada mengidentifikasi LLM 'terbaik', melainkan pada penyediaan dataset codebook, kerangka evaluasi, dan panduan bagi peneliti terapan yang menjalankan proyek pengukuran codebook-LLM mereka sendiri.

Penulis membahas implikasi temuan mereka bagi peneliti terapan. Mereka menyoroti bahwa codebook sangat penting untuk pengukuran yang valid, dan LLM harus dievaluasi serta diadaptasi dengan hati-hati agar dapat mengikutinya. Kerangka lima tahap menyediakan pendekatan terstruktur bagi peneliti untuk menjalankan proyek pengukuran codebook-LLM mereka sendiri. Penulis menegaskan bahwa kontribusi mereka bukan untuk merekomendasikan LLM tertentu, melainkan untuk menyediakan dataset, kerangka evaluasi, dan panduan. Mereka juga mencatat bahwa pelatihan terawasi parameter-efficient dapat menjadikan LLM alat yang layak untuk anotasi teks politik, tetapi peneliti harus menyadari batasan dan kebutuhan akan analisis kesalahan. Penelitian selanjutnya harus mengeksplorasi model yang lebih besar, strategi pelatihan yang berbeda, dan codebook tambahan.

Pembaca Research Digest dan praktisi rumpun ini.

Membuka konten member…