DEBATE Politik: Klasifikasi Zero-shot dan Few-shot yang Efisien untuk Teks Politik

Ilmuwan sosial telah dengan cepat mengadopsi large language model (LLM) untuk klasifikasi zero-shot, yang memungkinkan anotasi dokumen tanpa pelatihan terbimbing. Namun, LLM menimbulkan tantangan bagi sains terbuka karena kebutuhan komputasinya, biayanya, dan sifatnya yang sering kali proprietary. Artikel ini memperkenalkan model bahasa Political Domain Enhanced BERT-based Algorithm for Textual Entailment (DEBATE), yang dirancang sebagai model dasar untuk klasifikasi zero-shot, few-shot, dan terbimbing pada dokumen politik. Model ini menyasar tugas-tugas umum yang terdefinisi dengan baik seperti klasifikasi topik dan opini. Penulis berargumen bahwa model DEBATE tidak hanya sebaik LLM mutakhir pada klasifikasi zero-shot tetapi juga jauh lebih efisien dan sepenuhnya sumber terbuka. Lebih lanjut, mereka menunjukkan pembelajaran few-shot yang efektif, di mana sampel acak sederhana berisi 10–25 dokumen dapat mengungguli klasifikasi terbimbing yang dilatih pada ratusan atau ribuan dokumen dan model generatif mutakhir. Perilisan dataset PolNLI—korpus berisi lebih dari 200.000 dokumen politik dengan label yang sangat akurat pada lebih dari 800 tugas klasifikasi—menyertai model tersebut.

Model DEBATE dibangun di atas arsitektur BERT dan memanfaatkan textual entailment sebagai mekanisme inti untuk klasifikasi. Textual entailment membingkai klasifikasi sebagai tugas natural language inference: dengan premis (dokumen) dan hipotesis (deskripsi label), model memprediksi apakah premis mendukung hipotesis. Pendekatan ini memungkinkan klasifikasi zero-shot dengan merumuskan hipotesis khusus tugas tanpa pelatihan tambahan. Untuk pembelajaran few-shot, model disetel halus pada sejumlah kecil contoh berlabel (10–25 dokumen). Penulis juga memperkenalkan dataset PolNLI, yang berisi lebih dari 200.000 dokumen politik yang dianotasi pada lebih dari 800 tugas klasifikasi. Dataset ini digunakan untuk melatih model DEBATE, menyediakan sumber daya yang beragam dan berskala besar untuk analisis teks politik. Proses pelatihan kemungkinan melibatkan penyetelan halus standar BERT pada tugas entailment, tetapi hyperparameter dan detail pelatihan spesifik tidak disediakan dalam abstrak. Model ini dirancang agar sumber terbuka dan efisien secara komputasi, mengatasi batasan LLM proprietary.