DECODEM: Ekstraksi Data dari Dokumen Organisasi Perusahaan melalui Metode yang Disempurnakan

Tolok ukur dan evaluasi sistematis pipeline LLM untuk ekstraksi otomatis variabel tata kelola perusahaan dari anggaran dasar dan anggaran rumah

Jens Frankenreiter· 2026· DOI 10.48550/arXiv.2607.15879

Masalah inti

Penelitian hukum empiris, khususnya dalam tata kelola perusahaan, bergantung pada konversi teks tak terstruktur dari dokumen organisasi menjadi variabel terstruktur. Secara tradisional, penerjemahan ini dilakukan melalui pengodean manusia atas anggaran dasar dan anggaran rumah—proses yang mahal, sulit diskalakan, dan sering kali tidak transparan. Makalah ini memperkenalkan DECODEM, sekumpulan dataset tolok ukur yang dirancang untuk mengevaluasi ekstraksi otomatis variabel tata kelola perusahaan dari dokumen semacam itu. Tolok ukur ini memasangkan anggaran dasar dan anggaran rumah perusahaan yang disampel secara acak dengan anotasi manusia berkualitas tinggi yang mencakup berbagai ketentuan tata kelola yang umum diteliti dalam kerja empiris. Tugas intinya dirumuskan sebagai sekumpulan masalah klasifikasi biner tingkat dokumen, satu untuk setiap variabel tata kelola. Makalah ini mengevaluasi beberapa pipeline ekstraksi large-language-model (LLM) yang bervariasi dalam desain prompt, dekomposisi tugas, dan penanganan dokumen. Tujuannya adalah menilai kelayakan dan akurasi ekstraksi otomatis, mengidentifikasi pola sistematis dalam kinerja, dan mengeksplorasi apakah desain pipeline dapat

Inovasi

Hasilnya menunjukkan bahwa ekstraksi otomatis layak dilakukan pada tingkat akurasi yang tinggi untuk banyak ketentuan tata kelola. Kinerja median lintas pendekatan mendekati batas atas, yang menunjukkan bahwa untuk mayoritas variabel, LLM dapat menyamai anotasi manusia. Namun, kinerja bervariasi secara sistematis lintas variabel. Sejumlah kecil ketentuan menyumbang sebagian besar kesalahan yang tersisa, yang menunjukkan bahwa fitur tata kelola tertentu secara inheren lebih sulit diekstraksi—kemungkinan karena kompleksitas linguistik, ambiguitas, atau variabilitas dalam struktur dokumen. Temuan kuantitatif utama meliputi: - Akurasi median lintas semua variabel dan pipeline tinggi (misalnya, di atas 90% untuk banyak ketentuan). - Tingkat kesalahan terkonsentrasi: beberapa variabel menunjukkan akurasi yang jauh lebih rendah, kadang-kadang turun di bawah 80%. - Model terdepan (misalnya, GPT-4) umumnya mengungguli model yang berorientasi efisiensi, tetapi kesenjangannya menyempit secara substansial dengan pipeline yang lebih rumit. - Pipeline bertingkat tidak secara konsisten meningkatkan kinerja untuk model terdepan, tetapi membantu model yang berorientasi efisiensi mendekati akurasi

Penelitian hukum empiris, khususnya dalam tata kelola perusahaan, bergantung pada konversi teks tak terstruktur dari dokumen organisasi menjadi variabel terstruktur. Secara tradisional, penerjemahan ini dilakukan melalui pengodean manusia atas anggaran dasar dan anggaran rumah—proses yang mahal, sulit diskalakan, dan sering kali tidak transparan. Makalah ini memperkenalkan DECODEM, sekumpulan dataset tolok ukur yang dirancang untuk mengevaluasi ekstraksi otomatis variabel tata kelola perusahaan dari dokumen semacam itu. Tolok ukur ini memasangkan anggaran dasar dan anggaran rumah perusahaan yang disampel secara acak dengan anotasi manusia berkualitas tinggi yang mencakup berbagai ketentuan tata kelola yang umum diteliti dalam kerja empiris. Tugas intinya dirumuskan sebagai sekumpulan masalah klasifikasi biner tingkat dokumen, satu untuk setiap variabel tata kelola. Makalah ini mengevaluasi beberapa pipeline ekstraksi large-language-model (LLM) yang bervariasi dalam desain prompt, dekomposisi tugas, dan penanganan dokumen. Tujuannya adalah menilai kelayakan dan akurasi ekstraksi otomatis, mengidentifikasi pola sistematis dalam kinerja, dan mengeksplorasi apakah desain pipeline dapat menggantikan kemampuan model.

Tolok ukur DECODEM terdiri atas anggaran dasar dan anggaran rumah perusahaan yang disampel secara acak, masing-masing dipasangkan dengan anotasi manusia untuk beberapa ketentuan tata kelola. Ketentuan-ketentuan ini diperlakukan sebagai variabel biner (misalnya, ada atau tidak adanya fitur tata kelola tertentu). Tugas ekstraksi dengan demikian merupakan sekumpulan masalah klasifikasi biner independen per dokumen.

Mengapa penting

Temuan makalah ini memiliki beberapa implikasi bagi penelitian hukum empiris dan konstruksi dataset tata kelola perusahaan. Pertama, akurasi median yang tinggi menunjukkan bahwa LLM terdepan saat ini mampu mengekstraksi informasi yang bermakna secara hukum dari dokumen perusahaan yang kompleks. Hal ini membuka jalan untuk menskalakan studi empiris yang sebelumnya memerlukan pengodean manusia yang mahal. Kedua, variasi kinerja yang sistematis lintas variabel menegaskan perlunya validasi yang cermat dan mungkin pendekatan hibrida yang menggabungkan ekstraksi otomatis dengan tinjauan manusia yang tertarget untuk ketentuan yang sulit. Pengamatan bahwa strategi prompting yang lebih rumit dan pipeline bertingkat tidak secara konsisten meningkatkan kinerja untuk model terdepan menunjukkan bahwa model-model ini mungkin sudah mendekati plafon untuk tugas ini. Namun, untuk model yang berorientasi efisiensi, desain pipeline dapat secara substansial mempersempit kesenjangan, membuat ekstraksi otomatis lebih mudah diakses dan hemat biaya. Hal ini memiliki implikasi praktis: organisasi dengan sumber daya terbatas tetap dapat mencapai akurasi tinggi dengan berinvestasi dalam rekayasa pipeline daripada hanya mengandalkan model termahal. Studi ini juga menyoroti pentingnya transparansi dan reproduktifitas dalam ekstraksi otomatis. Dengan menyediakan tolok ukur terstandardisasi, DECODEM memungkinkan perbandingan metode secara sistematis dan memfasilitasi kemajuan kumulatif. Pekerjaan selanjutnya dapat memperluas tolok ukur ini ke jenis dokumen, bahasa, dan variabel tata kelola lain, serta mengeksplorasi alur kerja hibrida manusia-AI. Sebagai ringkasan, DECODEM menunjukkan bahwa ekstraksi fitur otomatis dapat memainkan peran penting dalam membangun dataset tata kelola perusahaan, tetapi juga memperingatkan bahwa kinerjanya tidak seragam dan memerlukan evaluasi yang cermat.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…