Pengenalan Entitas Bernama Kustom dan Klasifikasi Topik untuk Publikasi Kesehatan Global

Studi empiris tentang adaptasi model NLP untuk literatur kesehatan global dalam keterbatasan sumber daya

Genis Skura; Antoine Geissbühler; Jean-Luc Falcone· 2026· DOI 10.48550/arXiv.2609.24625

Masalah inti

Volume literatur kesehatan global yang terus meningkat menuntut alat otomatis untuk pengindeksan dan ekstraksi pengetahuan. Namun, banyak lingkungan menghadapi data beranotasi dan sumber daya komputasi yang terbatas. Tesis ini membahas tantangan pemilihan dan adaptasi model natural language processing (NLP) untuk publikasi kesehatan global dalam keterbatasan tersebut. Fokusnya adalah tiga tugas: penemuan tag semantik, pengenalan entitas bernama (NER), dan klasifikasi topik multi-label. Tujuannya adalah memberikan dasar empiris untuk membangun sistem pengetahuan yang menyeimbangkan spesialisasi domain, akurasi, dan efisiensi komputasi.

Temuan utama dari eksperimen: - **Penemuan Tag Semantik**: Cakupan kosakata yang lebih luas tidak selalu menghasilkan asosiasi spesifik domain yang lebih berguna. Evaluasi kualitatif menunjukkan bahwa korpus khusus berukuran sedang mungkin cukup untuk penemuan tag yang bermakna. - **Pengenalan Entitas Bernama**: Di bawah penilaian yang longgar, transformer RoBERTa mencapai 0,80 micro- F_{1}, mengungguli model konvolusional (0,65-0,69). Namun, waktu inferensinya (82 detik) lebih dari 13 kali lebih lama daripada model konvolusional (5-6 detik). Pengenal penyakit terintegrasi mencapai 81,33% F_{1} uji pada NCBI Disease Corpus. - **Klasifikasi Topik**: Inferensi zero-shot BART-MNLI mencapai akurasi label tunggal 95,2%, jauh lebih tinggi daripada MiniLM few-shot (59%). Untuk klasifikasi multi-label, BART-MNLI mencapai akurasi 88% versus 32% untuk MiniLM di bawah penilaian sebagian manual. Namun, biaya inferensi BART-MNLI yang lebih tinggi membatasi integrasi praktis. Hasil ini menyoroti trade-off antara akurasi dan efisiensi komputasi.

Volume literatur kesehatan global yang terus meningkat menuntut alat otomatis untuk pengindeksan dan ekstraksi pengetahuan. Namun, banyak lingkungan menghadapi data beranotasi dan sumber daya komputasi yang terbatas. Tesis ini membahas tantangan pemilihan dan adaptasi model natural language processing (NLP) untuk publikasi kesehatan global dalam keterbatasan tersebut. Fokusnya adalah tiga tugas: penemuan tag semantik, pengenalan entitas bernama (NER), dan klasifikasi topik multi-label. Tujuannya adalah memberikan dasar empiris untuk membangun sistem pengetahuan yang menyeimbangkan spesialisasi domain, akurasi, dan efisiensi komputasi.

Penelitian ini terdiri atas tiga jalur eksperimen:

Tesis ini menunjukkan bahwa spesialisasi domain dan adaptasi ringan menawarkan nilai praktis di lingkungan dengan sumber daya terbatas. Untuk NER, model konvolusional yang di-fine-tune memberikan keseimbangan antara akurasi dan kecepatan, sementara model transformer membenarkan biaya inferensi yang lebih tinggi ketika akurasi maksimum sangat penting. Performa kuat pengenal penyakit (81,33% F_{1}) menunjukkan bahwa fine-tuning yang ditargetkan dapat menghasilkan hasil yang robust bahkan dengan data terbatas. Untuk klasifikasi topik, zero-shot BART-MNLI unggul dalam akurasi tetapi mungkin tidak praktis untuk aplikasi skala besar atau real-time karena biaya inferensi. MiniLM few-shot, meskipun kurang akurat, lebih efisien. Temuan ini menyarankan pendekatan hibrida: gunakan model ringan untuk tugas throughput tinggi dan cadangkan transformer untuk tugas yang mengutamakan akurasi. Integrasi pipeline praproses PDF, penyaringan entitas, dan pengayaan MeSH mendukung pengindeksan tingkat dokumen, memberikan fondasi untuk sistem pengetahuan di bidang kesehatan global. Pekerjaan selanjutnya dapat mengeksplorasi distilasi model dan adaptasi domain lebih lanjut untuk mengurangi biaya inferensi sambil mempertahankan akurasi.

Praktisi dan peneliti ilmu komputer

Membuka konten member…