Jadwal Sholat

Memuat jadwal sholatโ€ฆ

Editorial Ilmu Komputer & AI

Open AccessOA2024

Analitik Prediktif dalam Kesehatan Mental Memanfaatkan Embedding LLM dan Model Machine Learning untuk Analisis Media Sosial

Alat skrining skalabel menggunakan embedding GPT-3 dan ML klasik untuk mendeteksi gangguan stres dari unggahan media sosial
Ahmad Radwan; Mohannad Amarneh; Hussam Alawneh; Huthaifa I. Ashqar; Anas M. R. Alsobeh; Aws Abed Al Raheem Magablehยท International Journal of Web Services Researchยท 2024ยท DOI 10.4018/ijwsr.338222

Masalah inti

Prevalensi gangguan terkait stres telah meningkat secara signifikan dalam beberapa tahun terakhir, menciptakan kebutuhan mendesak akan metode skalabel untuk mengidentifikasi individu yang terdampak. Alat skrining tradisional bersifat padat sumber daya dan sering gagal menjangkau populasi yang membutuhkan. Platform media sosial menawarkan sumber teks yang dihasilkan pengguna secara real-time yang kaya dan mungkin mengandung penanda linguistik dari tekanan psikologis. Makalah ini memperkenalkan pendekatan baru yang memanfaatkan large language model (LLM), khususnya embedding GPT-3 dari OpenAI, dikombinasikan dengan algoritma machine learning untuk mengklasifikasikan unggahan media sosial sebagai indikatif atau tidak indikatif gangguan stres. Tujuannya adalah mengembangkan alat skrining awal yang dapat menganalisis data tekstual daring dalam skala besar, yang berpotensi memungkinkan intervensi dan dukungan dini. Dengan mengubah unggahan menjadi representasi vektor yang menangkap makna semantik dan nuansa linguistik, penulis bertujuan meningkatkan metode berbasis kata kunci atau bag-of-words tradisional.

Inovasi

Model SVM mencapai akurasi tertinggi 83% pada test set, mengungguli model lainnya. Random forest, XGBoost, KNN, dan neural network juga menunjukkan performa kompetitif, tetapi tidak ada yang melampaui SVM. Hasil ini menunjukkan bahwa embedding GPT-3 secara efektif menangkap isyarat linguistik yang terkait dengan stres, memungkinkan klasifikasi yang akurat. Studi ini melaporkan precision, recall, dan -score untuk model terbaik, meskipun nilai spesifiknya tidak disediakan dalam abstrak. Temuan ini menunjukkan bahwa embedding berbasis LLM dapat secara signifikan meningkatkan deteksi indikator kesehatan mental dari teks media sosial dibandingkan metode ekstraksi fitur tradisional.
Prevalensi gangguan terkait stres telah meningkat secara signifikan dalam beberapa tahun terakhir, menciptakan kebutuhan mendesak akan metode skalabel untuk mengidentifikasi individu yang terdampak. Alat skrining tradisional bersifat padat sumber daya dan sering gagal menjangkau populasi yang membutuhkan. Platform media sosial menawarkan sumber teks yang dihasilkan pengguna secara real-time yang kaya dan mungkin mengandung penanda linguistik dari tekanan psikologis. Makalah ini memperkenalkan pendekatan baru yang memanfaatkan large language model (LLM), khususnya embedding GPT-3 dari OpenAI, dikombinasikan dengan algoritma machine learning untuk mengklasifikasikan unggahan media sosial sebagai indikatif atau tidak indikatif gangguan stres. Tujuannya adalah mengembangkan alat skrining awal yang dapat menganalisis data tekstual daring dalam skala besar, yang berpotensi memungkinkan intervensi dan dukungan dini. Dengan mengubah unggahan menjadi representasi vektor yang menangkap makna semantik dan nuansa linguistik, penulis bertujuan meningkatkan metode berbasis kata kunci atau bag-of-words tradisional.
Studi ini menggunakan dataset lebih dari 10.000 unggahan media sosial berlabel, masing-masing dianotasi sebagai indikatif stres atau tidak. Embedding GPT-3 digunakan untuk mengonversi setiap unggahan menjadi representasi vektor berdimensi tinggi, menangkap informasi semantik dan kontekstual. Embedding ini berfungsi sebagai fitur untuk melatih beberapa model machine learning: support vector machine (SVM), random forest, XGBoost, K-nearest neighbors (KNN), dan neural network. Model-model dievaluasi menggunakan metrik klasifikasi standar, dengan akurasi sebagai ukuran utama. Model dengan performa terbaik adalah support vector machine, mencapai akurasi 83% dalam mengklasifikasikan unggahan yang menunjukkan tanda-tanda stres. Pipeline dapat diringkas sebagai berikut:

Mengapa penting

Studi ini menyoroti potensi menggabungkan LLM dengan machine learning klasik untuk skrining kesehatan mental. Akurasi tinggi SVM menunjukkan bahwa embedding semantik dari GPT-3 memberikan representasi konten tekstual yang kuat, menangkap nuansa yang mungkin terlewatkan oleh model yang lebih sederhana. Namun, penulis mengakui batasan, seperti ketergantungan pada data berlabel dan kebutuhan validasi di berbagai populasi dan platform. Pertimbangan etis, termasuk privasi dan persetujuan, sangat penting ketika menganalisis data media sosial untuk tujuan kesehatan. Pekerjaan selanjutnya dapat mengeksplorasi fine-tuning LLM, memasukkan dinamika temporal, dan menerapkan model di lingkungan dunia nyata untuk menilai dampaknya terhadap intervensi dini. Pendekatan yang diusulkan merupakan langkah menuju pemantauan kesehatan mental yang skalabel dan berbiaya rendah, tetapi penelitian lebih lanjut diperlukan untuk memastikan keadilan, transparansi, dan validitas klinis.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten memberโ€ฆ