Menjelajahi Integrasi Large Language Model dalam Diagnosis Histopatologis Penyakit Kulit: Sebuah Studi Komparatif

Analisis komparatif ChatGPT-3.5, Gemini, dan ahli patologi manusia dalam diagnosis dermatopatologis

Talar Sabir Ahmed; Rawa M. Ali; Ari M. Abdullah; H. Yasseen; Ronak Ahmed; A. M. Salih; Dilan S. Hiwa; Shvan H. Mohammed· Barw Medical Journal· 2025· DOI 10.58742/bmj.v3i3.180

Masalah inti

Integrasi large language model (LLM) ke dalam layanan kesehatan berkembang pesat, dengan potensi mengubah perawatan dan luaran pasien. Sejak diperkenalkannya ChatGPT oleh OpenAI pada November 2022, dan Gemini oleh Google, model-model ini menunjukkan kemampuan luar biasa dalam menghasilkan respons menyerupai manusia pada berbagai tugas. Di bidang kedokteran, ChatGPT menunjukkan harapan dalam menganalisis data medis yang kompleks, membantu diagnosis banding, dan menyintesis informasi dari rekam pasien, penelitian medis, serta pedoman klinis. Namun, penerapan LLM di dermatologi dan patologi masih terbatas. Studi ini bertujuan mengeksplorasi peran LLM, khususnya ChatGPT-3.5 dan Gemini, dalam mendiagnosis kondisi dermatologis di bidang patologi. Studi ini membandingkan akurasi dan kesesuaiannya dengan ahli patologi manusia serta menyelidiki potensi keuntungan, bias, dan batasan integrasi alat LLM ke dalam proses pengambilan keputusan patologi.

Inovasi

ChatGPT-3.5 mencapai kesesuaian lengkap pada 29 kasus (48,4%), kesesuaian sebagian pada 14 kasus (23,3%), dan tidak ada kesesuaian pada 17 kasus (28,3%). Gemini menunjukkan kesesuaian lengkap pada 20 kasus (33%), kesesuaian sebagian pada 9 kasus (15%), dan tidak ada kesesuaian pada 31 kasus (52%). Ahli patologi eksternal memiliki kesesuaian lengkap pada 36 kasus (60%), kesesuaian sebagian pada 17 kasus (28%), dan tidak ada kesesuaian pada 7 kasus (12%). Perbedaan signifikan dalam kesesuaian diagnostik ditemukan antara LLM dan ahli patologi (P < 0,001). Distribusi tingkat kesesuaian dirangkum dalam tabel berikut: | Evaluator | Complete Agreement | Partial Agreement | No Agreement | |-----------------|--------------------|-------------------|--------------| | ChatGPT-3.5 | 29 (48.4%) | 14 (23.3%) | 17 (28.3%) | | Gemini | 20 (33%) | 9 (15%) | 31 (52%) | | External Pathologist | 36 (60%) | 17 (28%) | 7 (12%) | Uji chi-square mengonfirmasi perbedaan signifikan dalam tingkat kesesuaian antara LLM dan ahli patologi manusia, dengan nilai p kurang dari 0,001.

Integrasi large language model (LLM) ke dalam layanan kesehatan berkembang pesat, dengan potensi mengubah perawatan dan luaran pasien. Sejak diperkenalkannya ChatGPT oleh OpenAI pada November 2022, dan Gemini oleh Google, model-model ini menunjukkan kemampuan luar biasa dalam menghasilkan respons menyerupai manusia pada berbagai tugas. Di bidang kedokteran, ChatGPT menunjukkan harapan dalam menganalisis data medis yang kompleks, membantu diagnosis banding, dan menyintesis informasi dari rekam pasien, penelitian medis, serta pedoman klinis. Namun, penerapan LLM di dermatologi dan patologi masih terbatas. Studi ini bertujuan mengeksplorasi peran LLM, khususnya ChatGPT-3.5 dan Gemini, dalam mendiagnosis kondisi dermatologis di bidang patologi. Studi ini membandingkan akurasi dan kesesuaiannya dengan ahli patologi manusia serta menyelidiki potensi keuntungan, bias, dan batasan integrasi alat LLM ke dalam proses pengambilan keputusan patologi.

Studi ini menggunakan desain komparatif dengan 60 skenario kasus histopatologi nyata penyakit kulit, separuh neoplastik dan separuh non-neoplastik, yang dipilih dari basis data rumah sakit. Dua ahli patologi bersertifikat meninjau setiap kasus untuk menetapkan diagnosis konsensus. Kasus dimasukkan jika memiliki laporan histopatologi lengkap dan demografi pasien yang menyeluruh; kasus dengan data tidak lengkap dikeluarkan. Metode pengambilan sampel acak memastikan keterwakilan. Kasus-kasus tersebut disajikan kepada ChatGPT-3.5, Gemini, dan seorang ahli patologi bersertifikat eksternal pada Maret 2023. LLM menerima prompt terstandardisasi: awalnya "Hello," diikuti "Please provide the most accurate diagnoses from the texts that will be given below." Setiap kasus disalin-tempel satu per satu, dan respons pertama dicatat. Jika tidak ada diagnosis yang diberikan, prompt diulang dengan variasi. Ahli patologi eksternal menerima informasi yang sama tanpa gambar histopatologi. Respons dikategorikan menjadi kesesuaian lengkap, kesesuaian sebagian, atau tidak ada kesesuaian dengan diagnosis asli, berdasarkan apakah diagnosis umum dan subtipe spesifik keduanya teridentifikasi dengan benar. Analisis statistik dilakukan untuk membandingkan tingkat kesesuaian antara LLM dan ahli patologi.

Mengapa penting

Hasil menunjukkan bahwa meskipun ChatGPT-3.5 dan Gemini dapat memberikan diagnosis akurat pada kasus tertentu, kinerja keseluruhannya belum memadai untuk penggunaan yang andal dalam lingkungan klinis nyata. ChatGPT-3.5 mengungguli Gemini, dengan tingkat kesesuaian lengkap lebih tinggi (48,4% vs. 33%) dan tingkat tidak ada kesesuaian lebih rendah (28,3% vs. 52%). Namun, kedua LLM tertinggal dari ahli patologi eksternal, yang mencapai kesesuaian lengkap 60%. Perbedaan signifikan (P < 0,001) menegaskan batasan LLM saat ini dalam akurasi diagnostik. Potensi manfaat LLM mencakup analisis cepat data kompleks dan bantuan dalam diagnosis banding, tetapi bias dan kendala seperti ketergantungan pada deskripsi tekstual tanpa gambar, potensi halusinasi, dan kurangnya konteks klinis harus diatasi. Temuan studi ini sejalan dengan kebutuhan integrasi LLM secara hati-hati sebagai alat pendukung, bukan pengganti keahlian manusia. Penelitian selanjutnya harus mengeksplorasi LLM multimodal yang menyertakan gambar histopatologi serta dataset yang lebih besar dan beragam untuk meningkatkan generalisasi. Persamaan untuk tingkat kesesuaian diagnostik dapat dinyatakan sebagai: Agreement Rate = \frac{Number of Cases with Complete Agreement}{Total Number of Cases} \times 100% Studi ini menyoroti pentingnya validasi yang ketat sebelum penerapan klinis LLM di bidang patologi.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…