Ascent: Sistem Agentik di atas Model Context Protocol untuk Analisis Data Klinis Dunia Nyata

Arsitektur agentik untuk tanya jawab epidemiologis atas data klinis dunia nyata, dengan benchmark EpiTrap dan keunggulan empiris dibanding pipeline tetap.

Angelo Ziletti; Leonardo D'Ambrosi; Melanie Tuchardt; Tim Kondziella· 2026· DOI 10.48550/arXiv.2609.24620

Masalah inti

Menjawab pertanyaan epidemiologis dari data klinis dunia nyata memerlukan medical coding, SQL yang sadar skema, dan validasi atas pilihan implisit tentang populasi, denominator, dan waktu. Tugas-tugas ini menantang karena data klinis bersifat heterogen, sering tersimpan dalam skema native yang berbeda antar institusi, dan karena analisis epidemiologis sensitif terhadap keputusan halus yang dapat memunculkan bias. Penulis menyajikan Ascent, sistem agentik yang dirancang untuk mengatasi tantangan ini dengan mengekspos medical coding, tanya jawab, dan analisis kohort melalui permukaan alat Model Context Protocol (MCP) bersama. Permukaan alat ini mendukung skema terstandardisasi maupun native, memungkinkan interaksi fleksibel dengan beragam sumber data. Untuk mengevaluasi apakah sistem menghindari kesalahan farmakoepidemiologis yang telah dikenali, penulis memperkenalkan EpiTrap, dataset yang secara khusus dibangun untuk tujuan ini. Makalah ini membandingkan pipeline tetap dengan agen pada berbagai model dan orkestrator, menunjukkan bahwa pendekatan agentik dapat meningkatkan akurasi secara substansial bila didukung model yang mumpuni. Karya ini dimotivasi pengalaman dunia nyata dari p

Inovasi

Hasil kuantitatif utamanya adalah sistem agentik, bila didukung model yang mumpuni, mencapai peningkatan rata-rata 27 poin persentase pada skema native dan 20 poin persentase pada skema terstandardisasi dibanding pipeline tetap. Peningkatan ini diukur pada dataset EpiTrap, yang menguji penghindaran kesalahan farmakoepidemiologis. Hasil ini menunjukkan bahwa pendekatan agentik sangat bermanfaat untuk skema native, di mana heterogenitas dan kurangnya standardisasi menimbulkan tantangan lebih besar. Penulis juga mencatat bahwa keunggulan akurasi ini memerlukan lebih banyak panggilan alat dan waktu jalan yang lebih lama, menunjukkan bahwa sistem agentik lebih intensif sumber daya. Perbandingan antar model dan orkestrator mengungkapkan bahwa pilihan model dan orkestrator berdampak signifikan pada kinerja, dengan model yang mumpuni menjadi syarat untuk mewujudkan manfaat pendekatan agentik. Makalah ini tidak memberikan angka spesifik untuk panggilan alat atau waktu jalan, tetapi pernyataan kualitatifnya menunjukkan adanya trade-off. Selain itu, pengalaman dari proyek nyata menyoroti nilai sistem untuk penilaian kelayakan, iterasi diagnostik, dan analisis terpandu ahli, menunjukkan bahwa

Menjawab pertanyaan epidemiologis dari data klinis dunia nyata memerlukan medical coding, SQL yang sadar skema, dan validasi atas pilihan implisit tentang populasi, denominator, dan waktu. Tugas-tugas ini menantang karena data klinis bersifat heterogen, sering tersimpan dalam skema native yang berbeda antar institusi, dan karena analisis epidemiologis sensitif terhadap keputusan halus yang dapat memunculkan bias. Penulis menyajikan Ascent, sistem agentik yang dirancang untuk mengatasi tantangan ini dengan mengekspos medical coding, tanya jawab, dan analisis kohort melalui permukaan alat Model Context Protocol (MCP) bersama. Permukaan alat ini mendukung skema terstandardisasi maupun native, memungkinkan interaksi fleksibel dengan beragam sumber data. Untuk mengevaluasi apakah sistem menghindari kesalahan farmakoepidemiologis yang telah dikenali, penulis memperkenalkan EpiTrap, dataset yang secara khusus dibangun untuk tujuan ini. Makalah ini membandingkan pipeline tetap dengan agen pada berbagai model dan orkestrator, menunjukkan bahwa pendekatan agentik dapat meningkatkan akurasi secara substansial bila didukung model yang mumpuni. Karya ini dimotivasi pengalaman dunia nyata dari proyek data klinis, menekankan kebutuhan akan sistem yang mendukung penilaian kelayakan, iterasi diagnostik, dan analisis terpandu ahli.

Sistem Ascent dibangun di sekitar permukaan alat Model Context Protocol (MCP) bersama yang menyediakan akses terstandardisasi ke fungsi medical coding, tanya jawab, dan analisis kohort. Permukaan alat ini mengabstraksi perbedaan skema yang mendasarinya, memungkinkan agen berinteraksi dengan skema data klinis native maupun terstandardisasi. Sistem ini memakai arsitektur agentik di mana large language model (LLM) bertindak sebagai agen yang dapat memanggil alat, menalar hasil antara, dan menyempurnakan pendekatannya secara iteratif. Penulis membandingkan pendekatan agentik ini dengan baseline pipeline tetap. Pipeline tetap kemungkinan terdiri atas urutan langkah yang telah ditentukan tanpa pengambilan keputusan dinamis. Evaluasi memakai EpiTrap, dataset yang dirancang untuk menguji apakah sistem menghindari kesalahan farmakoepidemiologis yang telah dikenali. EpiTrap mencakup pertanyaan yang memerlukan penanganan cermat atas populasi, denominator, dan waktu, dan dipakai untuk mengukur akurasi pada berbagai konfigurasi. Eksperimen memvariasikan model yang mendasarinya (misalnya, LLM yang berbeda) dan orkestrator (komponen yang mengelola interaksi agen-alat). Penulis melaporkan bahwa dengan model yang mumpuni, agen meningkatkan akurasi dibanding pipeline tetap rata-rata 27 dan 20 poin persentase pada skema native dan terstandardisasi. Keunggulan ini diperoleh dengan biaya panggilan alat yang lebih banyak dan waktu jalan yang lebih lama, menunjukkan adanya trade-off antara akurasi dan efisiensi. Metodologi juga mencakup wawasan kualitatif dari proyek nyata, menekankan nilai sistem untuk penilaian kelayakan, iterasi diagnostik, dan analisis terpandu ahli.

Mengapa penting

Temuan menunjukkan bahwa sistem agentik di atas permukaan alat MCP bersama dapat meningkatkan akurasi secara substansial dalam menjawab pertanyaan epidemiologis dari data klinis dunia nyata. Peningkatan ini terutama menonjol pada skema native, yang umum dalam praktik tetapi kurang terstandardisasi. Ini menunjukkan bahwa pendekatan agentik dapat membantu menjembatani kesenjangan antara data dunia nyata yang berantakan dan analisis epidemiologis yang ketat. Namun, panggilan alat dan waktu jalan yang meningkat menunjukkan biaya yang harus dikelola, terutama dalam lingkungan yang sensitif waktu atau terbatas sumber daya. Dataset EpiTrap menyediakan benchmark berharga untuk mengevaluasi sistem atas kemampuannya menghindari kesalahan farmakoepidemiologis yang telah dikenali, dan dapat dipakai untuk mendorong perbaikan lebih lanjut. Pengalaman penulis dari proyek nyata menegaskan pentingnya alur kerja human-in-the-loop, di mana sistem mendukung penilaian kelayakan, iterasi diagnostik, dan analisis terpandu ahli. Ini sejalan dengan tren yang lebih luas dalam memakai AI untuk memperkuat, bukan menggantikan, keahlian manusia di domain kompleks. Pekerjaan selanjutnya dapat berfokus pada optimalisasi arsitektur agentik untuk mengurangi panggilan alat dan waktu jalan, mungkin melalui orkestrasi atau caching yang lebih baik. Selain itu, memperluas permukaan alat untuk mencakup lebih banyak jenis data klinis dan analisis akan meningkatkan kegunaan sistem. Kontribusi makalah ini mencakup sistem Ascent, dataset EpiTrap, dan bukti empiris manfaat pendekatan agentik di domain ini. Hasilnya menjanjikan tetapi juga menyoroti perlunya validasi dan pengawasan yang cermat saat menerapkan sistem semacam itu dalam penelitian klinis.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…