Quo Vadis ChatGPT? Dari Model Bahasa Besar ke Model Pengetahuan Besar

Makalah ini diawali dengan mengakui keberhasilan mengejutkan ChatGPT dan model bahasa besar (LLM) lainnya yang menggunakan arsitektur jaringan saraf generatif berbasis transformer. Model-model ini telah mencapai kinerja yang mengesankan, hampir seperti manusia, dalam pemrosesan bahasa alami dan sintesis gambar. Hal ini telah menimbulkan kegembiraan tentang potensi aplikasi dalam rekayasa sistem proses (PSE). Namun, para penulis berpendapat bahwa meskipun LLM berguna untuk tugas-tugas seperti menulis draf pertama, membantu dengan kode, dan meringkas teks, keberhasilan mereka terbatas pada domain yang sangat ilmiah. Mereka belum dapat bernalar, merencanakan, atau menjelaskan karena mereka kekurangan pengetahuan domain yang mendalam. Hal ini sangat bermasalah dalam teknik kimia, di mana sistem diatur oleh hukum dasar fisika dan kimia (dan biologi), hubungan konstitutif, dan pengetahuan yang sangat teknis tentang material, proses, dan sistem. Pendahuluan ini menetapkan pertanyaan sentral: Quo vadis ChatGPT? Ke mana seharusnya LLM selanjutnya dalam konteks ilmiah dan rekayasa?

Secara formal, LLM mendekati distribusi kondisional $P(y\mid x)$ dari korpus teks, sedangkan penalaran ilmiah

Temuan utama makalah ini adalah bahwa LLM, meskipun kinerjanya mengesankan, tidak cukup untuk tugas-tugas ilmiah dan rekayasa. Mereka tidak dapat bernalar, merencanakan, atau menjelaskan karena kurangnya pengetahuan domain yang mendalam. Dalam teknik kimia, tugas-tugas diatur oleh hukum dasar fisika dan kimia (dan biologi), hubungan konstitutif, dan pengetahuan yang sangat teknis tentang material, proses, dan sistem. Pembelajaran mesin yang murni berbasis data memiliki kegunaan langsung, tetapi para penulis menegaskan bahwa keberhasilan jangka panjang AI dalam domain ilmiah dan rekayasa akan bergantung pada pengembangan sistem AI hibrida yang menggunakan prinsip-prinsip dasar dan pengetahuan teknis secara efektif. Sistem hibrida ini disebut Model Pengetahuan Besar (LKM). Tidak seperti LLM, LKM tidak akan terbatas hanya pada teknik berbasis NLP atau aplikasi mirip NLP; mereka akan menggabungkan pengetahuan ilmiah terstruktur, batasan fisik, dan penalaran spesifik domain. Hasilnya adalah seruan bagi para peneliti PSE untuk membangun LKM yang dapat mendukung tugas-tugas seperti desain proses, optimasi, kontrol, dan pemecahan masalah dengan ketelitian ilmiah.

Perbedaan konseptual sede