AI & Data Science · MIT News AI
Tanya Jawab: Mewujudkan Interaksi dan Pemahaman yang Lebih Mirip Manusia pada Model Fondasi Multimodal
MIT-IBM Computing Research Lab, yang dipimpin bersama oleh Jim Glass, menangani kegagalan kritis pada model fondasi multimodal dengan mengembangkan tolok ukur baru dan metode efisien data yang membutuhkan supervisi minimal.

### Celah Multimodal: Ketika Kelancaran Menutupi Pemahaman Sejati
Manusia memadukan informasi sensorik secara mulus—bunyi kicau burung dengan kata “robin,” atau wajah seorang teman di tengah kerumunan—dengan menarik pengetahuan multimodal laten tanpa perlu banyak contoh. Model fondasi multimodal kecerdasan artifisial semakin meniru kemampuan ini, tetapi kelancaran yang tampak sering menyembunyikan pemahaman yang sebenarnya. Tim MIT-IBM Computing Research Lab, yang dipimpin bersama oleh Jim Glass, peneliti senior di MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), telah menyelidiki kegagalan kritis model mutakhir dan mengembangkan tolok ukur serta metode efisien data untuk mengatasi kesenjangan kinerja dengan supervisi terbatas. “Kelancaran multimodal yang tampak sering menyembunyikan pemahaman mereka yang sebenarnya,” catat Glass. Kolaborasi yang berlangsung bertahun-tahun dengan tim pakar wicara dan visi yang kurang lebih sama ini bertujuan mengeksplorasi hubungan antara persepsi—hal yang dilihat dan didengar—dan bahasa, dengan memanfaatkan pengetahuan berbasis teks yang diserap model bahasa besar tanpa bergantung pada dataset beranotasi yang masif. Karya ini krusial karena sistem AI semakin banyak berinteraksi dengan dunia melalui berbagai indra, namun sering gagal benar-benar memahami informasi yang mereka proses.
### Dari Buku Bergambar ke Video: Evolusi Agenda Penelitian
Proyek ini dimulai dengan membangun model yang mempelajari korespondensi secara otomatis, mirip membaca buku bergambar kepada anak. “Kami hanya menunjukkan contoh yang cocok, dan kami menunjukkan contoh yang tidak cocok,” jelas Glass. “Mereka bisa mempelajari bahwa urutan bunyi yang menyebut ‘lighthouse’ berkorespondensi dengan gambar mercusuar, tanpa melibatkan teks apa pun.” Tim kemudian memperluas cakupan dari wicara ke audio umum, dan dari gambar diam ke video, dengan melatih model merekonstruksi urutan audio-visual yang tertutup atau tidak cocok. Ini memungkinkan model mempelajari hubungan yang kuat—bukan hanya wicara, tetapi juga suara burung beo, atau perbedaan antara gitar elektrik dan akustik. Ketika model bahasa besar muncul, tim beralih mempelajari korespondensi antara audio dan bahasa, mendahului upaya serupa oleh perusahaan besar. “Sejak saat itu, model multimodal besar ini tersedia, dan kami mulai menelaah apa saja keterbatasan model tersebut,” kata Glass. Evolusi ini mencerminkan dorongan berkelanjutan untuk menghubungkan persepsi dan bahasa dengan supervisi minimal, yang berpuncak pada teknik-teknik yang menangani kekurangan sistem mutakhir.
### Menyingkap Kekurangan: Tolok Ukur IPLoc dan OmniR1
Sorotan terbaru mencakup penelitian IPLoc, yang mengungkap bahwa model mutakhir seperti GPT-4o tidak dapat melokalisasi objek tertentu hanya dengan beberapa contoh few-shot. Tim menyusun teknik substitusi pseudonim—mengganti “airplane” dengan “Elizabeth”—yang memaksa model mengabaikan pengetahuan sebelumnya dan fokus pada konteks visual. Makalah lain, OmniR1, menelaah model bahasa besar audio dan menemukan perilaku yang mengkhawatirkan: banyak tolok ukur memakai jawaban pilihan ganda, dan model sering mencurangi pertanyaan dengan melihat opsi alih-alih mendengarkan audio. “Bahkan tidak benar-benar memperhatikan audio, [tetapi] langsung berkata, ‘Oh, singa,’” ujar Glass. Untuk mengatasinya, tim memberi masukan derau acak dan menemukan model tetap berkinerja baik, yang mengonfirmasi bahwa mereka mengabaikan audio. Mereka lalu mengembangkan metode untuk memaksa perhatian pada audio dan meminimalkan jalan pintas semacam itu. Temuan ini menegaskan pentingnya tolok ukur yang tangguh dan kebutuhan model untuk benar-benar memproses masukan multimodal alih-alih mengeksploitasi bias dataset.
### Adaptasi Efisien Data: Reinforcement Learning saat Uji dan Supervisi Lemah
Mengingat keterbatasan sumber daya, tim tidak dapat membangun model fondasi masif dari nol. Sebagai gantinya, mereka mengadaptasi model yang ada dengan metode supervisi lemah yang membutuhkan lebih sedikit data beranotasi, seperti reinforcement learning saat uji. “Proyek kami tidak monolitik, dalam arti kami tidak semua mengerjakan satu hal. Ini lebih seperti seribu bunga bermekaran,” kata Glass. Pendekatan ini berbeda dengan penskalaan ke model yang lebih besar, yang mungkin tidak mengatasi kelemahan mendasar. Dengan menciptakan tolok ukur dan teknik baru yang berkinerja lebih baik dengan supervisi terbatas, tim memastikan karya mereka dapat direproduksi dan diakses. Mereka telah merilis tolok ukur publik sebagai artefak yang bertahan lama, memungkinkan peneliti lain mengevaluasi dan meningkatkan model multimodal. Penekanan pada efisiensi data bersifat praktis dan etis, mengurangi ketergantungan pada anotasi yang mahal dan memakan waktu sekaligus mendorong model yang belajar lebih mandiri, seperti halnya manusia.
### Jalan ke Depan: Menuju Pemahaman Multimodal yang Mirip Manusia
Ke depan, Glass membayangkan evolusi berkelanjutan dalam penelitian multimodal, dengan tim MIT-IBM telah menghasilkan sekitar dua lusin makalah kolaboratif yang signifikan. “Sungguh menakjubkan bagi saya bahwa mesin dapat mempelajari korespondensi ini,” renungnya. Tema besarnya tetap: menangani kekurangan model multimodal, mengembangkan teknik yang tidak memerlukan data beranotasi ekstensif, dan mengeksplorasi hubungan antara persepsi dan bahasa. Seiring model semakin mampu, tantangannya bergeser ke memastikan mereka benar-benar memahami, bukan sekadar tampak lancar. Karya tim pada tolok ukur dan metode efisien data menyediakan fondasi untuk membangun sistem AI yang berinteraksi lebih mirip manusia, dengan menarik pengetahuan multimodal laten untuk menjalankan tugas dengan sedikit atau tanpa contoh. Penelitian ini tidak hanya memajukan bidang, tetapi juga memastikan kemajuan diukur terhadap pemahaman sejati, bukan sekadar kinerja permukaan.
Poin kunci
- Model fondasi multimodal sering menunjukkan kelancaran tanpa pemahaman sejati, sehingga diperlukan tolok ukur baru dan metode efisien data.
- Lab MIT-IBM telah berkembang dari mempelajari korespondensi audio-visual menjadi menangani keterbatasan model multimodal besar seperti GPT-4o.
- Teknik seperti substitusi pseudonim dan reinforcement learning saat uji memungkinkan adaptasi dengan supervisi minimal.
- Tolok ukur publik yang dirilis tim berfungsi sebagai artefak yang bertahan lama untuk mengevaluasi dan meningkatkan AI multimodal.
Sumber: MIT News AI ↗