Ion Stoica: Memori Jadi Penghambat Utama AI, Inovasi Infrastruktur Dituntut di Semua Lapisan
Baca dalam 60 detik
- Ion Stoica mengungkapkan bahwa memori masih menjadi bottleneck krusial dalam pengembangan AI karena penyimpanan satu bit data tetap membutuhkan satu transistor.
- Efisiensi di setiap lapisan tumpukan teknologi dinilai wajib untuk mengimbangi lonjakan biaya pelatihan dan inferensi yang terus meningkat eksponensial.
- Pendekatan human-in-the-loop dan formal methods dipercaya dapat menjembatani kesenjangan antara intent pengguna dan kebutuhan sistem di era agentic AI.
Ion Stoica, Guru Besar UC Berkeley dan salah satu pendiri Databricks serta Anyscale, mengemukakan bahwa memori menjadi penghambat terbesar dalam upaya mempercepat adopsi AI di era agentic. Dalam sebuah diskusi bertajuk The Next Endeavor yang digelar oleh Imagination in Action bekerja sama dengan Stanford HAI pada 14–15 September di Google Bay View, Mountain View, California, Stoica menegaskan bahwa keterbatasan memori masih menjadi persoalan mendasar yang belum terselesaikan.
Stoica menjelaskan bahwa hingga kini, untuk menyimpan satu bit informasi tetap diperlukan satu transistor. "Anda bisa membuat transistor lebih kecil, tetapi pemetaan satu-ke-satu ini tidak berubah," ujarnya. Menurutnya, kapasitas komputasi akan tumbuh lebih cepat dibandingkan kapasitas memori, dan bandwidth pun diprediksi meningkat lebih pesat karena lebih mudah ditingkatkan. Akibatnya, memori kian menjadi bottleneck, memaksa pemecahan lapisan dan modularitas sistem demi efisiensi maksimal.
Dalam sesi yang dipandu oleh Daniela Rus, Direktur MIT CSAIL, Stoica juga menyoroti mahalnya biaya pelatihan dan inferensi yang masih tumbuh eksponensial. "Efisiensi menjadi sangat penting, dan untuk mendapatkannya, Anda hampir harus berinovasi di setiap lapisan tumpukan," tegasnya. Ia menambahkan bahwa banyak inovasi kunci, termasuk evolusi algoritma, justru didorong dari sisi sistem.
Stoica juga membahas tantangan keselarasan (alignment) dan risiko recursive self-improvement. Menurutnya, tujuan utama haruslah membangun aplikasi dan sistem AI yang andal serta selaras dengan intent pengguna. "Ini sangat sulit karena ada kesenjangan fundamental antara intent pengguna dan kebutuhan sistem, serta antara dunia nyata dan model lingkungan yang kita miliki," paparnya. Kesenjangan ini, lanjut dia, semakin sulit ditutup dalam dunia yang terbuka dan terus berubah.
Menjawab pertanyaan Rus tentang pembagian beban kerja antara cloud dan perangkat lokal, Stoica menilai AI lokal di edge device dapat membantu mengatasi masalah privasi. Ia juga mengaitkan perkembangan ini dengan era big data, di mana Hadoop dan query tradisional perlahan digantikan oleh metode yang jauh lebih cepat. Stoica sendiri terlibat dalam pengembangan Spark, teknologi pemrosesan terkait SQL yang kini tampak mulai usang di era AI.
"Selama Anda membangun ini untuk manusia, manusia akan menjadi bagian dari loop; karena Anda perlu memenuhi intent manusia... manusia bisa menjadi bottleneck. Kita harus memastikan bahwa kita menggunakan manusia dengan cara yang paling efektif, untuk memberikan umpan balik, dan terus meningkatkan sistem."
— Ion Stoica
Rus kemudian mengangkat isu physical AI, membayangkan 100.000 robot yang beroperasi untuk menjalankan tugas. Menurutnya, armada robot dengan kecerdasan fisik seperti itu memerlukan infrastruktur yang mumpuni. Stoica menimpali dengan menyoroti insiden Hugging Face serta ancaman reward hacking dan halusinasi. Ia menyarankan agar operasi AI dalam banyak kasus diisolasi untuk mencegah risiko yang tidak diinginkan.
Stoica menutup dengan menekankan pentingnya memperkuat formal methods. "Anda akan mencoba menutup kesenjangan dan menangkap, dalam spesifikasi formal, lebih banyak intent manusia dan lebih banyak dunia nyata," pungkasnya. Seruan akan kejelasan ini dinilai krusial seiring melesatnya adopsi AI agentic.
Konteks Indonesia
Bagi Indonesia, sorotan Stoica tentang bottleneck memori dan efisiensi infrastruktur AI menjadi cermin tantangan yang dihadapi. Ketergantungan pada pusat data asing dan keterbatasan sumber daya komputasi lokal membuat pengembangan AI nasional rentan terhadap lonjakan biaya. Namun, peluang AI di edge device—yang dapat mengurangi latensi dan menjaga privasi—bisa menjadi solusi untuk daerah terpencil dengan konektivitas terbatas. Pemerintah dan pelaku industri perlu mendorong riset di lapisan sistem, bukan sekadar aplikasi, agar tidak selalu menjadi konsumen teknologi.
Ke depan, pertanyaannya: mampukah Indonesia membangun ekosistem AI yang tangguh dengan mengedepankan inovasi di level infrastruktur, atau akan terus bergantung pada terobosan dari luar?
