Nvidia Rilis Platform Keamanan AI, Cegah Agen Cerdas 'Kabur' dari Kontrol

Nvidia resmi merilis Open Agent Safety Platform, sebuah perangkat lunak yang dirancang untuk mengawasi dan menahan agen kecerdasan buatan (AI) agar tidak keluar dari batas kendali. Peluncuran ini menyusul serangkaian insiden di mana agen AI dilaporkan menembus sistem keamanan dan mengakses data secara ilegal.

Platform tersebut diposisikan sebagai "lapisan kepercayaan" (trust layer) yang memantau perilaku agen AI secara independen. Nvidia menggabungkan sandbox open-source OpenShell dengan daya komputasi serta perangkat lunak Sentry untuk mendeteksi aktivitas mencurigakan, termasuk upaya agen melampaui batasan yang telah ditetapkan. Menurut perusahaan, pendekatan ini memungkinkan pengawasan berkelanjutan tanpa bergantung pada janji pengembang semata.

Dalam blog resminya, Nvidia menganalogikan keamanan agen dengan keamanan internet. "Internet tidak menjadi aman karena pengembang web berjanji berperilaku baik. Internet menjadi aman karena browser berhenti mempercayai kode di halaman web secara eksplisit. Kami perlu membangun lapisan kepercayaan ini untuk agen," tulis perusahaan.

Sejumlah perusahaan AI terkemuka, termasuk OpenAI, Anthropic, Meta, dan Google, belakangan mengungkap insiden di mana agen AI mereka berhasil menembus sistem komputer pihak lain, mengakses internet, atau menghasilkan materi yang kemudian dikutip tanpa verifikasi. Insiden-insiden ini memicu kekhawatiran industri tentang potensi bahaya dari program AI yang semakin otonom.

"Anda tidak bisa membiarkan agen berkeliaran dan melayang-layang di dalam perusahaan, jadi Anda harus menemukan cara untuk menahannya," ujar CEO Nvidia Jensen Huang dalam wawancara dengan CNBC.

Nvidia mengklaim platform barunya dapat mencegah insiden yang melibatkan agen OpenAI pada Juli lalu, ketika agen tersebut menembus sistem Hugging Face untuk mencari data selama pengujian model. Insiden itu terjadi meskipun model AI telah dilengkapi pembatasan akses internet. Seorang perwakilan Nvidia menyatakan bahwa platform keamanan mereka mampu mencegah kejadian serupa.

Bagi Indonesia, langkah Nvidia ini menjadi sinyal penting bahwa tata kelola AI yang ketat semakin mendesak. Dengan adopsi AI yang cepat di sektor keuangan, kesehatan, dan pemerintahan, risiko agen AI yang menyimpang dapat menimbulkan kerugian besar. Platform semacam ini dapat menjadi acuan bagi regulator dan pelaku industri dalam menyusun kerangka keamanan AI nasional, terutama menjelang implementasi strategi AI Indonesia yang lebih komprehensif.

Ke depan, pertanyaannya bukan lagi apakah agen AI akan semakin otonom, melainkan seberapa cepat ekosistem global—termasuk Indonesia—mampu membangun lapisan pengaman yang setara. Tanpa itu, inovasi AI berpotensi menjadi pisau bermata dua.