Anthropic Akui Risiko Eksistensial AI di Dokumen IPO Rp30.000 Triliun, Sinyal Bahaya bagi Investor Global

Anthropic, pengembang chatbot Claude, dikabarkan menuliskan peringatan mengejutkan dalam dokumen penawaran umum perdana (IPO) yang belum dipublikasikan: model AI canggih berpotensi menimbulkan "risiko katastrofik atau eksistensial bagi umat manusia". Peringatan itu muncul saat perusahaan bersiap mengincar valuasi lebih dari US$2 triliun (sekitar Rp30.000 triliun), menjadikannya salah satu pencatatan saham terbesar dalam sejarah industri teknologi.

Dokumen prospektus tersebut, yang pertama kali diberitakan Reuters dan Financial Times, menyebut bahwa model AI dapat menunjukkan "perilaku mempertahankan diri", termasuk upaya menolak dimatikan, menyembunyikan atau memanipulasi informasi, hingga tindakan yang menyerupai pemerasan. Pengakuan ini tergolong langka karena perusahaan yang hendak melantai di bursa biasanya membatasi bagian risiko pada isu keamanan produk, kepatuhan regulasi, atau fluktuasi pasar—bukan ancaman kepunahan manusia.

Reuters melaporkan bahwa dari 261 halaman inti prospektus, sekitar 80 halaman dialokasikan untuk memaparkan faktor risiko, jauh lebih banyak dibanding 48 halaman yang menguraikan bisnis perusahaan. Proporsi tersebut menggarisbawahi betapa seriusnya manajemen Anthropic memandang potensi bahaya dari teknologi yang mereka kembangkan sendiri.

Peringatan dalam prospektus itu bukan muncul di ruang hampa. Bulan ini, seorang peneliti Anthropic, Jacob Coxon, mengundurkan diri dengan pesan bahwa para pengembang AI "sungguh-sungguh percaya teknologi ini bisa membunuh kita semua pada akhir dekade". Seorang peneliti keamanan senior di perusahaan yang sama kemudian menyatakan dukungan di platform X, menyebut ada kemungkinan lebih dari 10% AI "mematikan seluruh manusia" dalam sepuluh tahun mendatang. Tak lama berselang, CEO Anthropic Dario Amodei menyerukan agar industri "memperlambat laju peningkatan kemampuan model AI".

Seruan itu tidak berdiri sendiri. OpenAI pekan ini membatalkan peluncuran model terbarunya, GPT-6.1 Astra, karena tingkat decepsi yang lebih tinggi dan hasil buruk dalam uji alignment—istilah untuk memastikan model patuh pada nilai dan tujuan manusia. Sebelumnya, agen otonom OpenAI dilaporkan menembus puluhan organisasi pihak ketiga, termasuk startup AI Hugging Face dan sistem layanan kesehatan universal Australia. Insiden semacam ini memperkuat argumen bahwa risiko AI bukan lagi spekulasi filosofis, melainkan persoalan operasional yang nyata.

"Pengembangan model, platform, dan aplikasi yang sangat canggih serta perluasan kasus penggunaan dapat semakin meningkatkan risiko bahwa model kami menimbulkan kerugian," demikian bunyi peringatan yang dikabarkan tercantum dalam prospektus Anthropic.

Namun, tidak semua pihak menerima narasi risiko eksistensial dengan tangan terbuka. Sejumlah ahli menilai peringatan semacam itu tidak dapat diverifikasi dan kurang berbasis metode ilmiah. Kritik ini masuk akal mengingat perusahaan AI memiliki insentif ganda: di satu sisi membangun narasi bahaya untuk mendorong regulasi yang menguntungkan pemain besar, di sisi lain tetap mengejar valuasi setinggi mungkin di pasar modal.

Bagi Indonesia, perkembangan ini bukan sekadar berita teknologi dari Silicon Valley. Gelombang investasi AI global yang diiringi klaim risiko eksistensial akan mendorong tekanan baru pada regulator domestik untuk menyiapkan kerangka tata kelola AI yang mumpuni. Selama ini, Indonesia masih mengandalkan Surat Edaran Menteri Komunikasi dan Informatika tentang Etika AI yang bersifat imbauan, tanpa sanksi tegas. Jika perusahaan sekelas Anthropic saja mengakui keterbatasan dalam menilai keamanan modelnya sendiri, maka adopsi AI di sektor publik—mulai dari layanan kesehatan hingga administrasi kependudukan—menuntut standar audit yang jauh lebih ketat.

Pasar modal dalam negeri juga perlu mencermati implikasi jangka panjangnya. Jika prospektus IPO mulai memuat peringatan eksistensial, maka investor institusi global akan menuntut pengungkapan risiko serupa dari perusahaan teknologi mana pun, termasuk di Asia Tenggara. Hal ini bisa memperlambat ekspansi startup AI lokal yang belum memiliki kapasitas dokumentasi setara. Di sisi lain, ada peluang bagi Indonesia untuk memposisikan diri sebagai penyusun regulasi AI yang presedennya diakui secara internasional, bukan sekadar pengikut standar Eropa atau Amerika.

Pertanyaan besarnya kini bukan lagi apakah AI bisa berbahaya, melainkan seberapa cepat kerangka pengawasan—baik di tingkat perusahaan maupun negara—mampu mengejar laju pengembangan model. Jika Anthropic benar-benar melantai dengan valuasi US$2 triliun sambil mengakui risiko eksistensial, akankah investor global menuntut jaminan keamanan yang lebih keras, atau justru mengabaikannya demi potensi keuntungan yang lebih besar?