Saat Chatbot Militer Nyaris Menyeret AS ke Perang Dunia III: Pelajaran bagi Regulasi AI Indonesia

Sebuah laporan CNN yang terbit 18 September lalu mengungkap bahwa militer Amerika Serikat hampir melancarkan operasi pencegatan terhadap sebuah kapal China di laut lepas. Pemicunya bukan intelijen manusia, melainkan analisis yang dihasilkan chatbot. Informasi keliru itu menyebut kapal tersebut mengangkut komponen senjata nuklir. Rencana penyerobotan kapal lengkap dengan pengerahan pesawat dan personel sudah disusun, sebelum penyelidikan lanjutan membatalkan eksekusi di detik-detik terakhir.

Insiden ini nyaris memicu baku tembak antara dua kekuatan nuklir. Eskalasi semacam itu berpotensi menyeret dunia ke konflik berskala besar. Namun, alih-alih memicu gelombang tuntutan regulasi, peristiwa tersebut justru tenggelam oleh hiruk-pikuk pemberitaan tentang mesin supercerdas yang diklaim bakal memusnahkan umat manusia.

Perhatian publik dan politisi belakangan tersedot pada narasi 'terminator' yang diangkat Jacob Coxon, engineer Anthropic yang mengundurkan diri. Ia menuduh OpenAI dan Anthropic berlomba menuju superinteligensi yang mampu memperbaiki diri sendiri. Narasi itu memicu respons kebijakan cepat: Gubernur California Gavin Newsom memerintahkan pembuatan 'AI kill-switch', Gubernur New York Kathy Hochul mengkaji opsi serupa, sementara Senator Bernie Sanders dan Kongresman Greg Casar mengajukan RUU pelarangan superinteligensi buatan.

Menurut Timnit Gebru, Direktur Eksekutif Dair, dan Emily M. Bender, profesor linguistik University of Washington, fokus yang salah arah itu justru menjauhkan publik dari risiko nyata. Keduanya menilai model bahasa besar (LLM) yang menggerakkan chatbot bukanlah sistem misterius yang belum dipahami. LLM adalah mesin penghasil teks yang tampak masuk akal, dilatih dari kumpulan data raksasa yang dikumpulkan secara acak, lalu disetel ulang agar terasa meyakinkan bagi penggunanya.

Dalam makalah mereka pada 2021, On the Dangers of Stochastic Parrots, keduanya telah memperingatkan bahwa model semacam ini cenderung mengulang pola data pelatihannya tanpa memahami makna. Klaim bahwa perilaku sistem tidak terduga, tulis mereka, lahir dari mistifikasi yang sengaja dibangun penjual teknologi dan kesalahpahaman para penggunanya. CNN sendiri tidak dapat memastikan produk chatbot mana yang dipakai, tetapi model yang mendasarinya kemungkinan disetel untuk meniru gaya penulisan laporan intelijen.

Pola bahaya serupa sebenarnya sudah berulang. Gebru dan Bender mencatat bagaimana perangkat 'AI' di rumah sakit pernah salah melabeli pasien sebagai pengguna narkoba terlarang. Di ranah lain, sistem analisis intelijen yang mengira sekolah sebagai fasilitas militer turut berkontribusi pada jatuhnya korban anak-anak. Semua itu, menurut keduanya, adalah konsekuensi yang bisa diprediksi dari kepercayaan berlebihan pada perangkat lunak otomatis yang tidak andal.

Menurut Gebru dan Bender, dampak berbahaya produk perusahaan AI muncul bukan karena sistemnya benar-benar supercerdas, melainkan karena orang percaya bahwa sistem itu supercerdas.

Kampanye pemasaran perusahaan teknologi, tambah mereka, justru memperkuat ilusi itu dengan mewanti-wanti kedatangan superinteligensi. Narasi kiamat versi korporasi mengalihkan perhatian dari risiko sesungguhnya: penggunaan sistem keliru di skenario berisiko tinggi. Mereka menyerukan regulasi penggunaan sistem yang dijual sebagai 'AI', bukan karena mesinnya ajaib, melainkan karena produknya rawan kesalahan dan tidak layak dipakai di situasi genting.

Seruan itu sejalan dengan posisi mantan Ketua FTC Lina Khan yang menegaskan tidak ada pengecualian hukum bagi AI. Regulator yang ada, katanya, sudah punya cukup kewenangan untuk menindak praktik tidak aman industri AI. Gebru dan Bender juga mendesak jurnalis dan pembuat kebijakan berhenti meniru jargon pemasaran korporasi dan mulai menuntut akuntabilitas perusahaan.

Bagi Indonesia, insiden ini relevan. Pemerintah tengah menyusun kerangka tata kelola AI nasional, sementara adopsi AI di sektor layanan publik, kesehatan, dan pertahanan mulai tumbuh. Pelajaran dari kasus AS-China jelas: otomatisasi di ranah medis, militer, atau situasi yang mempertaruhkan nyawa harus dievaluasi ketat sesuai konteks penggunaannya, dengan akuntabilitas tetap berada di tangan manusia yang punya kewenangan mengambil keputusan.

Pertanyaannya kini, apakah Indonesia akan meniru pola respons AS yang sibuk mengurus 'kill switch' untuk mesin yang belum ada, atau justru lebih dulu membenahi sistem AI yang sudah dipakai sehari-hari di rumah sakit dan layanan publik?