Startup Ini Uji Keamanan AI dengan 'Dummy' Digital demi Cegah Tragedi Remaja

Circuit Breaker Labs, sebuah startup yang baru berdiri dan menjadi finalis Startup Battlefield 200 TechCrunch 2026, mengembangkan metode pengujian keamanan AI yang menyimulasikan percakapan manusia secara hiper-realistis. Tujuannya: mendeteksi potensi bahaya psikologis sebelum model AI digunakan secara luas, terutama pada aplikasi yang menyentuh kesehatan mental.

Langkah ini muncul di tengah meningkatnya kekhawatiran global terhadap dampak negatif AI. Beberapa gugatan hukum telah diajukan terhadap penyedia layanan chatbot, termasuk Character.AI dan OpenAI, yang dituduh berkontribusi terhadap kasus bunuh diri dan delusi pengguna di bawah umur. Kasus Sewell Setzer, remaja 14 tahun yang meninggal setelah terlibat percakapan emosional dengan bot Character.AI, menjadi pemicu utama bagi para pendiri Circuit Breaker Labs.

Shirali dan Arul Nigam, kakak-beradik yang mendirikan perusahaan ini, menilai bahwa model AI saat ini belum mampu memahami nuansa bahasa dan konteks emosional yang kompleks. "Banyak orang, terutama anak muda, beralih ke sistem ini untuk mencari dukungan, tetapi mereka justru sering dirugikan," ujar Arul, CTO Circuit Breaker Labs, seperti dikutip dari TechCrunch. Ia menambahkan bahwa kerentanan terjadi bukan karena upaya sengaja merusak sistem, melainkan karena interaksi alami yang tidak dipahami dengan baik oleh AI.

Untuk menguji keamanan, Circuit Breaker Labs menciptakan agen AI yang berperan sebagai "dummy"—meniru berbagai usia, latar belakang, bahasa, dan budaya. Agen-agen ini kemudian berinteraksi dengan model AI yang diuji, meniru pola bicara manusia yang sebenarnya, termasuk slang, kode bahasa, dan kesalahan ketik. Hasilnya dinilai menggunakan metode skor proprietary yang dapat diaudit.

"Model sangat baik dalam menangani pola bicara standar, tetapi tidak ada orang yang benar-benar berbicara seperti itu. Jika model salah memahami nuansa atau slang, akibatnya bisa sangat buruk," kata Shirali, CEO Circuit Breaker Labs.

Pendekatan ini menyoroti celah dalam pengujian keamanan AI konvensional yang sering kali hanya mengandalkan skenario standar. Dengan mensimulasikan keragaman manusia, Circuit Breaker Labs berharap dapat mengungkap kelemahan yang mungkin terlewat. Perusahaan saat ini beroperasi sebagai laboratorium pengujian untuk aplikasi AI berisiko tinggi, meskipun Arul menolak menyebut nama klien utama mereka.

Ke depan, platform ini berpotensi diterapkan pada berbagai aplikasi yang rentan menciptakan hubungan parasosial antara manusia dan AI, seperti agen "rekan kerja" virtual. Arul menegaskan bahwa skeptisisme terhadap AI adalah hal yang sehat, tetapi melarang teknologi ini secara menyeluruh justru kontraproduktif. "Kami ingin membantu membangun kepercayaan," ujarnya.

Bagi Indonesia, perkembangan ini menjadi cermin penting. Dengan penetrasi internet yang tinggi dan meningkatnya penggunaan aplikasi berbasis AI di kalangan remaja, risiko serupa dapat terjadi. Regulasi yang tepat dan pengujian keamanan yang ketat menjadi krusial untuk mencegah dampak negatif sebelum terlambat. Apakah Indonesia akan mengadopsi standar pengujian serupa, atau justru tertinggal dalam perlindungan pengguna?