Agentic AI di Tempat Kerja: 76% Perusahaan Uji Coba, 42% Sudah Alami Insiden

Adopsi agen AI otonom di lingkungan perusahaan melonjak tajam, tetapi kesiapan keamanan tertinggal jauh. Riset terbaru mengungkap 76% organisasi sedang menjalankan uji coba atau implementasi agen AI yang mampu membaca komunikasi, mengambil data dari sistem bisnis, memperbarui catatan pelanggan, hingga mengeksekusi alur kerja dengan pengawasan manusia yang minim. Lebih mengkhawatirkan, 42% di antaranya telah mengalami insiden keamanan yang terkonfirmasi atau diduga terkait AI.

Lonjakan ini menandai pergeseran fundamental dari AI generatif yang sekadar menjawab pertanyaan menjadi agen yang mengejar tujuan. Jika asisten konvensional hanya merangkum email, agen otonom dapat membaca rantai email, menarik detail dari CRM, menyusun balasan, memperbarui tiket Zendesk, dan menjadwalkan panggilan tindak lanjut. Setiap tahap tampak sah, namun hasil akhirnya bisa salah, berlebihan, atau dimanipulasi.

Pendekatan keamanan warisan yang bertumpu pada kontrol akses statis tidak lagi memadai. Model tradisional mengasumsikan manusia membuat keputusan dan sistem mengeksekusinya. Agen AI memampatkan rantai itu: manusia menulis prompt, AI menafsirkan, menarik alat yang terhubung, dan memicu tindakan sendiri, sering tanpa titik pemeriksaan antara keputusan dan eksekusi.

Salah satu risiko yang muncul adalah eskalasi privilese semantik. Agen tetap berada dalam hak aksesnya, tetapi memperluas tindakan melampaui maksud pengguna. Misalnya, seorang karyawan meminta agen "mengatur komunikasi pelanggan." Dengan akses ke CRM, platform email, dan basis data pelanggan, agen bisa menafsirkan instruksi itu secara luas: mengirim rincian harga rahasia ke kontak yang salah, mengirim pesan ke seluruh milis, atau mendorong perubahan yang seharusnya memerlukan persetujuan manajer. Izin statis tidak dapat menangkap celah antara perilaku agen dan niat manusia.

Tiga titik kegagalan utama memperparah situasi: data yang dimasukkan, cara agen menafsirkannya, dan seberapa besar karyawan mempercayai outputnya. Karyawan kerap menempelkan data sensitif ke prompt atau mengunggah file rahasia tanpa berpikir dua kali. Agen dapat salah membaca permintaan atau diarahkan oleh instruksi tersembunyi dalam email, dokumen, pesan chat, atau halaman web. Injeksi prompt menjadi contoh paling jelas: penyerang menyembunyikan perintah dalam konten yang akan diproses agen. Jika agen menganggap konten itu tepercaya, ia bisa mengabaikan kebijakan, membocorkan data, mengubah alur kerja, atau menjalankan instruksi yang tidak pernah disetujui manusia. Pada chatbot, ini hanya menghasilkan jawaban salah yang memalukan. Pada agen dengan akses langsung ke sistem, ini berarti tindakan yang benar-benar dieksekusi.

"Keamanan agen AI bertumpu pada empat pilar: visibilitas interaksi manusia-AI, kontrol atas data sensitif, tata kelola perilaku agen, dan jejak audit yang tahan uji," demikian inti temuan riset tersebut.

Kebocoran data juga meningkat karena agen biasanya memerlukan akses luas ke data perusahaan. Informasi sensitif dapat mengalir melalui prompt, unggahan, respons yang dihasilkan, log, dan alur pengambilan data. Pencegahan kehilangan data harus diperluas ke lingkungan AI ini, menandai konten sensitif sebelum mencapai alat AI dan mengendalikan ke mana alat itu dapat mengirimkannya. Platform email dan kolaborasi patut mendapat perhatian khusus karena berada di persimpangan manusia, data, dan alur kerja otonom, sekaligus menjadi jalur umum phishing, tautan berbahaya, file yang dimanipulasi, dan injeksi prompt.

Mewajibkan persetujuan manusia untuk setiap tindakan otomatis akan menghilangkan manfaat agen. Kontrol manusia dalam loop yang ditargetkan lebih efektif, khususnya untuk keputusan berdampak tinggi, tidak dapat dibalik, atau sensitif seperti transfer keuangan, komunikasi eksternal, perubahan izin, dan berbagi data yang diatur. Tindakan berisiko rendah dapat berjalan otonom dalam batas yang jelas, sementara tindakan berisiko tinggi harus dijeda untuk konfirmasi manusia, memerlukan autentikasi bertingkat, atau menghadapi pemeriksaan kebijakan tambahan.

Bagi perusahaan di Indonesia, tantangan ini beririsan dengan percepatan transformasi digital di sektor keuangan, e-commerce, dan layanan publik. Regulasi Perlindungan Data Pribadi (UU PDP) yang mulai berlaku menuntut akuntabilitas lebih ketat atas aliran data, termasuk yang diproses oleh agen AI. Tanpa tata kelola yang memadai, adopsi agen AI berisiko menjadi bumerang: produktivitas meningkat, tetapi eksposur hukum dan reputasi ikut membengkak.

Ke depan, organisasi perlu memperlakukan agen AI sebagai rekan digital dengan akses sistem dan otoritas nyata. Mereka layak mendapat pengawasan yang sama seperti yang sudah diterapkan pada pengguna istimewa, aplikasi kritis, dan proses bisnis berisiko tinggi. Pertanyaannya bukan lagi apakah agen AI akan menjadi bagian dari tempat kerja, melainkan seberapa cepat perusahaan dapat membangun kerangka tata kelola yang mampu mengimbangi kecepatan adopsinya.