Editorial Ilmu Komputer & AI
Open AccessOA2026
Safety Nudges: Intervensi untuk Pengguna demi Kesadaran Risiko AI secara Real-Time
Studi lapangan dua minggu atas alat berbasis browser yang menandai perilaku chatbot yang mengkhawatirkan secara in situ
Varshini Elangovan; James Wedgwood; Chhavi Yadav; William Agnew; Sauvik Das; Virginia Smith· 2026· DOI 10.48550/arXiv.2609.26865
Masalah inti
Sistem AI percakapan dapat menimbulkan risiko keselamatan bagi penggunanya seperti halusinasi, sikofansi, terlalu percaya diri, dan antropomorfisme, tetapi risiko-risiko ini sulit dideteksi pengguna selama penggunaan sehari-hari. Para penulis memperkenalkan **Safety Nudges**, alat berbasis browser yang memberikan tanda ringan secara in situ ketika perilaku yang mengkhawatirkan terdeteksi dalam percakapan chatbot. Pertanyaan penelitian intinya adalah apakah nudge keselamatan yang ditujukan kepada pengguna dapat melengkapi pengaman di tingkat model dengan membantu orang mengevaluasi respons AI secara kritis dalam konteks. Karya ini dilatarbelakangi oleh kesenjangan antara mekanisme keselamatan di tingkat model dan kemampuan pengguna mengenali risiko secara real time.
Inovasi
Partisipan menilai alat ini berguna, jelas, dan minim gangguan. Hampir semua pengguna melaporkan peningkatan kesadaran akan potensi bahaya AI. Namun, studi ini menemukan bahwa kesadaran yang meningkat saja tidak selalu menghasilkan perubahan perilaku yang terlihat. Hasilnya menunjukkan bahwa nudge keselamatan yang ditujukan kepada pengguna dapat melengkapi pengaman di tingkat model dengan membantu orang mengevaluasi respons AI secara kritis dalam konteks. Temuan utamanya adalah kesadaran tidak otomatis berubah menjadi perubahan perilaku, yang menyoroti pentingnya relevansi, kalibrasi, dan kendali pengguna dalam desain nudge untuk keselamatan AI percakapan.
Sistem AI percakapan dapat menimbulkan risiko keselamatan bagi penggunanya seperti halusinasi, sikofansi, terlalu percaya diri, dan antropomorfisme, tetapi risiko-risiko ini sulit dideteksi pengguna selama penggunaan sehari-hari. Para penulis memperkenalkan **Safety Nudges**, alat berbasis browser yang memberikan tanda ringan secara in situ ketika perilaku yang mengkhawatirkan terdeteksi dalam percakapan chatbot. Pertanyaan penelitian intinya adalah apakah nudge keselamatan yang ditujukan kepada pengguna dapat melengkapi pengaman di tingkat model dengan membantu orang mengevaluasi respons AI secara kritis dalam konteks. Karya ini dilatarbelakangi oleh kesenjangan antara mekanisme keselamatan di tingkat model dan kemampuan pengguna mengenali risiko secara real time.
Para penulis melakukan studi lapangan dua minggu dengan 45 pengguna chatbot yang sering. Studi ini mengumpulkan log interaksi, survei, dan umpan balik atas setiap nudge. Safety Nudges beroperasi sebagai alat berbasis browser yang memantau percakapan chatbot dan menampilkan tanda ringan ketika perilaku yang mengkhawatirkan terdeteksi. Desain studi ini memungkinkan analisis kuantitatif (log, survei) dan kualitatif (umpan balik). Arsitektur alat ini dapat digambarkan sebagai alur dari pemantauan percakapan ke deteksi risiko ke tampilan nudge:
Mengapa penting
Temuan studi ini menunjukkan bahwa meskipun Safety Nudges berhasil meningkatkan kesadaran akan risiko AI, tidak adanya perubahan perilaku menandakan perlunya desain nudge yang lebih efektif. Para penulis menekankan bahwa relevansi, kalibrasi, dan kendali pengguna sangat penting untuk keselamatan AI percakapan. Sifat alat yang ringan dan in situ menjadi kekuatannya karena terintegrasi ke dalam penggunaan sehari-hari tanpa mengganggu. Namun, kesenjangan antara kesadaran dan perilaku menunjukkan bahwa pekerjaan selanjutnya harus berfokus pada nudge yang tidak hanya memberi informasi tetapi juga memotivasi tindakan. Hasilnya mendukung gagasan bahwa intervensi yang ditujukan kepada pengguna dapat melengkapi pengaman di tingkat model, tetapi harus dirancang dengan hati-hati untuk menghindari habituasi atau desensitisasi. Studi ini berkontribusi pada diskusi yang lebih luas tentang keselamatan AI dengan menunjukkan potensi dan batasan nudge yang ditujukan kepada pengguna.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…