Melampaui Jalur yang Dapat Diprediksi: Mendefinisikan Ulang Pelaporan Insiden Keamanan AI untuk Agen

Konsensus multi-ahli tentang mengadaptasi kerangka pelaporan insiden terhadap karakteristik unik agen AI

Anastasia Pustozerova; Eugene Bagdasarian; Luca Beurer-Kellner; Battista Biggio; Nico Ebert; David Filip; Marc Fischer; Heather Frase; David Hofer; Juliane Hoffmann; Daphne Ippolito; Somesh Jha; Sean McGregor; Esfandiar Mohammadi; Luca Nannini; Cristina Nita-Rotaru; Alina Oprea; Kevin Paeth; Andrew Paverd; Jonathan Petit; Andreas Rauber; Christian Riess; John Sotiropoulos; Andreas Wespi; Kathrin Grosse· 2026· DOI 10.48550/arXiv.2609.24515

Masalah inti

Agen AI diterapkan dengan cepat, disertai meningkatnya jumlah serangan khusus AI dan insiden yang terkait. Seiring pelaporan insiden menjadi semakin penting untuk kepatuhan hukum, tata kelola, akuntabilitas, dan keamanan, kerangka kerja yang ada harus diadaptasi terhadap karakteristik unik agen AI. Makalah ini menjawab kesenjangan tersebut dengan membandingkan sistem AI dan agen AI dan, dengan masukan dari 23 ahli di bidang akademik dan industri, mengidentifikasi informasi yang diperlukan untuk melaporkan insiden ketika keamanan agen AI terganggu. Penulis menekankan bahwa elemen pelaporan yang potensial mencakup memori agen dan akses memori, tingkat otonomi aktual dan potensial, serta penggunaan alat. Karya ini dilatarbelakangi oleh kebutuhan akan kerangka pelaporan insiden yang dapat menangani sifat khas agen AI, yang berbeda dari sistem AI tradisional dalam hal otonomi, interaktivitas, dan penggunaan alat. Makalah ini juga mengidentifikasi beberapa pertanyaan penelitian terbuka, termasuk bagaimana mencatat insiden secara efisien dan bagaimana menentukan apakah kerentanan dan insiden dapat digeneralisasi. Umpan balik ahli menyoroti potensi kelemahan pelaporan, seperti risiko keboc

Inovasi

Makalah ini mengidentifikasi beberapa elemen pelaporan kunci untuk insiden keamanan agen AI. Elemen-elemen tersebut meliputi: - **Memori agen dan akses memori**: Berbeda dari sistem AI tradisional, agen AI mungkin memiliki memori persisten yang dapat dikompromikan atau dimanipulasi. - **Tingkat otonomi aktual dan potensial**: Derajat otonomi memengaruhi permukaan serangan dan potensi dampak insiden. - **Penggunaan alat**: Agen sering menggunakan alat eksternal (misalnya API, basis data), yang memunculkan vektor tambahan untuk serangan dan memerlukan pelaporan. Penulis juga mengidentifikasi pertanyaan penelitian terbuka: 1. Bagaimana mencatat insiden yang melibatkan agen AI secara efisien? 2. Bagaimana menentukan apakah kerentanan dan insiden dapat digeneralisasi di berbagai agen atau penerapan? Umpan balik ahli menyoroti potensi kelemahan pelaporan: - Risiko kebocoran data selama pelaporan insiden. - Serangan yang menargetkan infrastruktur pelaporan itu sendiri. Temuan ini menunjukkan bahwa kerangka pelaporan insiden saat ini tidak memadai untuk agen AI dan perlu diadaptasi. Makalah ini juga merangkum persyaratan privasi, menekankan bahwa pelaporan harus menyeimbangkan transp

Agen AI diterapkan dengan cepat, disertai meningkatnya jumlah serangan khusus AI dan insiden yang terkait. Seiring pelaporan insiden menjadi semakin penting untuk kepatuhan hukum, tata kelola, akuntabilitas, dan keamanan, kerangka kerja yang ada harus diadaptasi terhadap karakteristik unik agen AI. Makalah ini menjawab kesenjangan tersebut dengan membandingkan sistem AI dan agen AI dan, dengan masukan dari 23 ahli di bidang akademik dan industri, mengidentifikasi informasi yang diperlukan untuk melaporkan insiden ketika keamanan agen AI terganggu. Penulis menekankan bahwa elemen pelaporan yang potensial mencakup memori agen dan akses memori, tingkat otonomi aktual dan potensial, serta penggunaan alat. Karya ini dilatarbelakangi oleh kebutuhan akan kerangka pelaporan insiden yang dapat menangani sifat khas agen AI, yang berbeda dari sistem AI tradisional dalam hal otonomi, interaktivitas, dan penggunaan alat. Makalah ini juga mengidentifikasi beberapa pertanyaan penelitian terbuka, termasuk bagaimana mencatat insiden secara efisien dan bagaimana menentukan apakah kerentanan dan insiden dapat digeneralisasi. Umpan balik ahli menyoroti potensi kelemahan pelaporan, seperti risiko kebocoran data dan serangan yang menargetkan infrastruktur pelaporan itu sendiri, sehingga menciptakan kebutuhan penelitian tambahan. Terakhir, penulis merangkum persyaratan privasi dan menguraikan arah penelitian untuk penerapan agen AI yang aman dan tepercaya.

Metodologi berpusat pada analisis komparatif sistem AI dan agen AI, diikuti dengan elisitasi ahli. Dua penulis editorial melakukan perbandingan tersebut, lalu mengumpulkan masukan dari 23 ahli di bidang akademik dan industri. Masukan ahli digunakan untuk mengidentifikasi informasi yang diperlukan untuk melaporkan insiden ketika keamanan agen AI terganggu. Prosesnya kemungkinan melibatkan diskusi atau survei terstruktur untuk menggali pendapat ahli tentang elemen pelaporan, pertanyaan penelitian terbuka, dan potensi kelemahan. Makalah ini tidak merinci teknik elisitasi yang tepat (misalnya metode Delphi, lokakarya), tetapi menekankan bahwa temuan didasarkan pada konsensus ahli. Penulis juga mengidentifikasi beberapa pertanyaan penelitian terbuka, seperti bagaimana mencatat insiden secara efisien dan bagaimana menentukan apakah kerentanan dan insiden dapat digeneralisasi. Umpan balik ahli menyoroti potensi kelemahan pelaporan, termasuk risiko kebocoran data dan serangan yang menargetkan infrastruktur pelaporan itu sendiri. Metodologi bersifat kualitatif dan eksploratif, bertujuan menetapkan agenda penelitian alih-alih memberikan validasi empiris. Keterlibatan 23 ahli menunjukkan beragamnya perspektif, yang memperkuat validitas elemen pelaporan dan arah penelitian yang diidentifikasi.

Mengapa penting

Pembahasan menafsirkan temuan dalam konteks kepatuhan hukum, tata kelola, akuntabilitas, dan keamanan. Penulis berargumen bahwa pelaporan insiden untuk agen AI harus memperhitungkan karakteristik uniknya, seperti memori, otonomi, dan penggunaan alat. Mereka mencatat bahwa risiko kebocoran data dan serangan terhadap infrastruktur pelaporan menciptakan ketegangan antara transparansi dan keamanan. Misalnya, laporan insiden yang terperinci dapat mengungkap informasi sensitif atau menjadi sasaran bagi pihak lawan. Makalah ini juga membahas kebutuhan akan format pelaporan yang terstandardisasi dan mekanisme pencatatan yang efisien. Pertanyaan penelitian terbuka menyoroti kompleksitas generalisasi kerentanan dan insiden, yang krusial untuk mengembangkan pertahanan yang tangguh. Penulis menguraikan arah penelitian untuk penerapan agen AI yang aman dan tepercaya, termasuk pelaporan yang menjaga privasi, pencatatan yang aman, dan deteksi anomali. Analisis menunjukkan bahwa diperlukan pendekatan multi-disiplin, yang melibatkan ahli dari bidang keamanan, privasi, hukum, dan AI. Makalah ini menyimpulkan dengan menekankan bahwa pelaporan insiden bukan hanya tantangan teknis tetapi juga isu tata kelola dan kebijakan. Temuan ini berimplikasi bagi regulator, pengembang, dan peneliti, yang harus berkolaborasi untuk menciptakan kerangka pelaporan yang efektif bagi agen AI.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…