Bagi, Konsultasi, Kuasai: Pencucian Kapabilitas Melalui LLM yang Selaras

Bagaimana orkestrator tak selaras yang lebih lemah mengekstraksi kapabilitas terdepan dari konsultan yang selaras melalui kueri terurai yang secara individual tampak jinak

Mark Russinovich; Blake Bullwinkel; Giorgio Severi; Cristian Ovadiuc; Ahmed Salem· 2026· DOI 10.48550/arXiv.2609.15383

Masalah inti

Keamanan model bahasa lazim dievaluasi satu interaksi pada satu waktu: satu prompt dinilai berbahaya atau jinak, dan model yang selaras diharapkan menolak yang pertama. Makalah ini berargumen bahwa evaluasi per interaksi semacam itu meninggalkan celah struktural. Penulis memperkenalkan **pencucian kapabilitas**, serangan di mana model yang lebih lemah dan tak selaras (sang *orkestrator*) memecah tugas berbahaya menjadi submasalah yang tampak jinak, mengonsultasikan model yang lebih kuat dan selaras (sang *konsultan*) secara independen pada setiap submasalah, lalu menggabungkan jawabannya secara lokal. Properti kritis yang membedakan pencucian kapabilitas dari jailbreak adalah bahwa **tidak ada satu pun respons yang dengan sendirinya merupakan tugas berbahaya**. Setiap konsultasi diizinkan secara individual, sehingga pertahanan berbasis penolakan tidak pernah terpicu. Makalah ini memformalkan ancaman tersebut dan mengukur *consultation-aided uplift* menggunakan himpunan tugas yang didefinisikan oleh tiga kondisi: model terdepan mentah menyelesaikan tugas, model terdepan yang selaras menolaknya, dan orkestrator tanpa bantuan gagal menyelesaikannya. Kriteria tripartit ini mengisolasi

Pada **CyBench**, Gemma-4-31B memulihkan 8/14 kandidat dengan GPT-5.5 sebagai konsultan dan 7/9 dengan Opus, dibandingkan hanya 2/21 dan 4/15 untuk orkestrator Gemma-4-12B yang lebih lemah. Ini menunjukkan uplift yang substansial akibat konsultasi sekaligus ketergantungan yang jelas pada kapabilitas orkestrator. Pada **BountyBench**, Gemma-4-31B memulihkan 3/9 dan 2/3 kandidat, sementara Muse-Glimmer-30B tidak memulihkan satu pun dari 22 dan 13—menunjukkan bahwa uplift tidak seragam lintas orkestrator dan bahwa sebagian model yang lebih lemah sama sekali tidak dapat memanfaatkan konsultasi. Untuk **CBRN**, penulis mengukur uplift pada delapan langkah rantai serangan biosenjata hipotetis. Konsultasi menaikkan skor rubrik rata-rata Gemma-4-31B dari 62,3 menjadi 83,1 pada skala rubrik 100 poin, kenaikan sekitar 20,8 poin. Pola yang konsisten di ketiga domain evaluasi adalah bahwa konsultan yang selaras mentransfer kapabilitas yang berarti kepada orkestrator tak selaras bahkan ketika setiap interaksi individual diizinkan.

Keamanan model bahasa lazim dievaluasi satu interaksi pada satu waktu: satu prompt dinilai berbahaya atau jinak, dan model yang selaras diharapkan menolak yang pertama. Makalah ini berargumen bahwa evaluasi per interaksi semacam itu meninggalkan celah struktural. Penulis memperkenalkan **pencucian kapabilitas**, serangan di mana model yang lebih lemah dan tak selaras (sang *orkestrator*) memecah tugas berbahaya menjadi submasalah yang tampak jinak, mengonsultasikan model yang lebih kuat dan selaras (sang *konsultan*) secara independen pada setiap submasalah, lalu menggabungkan jawabannya secara lokal.

Properti kritis yang membedakan pencucian kapabilitas dari jailbreak adalah bahwa **tidak ada satu pun respons yang dengan sendirinya merupakan tugas berbahaya**. Setiap konsultasi diizinkan secara individual, sehingga pertahanan berbasis penolakan tidak pernah terpicu. Makalah ini memformalkan ancaman tersebut dan mengukur *consultation-aided uplift* menggunakan himpunan tugas yang didefinisikan oleh tiga kondisi: model terdepan mentah menyelesaikan tugas, model terdepan yang selaras menolaknya, dan orkestrator tanpa bantuan gagal menyelesaikannya. Kriteria tripartit ini mengisolasi kapabilitas yang ditransfer murni melalui konsultasi.

Hasil ini memaparkan celah mendasar dalam pertahanan saat ini: **menolak tugas berbahaya tidak mencegah kapabilitas terdepan ditransfer dan dikomposisikan lintas banyak interaksi yang secara individual diizinkan**. Evaluasi keamanan yang memeriksa satu interaksi pada satu waktu secara struktural buta terhadap pencucian kapabilitas, karena bahaya baru muncul pada langkah penggabungan kembali yang dilakukan secara lokal oleh orkestrator. Ketergantungan uplift pada kekuatan orkestrator (Gemma-4-31B vs. Gemma-4-12B vs. Muse-Glimmer-30B) menunjukkan bahwa dekomposisi dan penggabungan kembali itu sendiri merupakan kapabilitas yang non-trivial. Ini menyiratkan mitigasi parsial: menaikkan ambang kapabilitas yang diperlukan untuk mengorkestrasi dapat mengurangi, tetapi tidak menghilangkan, uplift, karena kapabilitas orkestrator akan terus meningkat. Pertahanan kemungkinan perlu beroperasi pada tingkat *sesi* atau *akun* alih-alih tingkat *interaksi*—mendeteksi pola konsultasi yang berkorelasi, melacak tanda tangan dekomposisi, atau membatasi laju kueri yang terkait secara semantik. Lompatan rubrik CBRN dari 62,3 ke 83,1 menunjukkan bahwa bahkan rantai serangan yang parsial dapat dimajukan secara material, menaikkan taruhan bagi desain pertahanan. Taksonomi ancaman ini mencakup Arsitektur (komposisi multi-model), Keamanan Siber (CyBench, BountyBench), dan domain CBRN yang bersinggungan dengan Kriptografi.

Praktisi dan peneliti ilmu komputer

Membuka konten member…