Tantangan Berikutnya bagi Keamanan Siber Agentic: Tolok Ukur Reverse Engineering yang Realistis dan Bebas Kontaminasi
Jeremy Spence; Nicholas Assaderaghi; Jinhao Zhu; Nikil Ravi; Raluca Ada Popa; Guannan Wei; Yangruibo Ding; Zhuo Zhang
- Ringkasan
- SRE-Bench adalah tolok ukur reverse engineering bebas kontaminasi pertama yang dibangun dari nol oleh para ahli selama 5.000 jam, terdiri atas 19 program privat, 262 instans biner, dan 1.572 tugas bergradasi. Evaluasi terhadap lima LLM ter…
- Metode
- SRE-Bench dibangun dari nol oleh para ahli reverse engineering dengan upaya lebih dari 5.000 jam. Tolok ukur ini mencakup 19 program privat berskala dunia nyata, masing-masing rat…
- Hasil
- Evaluasi terhadap lima LLM terdepan mengungkap bahwa reverse engineering masih sebagian besar belum terpecahkan. Model terkuat, GPT-5.6-sol, mencetak 61,4% per instans dan hanya menyelesaikan 31,5% i…