Benchmarking Neural Defend ARCAS 1B: Model Dasar Deteksi Deepfake Multimodal

Evaluasi generalisasi lintas keluarga benchmark yang transparan secara protokol tanpa pembaruan parameter khusus benchmark

Sivashankar Selvarajan; Piyush Verma; Sumit Kumar; Sharayu N. Deshmukh· 2026· DOI 10.48550/arXiv.2609.25154

Masalah inti

Citra yang dihasilkan AI berkembang lebih cepat daripada evaluasi detektor yang khusus benchmark, sehingga satu skor menjadi gambaran generalisasi yang tidak lengkap. Para penulis (Sivashankar Selvarajan, Piyush Verma, Sumit Kumar, dan Sharayu N. Deshmukh) mengatasi celah ini dengan mengevaluasi **Neural Defend ARCAS 1B**, sebuah model dasar deteksi deepfake multimodal, pada keluarga benchmark **tanpa pembaruan parameter khusus benchmark**. Pertanyaan penelitian utamanya adalah: seberapa baik satu detektor yang dibekukan (frozen) menggeneralisasi pada protokol evaluasi yang heterogen, dan apa yang disembunyikan oleh skor agregat tentang populasi uji, keseimbangan kelas, dan cakupan rekaman yang hilang? Sikap metodologis studi ini sengaja konservatif. Alih-alih mengoptimalkan untuk papan peringkat mana pun, studi ini mempertahankan **agregasi native** setiap benchmark dan melengkapinya dengan **ukuran tingkat rekaman**, **akuntansi cakupan**, dan **diagnostik subkelompok**. Desain ini membuat perbedaan yang biasanya tersembunyi oleh ringkasan gabungan menjadi terlihat. Para penulis secara eksplisit membatasi perbandingan lintas makalah hanya pada bukti yang selaras, memperlakukan p

Inovasi

Hasil disajikan benchmark demi benchmark, setiap subbagian mengidentifikasi rilis dan populasi evaluasi, melaporkan metrik resmi, dan menjelaskan pola kesalahan yang diamati. Karena model dievaluasi **tanpa pembaruan parameter khusus benchmark**, angka yang dilaporkan mencerminkan transfer zero-shot, bukan kinerja yang telah disetel. Para penulis menekankan bahwa perbedaan antar benchmark dalam rilis, populasi, praproses, pelatihan, atau paparan benchmark adalah **konteks, bukan peringkat**—benchmark dengan skor lebih tinggi tidak serta-merta merupakan uji yang lebih sulit atau lebih mudah dalam pengertian absolut apa pun. Pola utama yang diamati meliputi: (1) skor agregasi native bervariasi antar keluarga benchmark, tetapi variasi ini sebagian dapat diatribusikan pada perbedaan keseimbangan kelas dan populasi evaluasi, bukan semata-mata pada kemampuan model; (2) ukuran tingkat rekaman mengungkap konsentrasi kesalahan yang tersembunyi oleh skor agregat, terutama pada subkelompok dengan distribusi kelas yang miring; dan (3) akuntansi cakupan menunjukkan bahwa celah rekaman yang hilang berbeda antar benchmark, yang berarti ringkasan gabungan yang dihitung pada populasi evaluasi yang

Citra yang dihasilkan AI berkembang lebih cepat daripada evaluasi detektor yang khusus benchmark, sehingga satu skor menjadi gambaran generalisasi yang tidak lengkap. Para penulis (Sivashankar Selvarajan, Piyush Verma, Sumit Kumar, dan Sharayu N. Deshmukh) mengatasi celah ini dengan mengevaluasi **Neural Defend ARCAS 1B**, sebuah model dasar deteksi deepfake multimodal, pada keluarga benchmark **tanpa pembaruan parameter khusus benchmark**. Pertanyaan penelitian utamanya adalah: seberapa baik satu detektor yang dibekukan (frozen) menggeneralisasi pada protokol evaluasi yang heterogen, dan apa yang disembunyikan oleh skor agregat tentang populasi uji, keseimbangan kelas, dan cakupan rekaman yang hilang?

Sikap metodologis studi ini sengaja konservatif. Alih-alih mengoptimalkan untuk papan peringkat mana pun, studi ini mempertahankan **agregasi native** setiap benchmark dan melengkapinya dengan **ukuran tingkat rekaman**, **akuntansi cakupan**, dan **diagnostik subkelompok**. Desain ini membuat perbedaan yang biasanya tersembunyi oleh ringkasan gabungan menjadi terlihat. Para penulis secara eksplisit membatasi perbandingan lintas makalah hanya pada bukti yang selaras, memperlakukan perbedaan dalam rilis, populasi, praproses, pelatihan, atau paparan benchmark sebagai **konteks, bukan peringkat**. Temuan ini dibingkai sebagai pencirian kinerja pada rekaman yang dievaluasi, bukan keandalan universal, kalibrasi, atribusi, atau ketahanan terhadap serangan adaptif di masa depan.

Mengapa penting

Kontribusi utama makalah ini bersifat metodologis: dengan menjaga **hasil native benchmark tetap terpisah dari ringkasan gabungan**, makalah ini membuat perbedaan populasi uji, keseimbangan kelas, dan cakupan rekaman yang hilang menjadi terlihat. Hal ini mendukung interpretasi hasil detektor dalam lingkungan penelitian, keselamatan platform, dan tinjauan forensik, dengan mengutamakan **kondisi protokol yang dapat dilacak dibandingkan klaim atau perbandingan papan peringkat**. Para penulis berargumen bahwa satu skor adalah gambaran generalisasi yang tidak lengkap karena citra yang dihasilkan AI berkembang lebih cepat daripada yang dapat diikuti oleh evaluasi detektor khusus benchmark. Implikasi praktisnya adalah bahwa praktisi harus melaporkan metrik native bersama cakupan dan diagnostik subkelompok, serta memperlakukan perbedaan lintas benchmark sebagai konteks, bukan peringkat. Studi ini tidak mengklaim keandalan universal, kalibrasi, atribusi, atau ketahanan terhadap serangan adaptif di masa depan; hal-hal tersebut tetap menjadi masalah terbuka. Dengan membuat kondisi protokol menjadi eksplisit, karya ini memungkinkan perbandingan yang lebih jujur dan mendukung alur kerja tinjauan forensik di mana asal-usul klaim kinerja detektor sama pentingnya dengan angka itu sendiri. Kandidat taksonomi—Architecture, Cybersecurity, Network, dan Cryptography—mencerminkan posisi model di persimpangan arsitektur multimodal dan aplikasi keamanan, meskipun cakupan makalah ini sepenuhnya bersifat evaluatif, bukan arsitektural atau kriptografis.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…