LyndHub
Jadwal Sholat

Memuat jadwal sholat…

← Semua jurnalIndeks pencarian

Editorial Ilmu Komputer & AI

Open AccessOA2026

Membedah Forensik Agentik: Peran Triage, Prompting, dan Arbitrase Bukti dalam Deteksi Gambar Palsu Dunia Terbuka

Kerangka agentik tanpa pelatihan menunjukkan bahwa kualitas penalaran, bukan fusi detektor, yang mendorong kinerja forensik gambar dunia terbuka.
Xianlong Li; Pietro Bongini; Niccoló Pancino; Marco Blanchini; Benedetta Tondi; Mauro Barni· 2026· DOI 10.48550/arXiv.2609.24359

Masalah inti

Forensik gambar semakin menjadi masalah dunia terbuka: manipulasi berkisar dari gambar yang sepenuhnya sintetis hingga suntingan terlokalisasi, splicing dan swapping, sementara sebagian besar detektor forensik tetap terspesialisasi pada satu keluarga manipulasi. AI agentik baru-baru ini muncul sebagai solusi yang menjanjikan. Secara prinsip, sistem semacam itu dapat menilai keandalan masing-masing detektor, mengidentifikasi bukti di luar cakupan, dan mengarbitrase laporan yang bertentangan. Namun, masih belum jelas komponen mana yang sebenarnya mendorong kinerja dan apakah manfaatnya bertahan pada pergeseran distribusi. Untuk menjawab pertanyaan-pertanyaan ini, penulis mempelajari kerangka agentik tanpa pelatihan yang dibangun di sekitar detektor spesialis, triage per detektor, dan arbitrase bukti yang sadar konflik. Menggunakan enam konfigurasi dan tiga backbone model bahasa besar multimodal, mereka membedah peran triage, prompting, dan kualitas penalaran pada data in-distribution dan out-of-distribution.

Inovasi

Hasil menunjukkan bahwa fusi detektor naif (yaitu, menggabungkan semua keluaran detektor tanpa triage atau arbitrase) mengalami tingkat false-positive yang parah pada gambar asli. Ini menunjukkan bahwa sekadar mengagregasi keluaran detektor menyebabkan penandaan berlebihan gambar asli sebagai termanipulasi.

Triage dan prompting secara konsisten meningkatkan kinerja dengan menyaring bukti yang tidak andal dan mengungkap keterbatasan detektor. Secara spesifik, modul triage mengurangi false positive dengan mengecualikan detektor yang kemungkinan di luar cakupan atau tidak andal untuk input yang diberikan. Strategi prompting yang mendorong MLLM untuk mempertimbangkan keandalan detektor dan potensi konflik lebih lanjut meningkatkan kinerja.

Namun, faktor dominan diwakili oleh penalaran itu sendiri: juri yang lebih kuat (yaitu, MLLM yang lebih mampu) secara substansial mengungguli yang lebih lemah, terutama pada pergeseran distribusi. Ini menunjukkan bahwa kualitas mesin penalaran sangat penting untuk menangani manipulasi baru dan data OOD.

Yang paling mencolok, recall manipulasi hampir jenuh di semua konfigurasi. Ini berarti sistem mampu mendeteksi hampir semua gambar yang dimanipula

Forensik gambar semakin menjadi masalah dunia terbuka: manipulasi berkisar dari gambar yang sepenuhnya sintetis hingga suntingan terlokalisasi, splicing dan swapping, sementara sebagian besar detektor forensik tetap terspesialisasi pada satu keluarga manipulasi. AI agentik baru-baru ini muncul sebagai solusi yang menjanjikan. Secara prinsip, sistem semacam itu dapat menilai keandalan masing-masing detektor, mengidentifikasi bukti di luar cakupan, dan mengarbitrase laporan yang bertentangan. Namun, masih belum jelas komponen mana yang sebenarnya mendorong kinerja dan apakah manfaatnya bertahan pada pergeseran distribusi. Untuk menjawab pertanyaan-pertanyaan ini, penulis mempelajari kerangka agentik tanpa pelatihan yang dibangun di sekitar detektor spesialis, triage per detektor, dan arbitrase bukti yang sadar konflik. Menggunakan enam konfigurasi dan tiga backbone model bahasa besar multimodal, mereka membedah peran triage, prompting, dan kualitas penalaran pada data in-distribution dan out-of-distribution.
Kerangka yang diusulkan adalah sistem agentik tanpa pelatihan yang mengorkestrasi beberapa detektor forensik spesialis. Arsitektur ini terdiri dari tiga tahap utama: (1) kumpulan detektor spesialis, masing-masing dilatih untuk jenis manipulasi tertentu (misalnya, deteksi gambar sintetis, deteksi splicing, deteksi copy-move); (2) modul triage yang menilai keandalan keluaran setiap detektor berdasarkan karakteristik input dan keyakinan detektor; dan (3) modul arbitrase bukti yang menyelesaikan konflik di antara laporan detektor menggunakan model bahasa besar multimodal (MLLM) sebagai mesin penalaran.

Mengapa penting

Temuan ini memiliki implikasi penting untuk desain sistem forensik agentik. Pertama, hampir jenuhnya recall manipulasi menunjukkan bahwa detektor spesialis sudah sangat efektif dalam mengidentifikasi manipulasi ketika berada dalam cakupan. Hambatannya bukan deteksi tetapi kalibrasi kepercayaan: menentukan kapan keluaran detektor harus dipercaya dan bagaimana menyelesaikan konflik di antara detektor.

Kedua, keunggulan mesin penalaran yang lebih kuat menyoroti pentingnya berinvestasi pada MLLM berkualitas tinggi untuk arbitrase. Juri yang lebih lemah mungkin gagal menimbang bukti dengan tepat, terutama pada pergeseran distribusi di mana detektor dapat berperilaku tidak terduga. Ini menunjukkan bahwa komponen penalaran harus sekuat mungkin, dan bahwa pendekatan tanpa pelatihan tetap dapat memperoleh manfaat dari model dasar yang lebih kuat.

Ketiga, sifat tanpa pelatihan dari kerangka ini membuatnya dapat diadaptasi ke detektor dan jenis manipulasi baru tanpa pelatihan ulang. Namun, ketergantungan pada detektor spesialis yang telah dilatih sebelumnya berarti kinerja sistem dibatasi oleh kualitas dan cakupan detektor tersebut.

Studi ini juga mengungkapkan bahwa triage dan prompting bersifat komplementer: triage menyaring bukti yang tidak andal, sementara prompting memandu MLLM untuk menalar tentang keandalan dan konflik. Bersama-sama, keduanya meningkatkan kinerja, tetapi manfaatnya dikalahkan oleh pilihan mesin penalaran.

Pekerjaan selanjutnya dapat mengeksplorasi pelatihan modul triage atau modul arbitrase, atau memasukkan kuantifikasi ketidakpastian untuk lebih meningkatkan kalibrasi kepercayaan. Selain itu, kerangka ini dapat diperluas ke tugas forensik lain seperti forensik video atau audio.

Sebagai kesimpulan, tantangan utama forensik gambar dunia terbuka bukan mendeteksi manipulasi, tetapi mengkalibrasi kepercayaan pada alat forensik khusus dan mengarbitrase bukti yang bertentangan. AI agentik, dengan mesin penalaran yang kuat, menawarkan jalur yang menjanjikan ke depan.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…