Ketika Agen Melihat Secara Berbeda: Menyingkap Ancaman Desinkronisasi UI pada Agen Seluler

Serangan APK yang dikemas ulang yang mengeksploitasi celah persepsi antara pengguna manusia dan agen seluler, mencapai tingkat menyesatkan hingga 77,9% namun tetap tak terlihat secara visual oleh manusia.

Heng Li; Fulin Zhao; Zhe Geng; Zhiyuan Yao; Wei Yuan; Xiapu Luo· 2026· DOI 10.48550/arXiv.2609.16732

Masalah inti

Agen seluler semakin bertindak secara otonom atas nama pengguna, menekan tombol, mengisi formulir, dan menjalankan transaksi berkonsekuensi di dalam aplikasi seluler. Pengawasan manusia yang efektif terhadap agen-agen ini bertumpu pada premis dasar: bahwa pengguna dan agen mengamati informasi yang konsisten dari antarmuka yang sama. Makalah ini menunjukkan bahwa premis tersebut dapat dilanggar secara sistematis. Pengguna mempersepsikan antarmuka seluler melalui layar fisik dan sistem visual manusia, yang tunduk pada keterbatasan oklusi dan kontras luminansi. Agen, sebaliknya, mengonsumsi tangkapan layar digital yang mungkin mempertahankan konten yang tak terlihat oleh mata, serta representasi aksesibilitas yang mengekspos metadata widget nonvisual. Keadaan UI yang sama karena itu dapat menyajikan informasi yang berbeda secara material kepada kedua pihak. Penulis menyebut ketidakcocokan ini **desinkronisasi UI manusia-agen**. Pertanyaan penelitian utamanya adalah apakah klon APK sah yang dikemas ulang dapat mengeksploitasi desinkronisasi ini untuk mengarahkan agen menuju tindakan yang ditentukan penyerang sambil tetap berfungsi penuh dan konsisten secara perilaku dengan aplikasi a

Inovasi

Kerangka kerja ini mencapai tingkat menyesatkan rata-rata **77,9%** dalam evaluasi statis dan **66,9%** dalam evaluasi dinamis di 546 tugas, lima kerangka kerja agen, dan tiga model tulang punggung. Tingkat-tingkat ini menunjukkan bahwa serangan desinkronisasi secara andal mengarahkan agen menuju tindakan yang ditentukan penyerang pada sebagian besar tugas bergaya dunia nyata. Studi kuesioner dengan **186 partisipan** menemukan bahwa perturbasi visual yang digunakan dalam serangan sulit untuk diperhatikan oleh pengguna manusia. Hal ini krusial: serangan mempertahankan pengalaman pengguna akan aplikasi yang normal dan fungsional sementara agen sedang disesatkan. Hasil kuantitatif utama: | Metrik | Nilai | |---|---| | Tingkat menyesatkan statis | 77,9% | | Tingkat menyesatkan dinamis | 66,9% | | Tugas yang dievaluasi | 546 | | Kerangka kerja agen | 5 | | Model tulang punggung | 3 | | Partisipan kuesioner | 186 | Jika kita menyatakan tingkat menyesatkan sebagai R_{m} = N_{misled} / N_{total}, rata-rata yang dilaporkan bersesuaian dengan R_{m}^{static} = 0.779 dan R_{m}^{dynamic} = 0.669 .

Agen seluler semakin bertindak secara otonom atas nama pengguna, menekan tombol, mengisi formulir, dan menjalankan transaksi berkonsekuensi di dalam aplikasi seluler. Pengawasan manusia yang efektif terhadap agen-agen ini bertumpu pada premis dasar: bahwa pengguna dan agen mengamati informasi yang konsisten dari antarmuka yang sama. Makalah ini menunjukkan bahwa premis tersebut dapat dilanggar secara sistematis.

Pengguna mempersepsikan antarmuka seluler melalui layar fisik dan sistem visual manusia, yang tunduk pada keterbatasan oklusi dan kontras luminansi. Agen, sebaliknya, mengonsumsi tangkapan layar digital yang mungkin mempertahankan konten yang tak terlihat oleh mata, serta representasi aksesibilitas yang mengekspos metadata widget nonvisual. Keadaan UI yang sama karena itu dapat menyajikan informasi yang berbeda secara material kepada kedua pihak. Penulis menyebut ketidakcocokan ini **desinkronisasi UI manusia-agen**.

Mengapa penting

Hasil ini menyingkap celah struktural dalam model keamanan agen seluler. Pengawasan manusia mengasumsikan bahwa apa yang dilihat pengguna adalah apa yang dilihat agen. Makalah ini menunjukkan bahwa asumsi tersebut gagal ketika agen mengonsumsi tangkapan layar dan metadata aksesibilitas yang dapat membawa konten yang tidak dapat diresolusi oleh sistem visual manusia akibat batas oklusi dan kontras luminansi. Beberapa implikasi menyusul: - **Pengawasan tidak setara dengan verifikasi.** Pengguna yang mengamati agen mengoperasikan aplikasi yang tampak normal mungkin tidak memiliki cara untuk mendeteksi bahwa agen sedang diarahkan ke tempat lain. - **Perturbasi pra-penerapan sudah cukup.** Serangan tidak memerlukan akses runtime ke instruksi pengguna, deteksi agen, atau adaptasi daring, sehingga menurunkan ambang bagi penyerang. - **APK yang dikemas ulang adalah vektor pengiriman yang layak.** Klon dapat tetap berfungsi penuh dan konsisten secara perilaku bagi pengguna manusia sementara menyimpang bagi agen. Taksonomi ancaman ini menyentuh persoalan **Arsitektur**, **Keamanan Siber**, **Jaringan**, dan **Kriptografi**: batas kepercayaan antara kanal persepsi manusia dan kanal digital agen bersifat arsitektural; permukaan serangan adalah isu keamanan siber; distribusi APK yang dikemas ulang adalah persoalan jaringan; dan integritas pandangan bersama manusia-agen adalah masalah atestasi bergaya kriptografi. Mitigasi yang disarankan oleh temuan ini mencakup pemeriksaan silang representasi yang terlihat agen terhadap rendering yang terlihat manusia, deteksi anomali metadata aksesibilitas, dan penetapan atestasi bahwa pandangan agen cocok dengan pandangan pengguna. Secara formal, pertahanan akan bertujuan menegakkan f_{human} (S) = f_{agent} (S) untuk semua keadaan UI S, atau menandai setiap keadaan di mana keduanya menyimpang melampaui ambang persepsi ϵ : ∥ f_{human} (S) - f_{agent} (S) ∥ > ϵ .

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…