Dari Laporan Bug ke Prosedur yang Dapat Dieksekusi Browser: Agen Berbasis LLM untuk Reproduksi Bug GUI Web

ReBug: Agen sadar konteks yang merekonstruksi, mengeksekusi, dan memvalidasi prosedur reproduksi tingkat browser dari laporan bug GUI web berbahasa alami

Cunming Zhang; Yu Pei; Michail Papadakis· 2026· DOI 10.48550/arXiv.2608.03598

Masalah inti

Mereproduksi bug GUI web dari laporan bug berbahasa alami sangat penting untuk pemeliharaan perangkat lunak, tetapi tetap sulit karena laporan sering kali tidak memiliki prasyarat seperti dependensi dan berkas masukan. Teknik reproduksi bug yang ada terutama menyasar unit kode atau aplikasi seluler dan tidak memiliki eksekusi serta validasi visual end-to-end untuk GUI web. Kesenjangan ini memotivasi ReBug, sistem agen sadar konteks yang merekonstruksi, mengeksekusi, dan memvalidasi prosedur reproduksi tingkat browser dari laporan bug GUI web dengan mengendalikan browser nyata. Karya Cunming Zhang, Yu Pei, dan Michail Papadakis ini menangani tantangan mengubah laporan bug yang tidak terstruktur dan sering tidak lengkap menjadi prosedur browser yang dapat dieksekusi dan dapat secara andal memunculkan perilaku bug asli. Wawasan intinya adalah bahwa rekonstruksi konteks eksplisit dan eksekusi browser yang sadar keadaan diperlukan untuk menjembatani kesenjangan antara laporan berbahasa alami dan sifat dinamis serta visual dari bug GUI web.

ReBug dievaluasi pada 667 laporan bug dunia nyata dari empat aplikasi web sumber terbuka. Pada penerapan terkini yang terkendali, ReBug mengungguli kedua baseline, mencapai RSR rata-rata 49,96%, tingkat penyelesaian tugas rata-rata 74,96%, dan tingkat keberhasilan eksekusi aksi rata-rata 86,54%. Metrik ini menunjukkan bahwa ReBug dapat berhasil mereproduksi sekitar setengah laporan bug dalam lingkungan terkendali, dengan keandalan eksekusi aksi yang tinggi. Tingkat penyelesaian tugas menunjukkan bahwa pada sekitar tiga perempat kasus, agen menyelesaikan prosedur yang direncanakan, dan tingkat keberhasilan aksi menunjukkan bahwa interaksi browser individual sebagian besar berhasil. Evaluasi juga mencakup pemutaran ulang historis, yang menunjukkan bahwa prosedur yang berhasil sering kali memunculkan perilaku bug asli pada versi buggy yang dipulihkan. Ini menunjukkan bahwa reproduksi ReBug tidak sekadar mengeksekusi aksi, tetapi secara efektif memicu bug seperti yang dijelaskan dalam laporan.

Mereproduksi bug GUI web dari laporan bug berbahasa alami sangat penting untuk pemeliharaan perangkat lunak, tetapi tetap sulit karena laporan sering kali tidak memiliki prasyarat seperti dependensi dan berkas masukan. Teknik reproduksi bug yang ada terutama menyasar unit kode atau aplikasi seluler dan tidak memiliki eksekusi serta validasi visual end-to-end untuk GUI web. Kesenjangan ini memotivasi ReBug, sistem agen sadar konteks yang merekonstruksi, mengeksekusi, dan memvalidasi prosedur reproduksi tingkat browser dari laporan bug GUI web dengan mengendalikan browser nyata. Karya Cunming Zhang, Yu Pei, dan Michail Papadakis ini menangani tantangan mengubah laporan bug yang tidak terstruktur dan sering tidak lengkap menjadi prosedur browser yang dapat dieksekusi dan dapat secara andal memunculkan perilaku bug asli. Wawasan intinya adalah bahwa rekonstruksi konteks eksplisit dan eksekusi browser yang sadar keadaan diperlukan untuk menjembatani kesenjangan antara laporan berbahasa alami dan sifat dinamis serta visual dari bug GUI web.

ReBug memisahkan reproduksi menjadi dua tahap: persiapan dan eksekusi. Pada tahap persiapan, ReBug merekonstruksi prasyarat yang hilang dari laporan dan artefak yang tersedia, lalu menghasilkan rencana reproduksi tingkat tinggi. Ini melibatkan penguraian laporan bug untuk mengidentifikasi dependensi, berkas masukan, dan kondisi lingkungan yang diperlukan, kemudian menyintesis rencana yang dapat dieksekusi di browser. Pada tahap eksekusi, ReBug melakukan interaksi yang dimediasi alat di browser, memelihara ringkasan terstruktur dari keadaan halaman dan riwayat aksi, serta memvalidasi keadaan akhir terhadap ekspektasi yang diturunkan dari laporan. Agen menggunakan browser nyata untuk mengendalikan interaksi, sehingga memastikan reproduksi akurat secara visual dan fungsional. Arsitekturnya dapat direpresentasikan sebagai alur:

Hasil ini menunjukkan bahwa rekonstruksi konteks eksplisit dan eksekusi browser yang sadar keadaan secara efektif mendukung reproduksi browser yang diturunkan dari laporan. Desain dua tahap memungkinkan ReBug menangani laporan yang tidak lengkap dengan merekonstruksi prasyarat yang hilang, yang merupakan tantangan umum dalam reproduksi bug GUI web. Penggunaan browser nyata memastikan aspek visual dan dinamis GUI tertangkap, berbeda dari teknik yang menyasar unit kode atau aplikasi seluler. Temuan pemutaran ulang historis sangat signifikan: ini menunjukkan bahwa prosedur yang berhasil dapat memunculkan perilaku bug asli pada versi buggy yang dipulihkan, memvalidasi kesetiaan reproduksi. Namun, RSR rata-rata 49,96% menunjukkan masih ada ruang untuk perbaikan, kemungkinan karena kompleksitas dan ambiguitas laporan berbahasa alami. Pekerjaan selanjutnya dapat berfokus pada peningkatan tahap persiapan untuk lebih baik menyimpulkan prasyarat dan pada perbaikan mekanisme validasi untuk menangani keadaan yang diharapkan yang lebih bernuansa. Kandidat taksonomi untuk karya ini meliputi Arsitektur, Keamanan Siber, Jaringan, dan Kriptografi, meskipun kontribusi utamanya ada di bidang rekayasa perangkat lunak dan reproduksi bug otomatis.

Praktisi dan peneliti ilmu komputer

Membuka konten member…