Editorial ilmu komputer
ExploreAI: Basis Pengetahuan Eksplorasi Agentic untuk Pengujian Regresi Teramati yang Reproducible pada Aplikasi VR dan 3D Black-Box
Masalah inti
Aplikasi VR dan 3D black-box menghadirkan masalah pengujian regresi yang khas: kegagalan yang teramati bukan semata fungsi dari jalur kode, melainkan juga hasil interaksi yang melibatkan tubuh. Apakah suatu cacat menjadi terlihat bergantung pada ke mana penguji bergerak, objek mana yang masuk ke bidang pandang, dan sudut pandang mana yang ditangkap. Pengujian eksploratif manual dapat memunculkan kegagalan semacam itu, tetapi bukti yang dihasilkannya memakan waktu untuk direproduksi karena jalur eksplorasi jarang tercatat dalam bentuk terstruktur yang dapat diputar ulang. Penyisiran sistematis reproducible secara bawaan, namun tidak memiliki panduan semantik dan menghabiskan anggaran eksplorasi pada sudut pandang bernilai rendah yang kecil kemungkinannya mengungkap regresi bermakna.
Penulis mengamati bahwa large language model (LLM) dapat mengambil keputusan tingkat tinggi yang sama seperti yang diambil penguji manusia selama eksplorasi: menafsirkan tugas, memilih objek mana yang diperiksa, mengelompokkan objek terkait, mencatat apa yang dilihatnya, dan memutuskan kapan bukti yang hilang harus memicu percobaan lain. Berdasarkan pengamatan ini, ExploreAI disajikan sebagai kerangka a
Inovasi
Di enam scene dalam dan luar ruangan di Unity, AI2-THOR, dan BeamNG, ExploreAI membangun EKB dengan kelengkapan tinggi pada mode eksplorasi lengkap maupun eksplorasi bertarget. Hasil kelengkapan ini menunjukkan bahwa loop agentic secara andal mencatat bukti per objek yang diperlukan untuk pemeriksaan regresi di kemudian hari, bukan menghasilkan jejak yang parsial atau tidak konsisten.
Ablasi modul LLM menunjukkan di mana perencanaan semantik, kebijakan penangkapan, pencatatan bukti, dan verifikasi mandiri berkontribusi. Desain ablasi ini mengisolasi efek setiap komponen keputusan yang digerakkan LLM, memperjelas bagian mana dari kerangka agentic yang bertanggung jawab atas kualitas EKB yang teramati.
Pilot reproduksi lebih lanjut menunjukkan bahwa jejak yang dipandu EKB membantu reproduser manusia maupun reproduser berbasis LLM mereproduksi bukti sudut pandang objek yang persis lebih efektif daripada kondisi tanpa konteks EKB. Inilah hasil praktis utamanya: EKB bukan sekadar log, melainkan artefak yang dapat digunakan ulang yang meningkatkan reproducibility bukti teramati di berbagai jenis reproduser.
Mengapa penting
Hasil ini mendukung pengamatan utama makalah bahwa LLM dapat menyediakan keputusan semantik tingkat tinggi dari penguji eksploratif manusia, sementara modul khusus menangani persepsi berulang, navigasi, penangkapan, dan pencatatan. EKB dengan kelengkapan tinggi pada mode eksplorasi lengkap maupun bertarget menunjukkan bahwa panduan semantik tidak mengorbankan cakupan, dan bahwa agen dapat menyesuaikan mode eksplorasinya tanpa menurunkan kualitas catatan terstruktur yang dihasilkannya.
Ablasi ini penting karena menguraikan kontribusi kerangka: perencanaan semantik, kebijakan penangkapan, pencatatan bukti, dan verifikasi mandiri masing-masing merupakan komponen yang dapat diuji, bukan agen yang tak terbedakan. Hal ini membuat desainnya lebih dapat diinterpretasikan dan memberikan dasar bagi pekerjaan selanjutnya untuk memperkuat modul tertentu.
Pilot reproduksi menjawab motivasi inti makalah: bukti eksploratif manual memakan waktu untuk direproduksi, sementara penyisiran sistematis reproducible tetapi buta secara semantik. Jejak yang dipandu EKB meningkatkan reproduksi bukti sudut pandang objek yang persis, baik untuk manusia maupun reproduser berbasis LLM, yang menunjukkan bahwa catatan per objek yang terstruktur menangkap informasi yang diperlukan untuk memutar ulang kegagalan teramati. EKB dengan demikian berfungsi sebagai jembatan antara kekayaan semantik pengujian eksploratif dan reproducibility pengujian sistematis.
Batasan muncul dari cakupan evaluasi: enam scene di Unity, AI2-THOR, dan BeamNG, dengan pilot reproduksi alih-alih penerapan industri berskala besar. Kandidat taksonomi untuk pekerjaan ini mencakup Architecture, Cybersecurity, Network, dan Cryptography, tetapi kontribusi langsung makalah ini adalah pada pengujian regresi teramati VR dan 3D black-box. Pekerjaan selanjutnya dapat memperluas reproduksi yang dipandu EKB ke keluarga aplikasi yang lebih luas dan riwayat versi yang lebih panjang.
Siapa yang sebaiknya membaca
Membuka konten member…