WS-NeRF: Neural Radiance Field Deblurring Adaptif Berbasis World-State yang Digerakkan Mamba

Kerangka kerja berbasis Mamba yang merumuskan optimasi radiance field sebagai proses evolusi dinamis dengan memori temporal dan prior deblurring mixture-of-experts.

Hang Jiang; Jinghao Wang; Yiming Zhang; Xinhong Wang; Luwei Ran; Yinfeng Yu· 2026· DOI 10.48550/arXiv.2609.21391

Masalah inti

Neural Radiance Fields (NeRF) telah menarik perhatian luas dalam beberapa tahun terakhir karena kemampuannya yang kuat untuk rekonstruksi 3D berkualitas tinggi dan sintesis pandangan baru dari citra multi-view. Metode yang ada biasanya mengandalkan masukan tajam berkualitas tinggi, sedangkan akuisisi citra di dunia nyata sangat rentan terhadap degradasi blur, yang secara serius memengaruhi kualitas rekonstruksi NeRF. Makalah ini mengusulkan neural radiance field deblurring adaptif berbasis world-state yang digerakkan Mamba, disebut WS-NeRF, untuk mengatasi degradasi citra dan inkonsistensi 3D. Motivasi utamanya adalah bahwa masukan yang buram merusak konsistensi geometris dan fotometrik yang menjadi tumpuan optimasi NeRF, dan prior deblurring statis tidak dapat menyesuaikan diri dengan keadaan radiance field yang terus berkembang selama pemulihan iteratif.

Inovasi

Hasil eksperimen menunjukkan bahwa WS-NeRF secara signifikan meningkatkan kualitas rekonstruksi radiance field yang buram, mencapai kinerja lebih baik pada PSNR, SSIM, dan LPIPS, sekaligus menunjukkan perilaku pemulihan iteratif yang lebih stabil. Peningkatan yang dilaporkan mencakup ketiga metrik standar: PSNR dan SSIM lebih tinggi, yang menunjukkan kesetiaan tingkat piksel dan struktural yang lebih baik, sedangkan LPIPS lebih rendah, yang menunjukkan kemiripan perseptual yang lebih baik. Stabilitas pemulihan iteratif merupakan hasil yang menonjol, yang mengindikasikan bahwa memori temporal dan pembobotan prior adaptif mengurangi osilasi atau degradasi selama optimasi. Abstrak tidak melaporkan nilai numerik spesifik, dataset, atau baseline, sehingga perbandingan kuantitatif tidak dapat direproduksi hanya dari sumber yang disediakan.

Neural Radiance Fields (NeRF) telah menarik perhatian luas dalam beberapa tahun terakhir karena kemampuannya yang kuat untuk rekonstruksi 3D berkualitas tinggi dan sintesis pandangan baru dari citra multi-view. Metode yang ada biasanya mengandalkan masukan tajam berkualitas tinggi, sedangkan akuisisi citra di dunia nyata sangat rentan terhadap degradasi blur, yang secara serius memengaruhi kualitas rekonstruksi NeRF. Makalah ini mengusulkan neural radiance field deblurring adaptif berbasis world-state yang digerakkan Mamba, disebut WS-NeRF, untuk mengatasi degradasi citra dan inkonsistensi 3D. Motivasi utamanya adalah bahwa masukan yang buram merusak konsistensi geometris dan fotometrik yang menjadi tumpuan optimasi NeRF, dan prior deblurring statis tidak dapat menyesuaikan diri dengan keadaan radiance field yang terus berkembang selama pemulihan iteratif.

WS-NeRF merumuskan optimasi bergantian radiance field sebagai proses evolusi dinamis dengan memori temporal. Alih-alih memperlakukan deblurring dan pemasangan radiance field sebagai langkah statis yang independen, metode ini memodelkan lintasan optimasi sebagai urutan berstatus, di mana keadaan masa lalu menginformasikan perilaku deblurring saat ini. Kerangka kerja ini secara bersama memanfaatkan world state multi-dimensi yang komprehensif dan mekanisme mixture-of-experts untuk menyesuaikan kepercayaan prior deblurring secara dinamis.

Mengapa penting

Kontribusi utama WS-NeRF adalah perumusan ulang optimasi radiance field bergantian sebagai proses evolusi dinamis dengan memori temporal. Ini merupakan penyimpangan yang berarti dari pipeline deblurring statis, karena degradasi blur dan inkonsistensi 3D saling terkait selama proses optimasi: iterasi awal mungkin diuntungkan oleh deblurring yang lebih kuat, sedangkan iterasi selanjutnya mungkin memerlukan prior yang lebih lemah untuk mempertahankan detail halus. Transisi keadaan yang digerakkan Mamba menyediakan mekanisme untuk membawa konteks temporal ini ke depan, dan gating mixture-of-experts menyediakan cara yang berprinsip untuk membobot beberapa prior deblurring sesuai world state saat ini. Penggunaan world state multi-dimensi yang komprehensif juga signifikan, karena menunjukkan bahwa kepercayaan deblurring seharusnya bergantung pada lebih dari sekadar sinyal loss atau gradien skalar tunggal. Dengan mengondisikan pada representasi keadaan yang lebih kaya, model pada prinsipnya dapat membedakan antara berbagai mode kegagalan, seperti motion blur versus defocus blur, dan menyesuaikan prior secara sesuai. Peningkatan yang dilaporkan pada PSNR, SSIM, dan LPIPS, bersama dengan pemulihan iteratif yang lebih stabil, mendukung klaim bahwa adaptivitas dan memori temporal bermanfaat untuk rekonstruksi NeRF yang buram. Namun, sumber yang disediakan adalah catatan tingkat abstrak dan tidak mencakup detail dataset, perbandingan baseline, studi ablasi, atau analisis runtime. Akibatnya, signifikansi praktis dari peningkatan yang dilaporkan, generalisasinya di berbagai scene, dan overhead komputasi dari komponen Mamba dan mixture-of-experts masih menjadi pertanyaan terbuka. Penelitian selanjutnya akan diuntungkan oleh ablasi terkontrol yang mengisolasi kontribusi memori temporal, pengkodean world state, dan gating expert, serta evaluasi pada beragam kondisi blur dunia nyata.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…