GhostSplat: Backdoor yang Dipicu Input untuk Manipulasi Konten 3D yang Konsisten Multi-Tampilan pada Feed-Forward Gaussian Splatting

Feed-forward 3D Gaussian Splatting (3DGS) merekonstruksi adegan 3D dari gambar renggang dalam satu forward pass, memungkinkan sintesis tampilan baru yang cepat dan dapat digeneralisasi. Karena sistem ini bergantung pada bobot generator terlatih yang dibagikan, sistem ini memperkenalkan permukaan serangan rantai pasok: checkpoint yang dikompromikan dapat memengaruhi setiap adegan hilir yang dirender oleh model. Pekerjaan backdoor sebelumnya pada Neural Radiance Fields (NeRF) dan 3DGS per-adegan memodifikasi adegan individual dan aktif pada sudut pandang terpilih, tetapi tidak menanamkan perilaku persisten pada bobot generator yang dibagikan. GhostSplat mengatasi celah ini dengan memperkenalkan backdoor yang dipicu input untuk 3DGS feed-forward. Pola beramplitudo rendah yang ditambahkan ke gambar input menyebabkan generator yang diracuni merender payload pilihan penyerang pada adegan korban yang belum pernah dilihat. Payload ditambatkan ke titik 3D dan diproyeksikan ulang ke setiap tampilan target, sehingga konsisten multi-tampilan. Penulis mengamati bahwa proyeksi eksak ke himpunan konsistensi spesifik representasi generator meninggalkan payload yang telah terwujud tanpa perubahan, karena output sudah termasuk dalam himpunan tersebut. Wawasan ini membingkai baik stealth serangan maupun keterbatasan pertahanan naif.

GhostSplat melatih generator 3DGS feed-forward yang diracuni dengan memasangkan pemicu input beramplitudo rendah dengan payload yang ditambatkan 3D. Pemicu adalah pola halus yang ditambahkan ke gambar input; ketika hadir, generator merender payload pilihan penyerang pada adegan korban yang belum pernah dilihat. Untuk memastikan payload muncul secara konsisten di seluruh sudut pandang, penyerang menambatkannya ke titik 3D dan memproyeksikannya ulang ke setiap tampilan target. Secara formal, misalkan generator adalah $G_{\theta }$ dan pemicu adalah $\delta$. Untuk himpunan input bersih $\{I_i\}$, output yang diracuni adalah

, di mana adalah adegan yang direkonstruksi dan $P$ adalah payload yang ditambatkan pada titik 3D $p$. Proyeksi ulang ke tampilan $v$ menghasilkan ${\pi }_v(P)$, memastikan konsistensi multi-tampilan. Tujuan pelatihan menggabungkan loss rekonstruksi pada input bersih dengan loss injeksi payload pada input yang dipicu, sambil membatasi amplitudo pemicu agar tetap rendah. Penulis mengevaluasi kerangka kerja ini pada tiga arsitektur (MVSplat, pixelSplat, DepthSplat) dan dua dataset (RealEstate10K, ACID). Serangan dinilai dalam pengaturan injeksi dan penghapusan, dengan uji ketahanan terhadap kompresi JPEG, blur, dan resampling. Pengamatan teoretis kuncinya adalah bahwa proyeksi eksak ke himpunan konsistensi spesifik representasi generator meninggalkan payload yang telah terwujud tanpa perubahan, karena output sudah termasuk dalam himpunan tersebut.