Primitif 3D adalah Bahasa Spasial untuk VLM

Model vision-language (VLM) menunjukkan paradoks yang mencolok: mereka dapat menghasilkan kode yang dapat dieksekusi untuk merekonstruksi adegan 3D dari primitif geometris dengan jumlah objek, kelas, dan posisi perkiraan yang benar, namun model yang sama gagal menjawab pertanyaan spasial yang lebih sederhana pada gambar yang sama. Penulis berargumen bahwa primitif geometris 3D (kubus, bola, silinder, yang dinyatakan dalam kode yang dapat dieksekusi) berfungsi sebagai representasi perantara yang kuat untuk pemahaman spasial. Mereka memanfaatkan wawasan ini melalui tiga kontribusi: sebuah benchmark (SpatialBabel), strategi inferensi tanpa pelatihan (Code-CoT), dan resep fine-tuning self-supervised (S³-FT). Karya ini memosisikan primitif geometris dalam kode sebagai alat diagnostik sekaligus kosakata spasial yang dapat ditransfer untuk VLM.

Dengan pelatihan hanya pada gambar primitif, S³-FT meningkatkan Qwen3-VL-8B sebesar $+4.6$ hingga $+8.6\%$ pada SpatialBabel-Primitive-QA, $+9.7\%$ pada CV-Bench-2D, dan $+17\%$ pada HallusionBench; resep ini dapat ditransfer antar keluarga model. Code-CoT menghasilkan hingga $+6.4\%$ pada SpatialBabel-QA-Score dan $+5.0\%$ pada CV-Bench-3D untuk model dengan kemampuan coding yang kuat. SpatialBabel menunjukkan bahwa $F_1$ deteksi objek dapat bervariasi hingga $5.7\times$ antar scene-code language untuk satu model.