Kuantisasi Vektor Block-Sphere

Perbandingan teoretis terpadu kuantizer berbasis rotasi dan algoritma block-spherical baru dengan jaminan distorsi yang lebih baik

Heesang Ann; Joongkyu Lee; Min-hwan Oh· 2026· DOI 10.48550/arXiv.2605.19972

Masalah inti

Kuantisasi vektor adalah primitif fundamental untuk sistem machine learning yang skalabel, memungkinkan penyimpanan hemat memori, pengambilan cepat, dan inferensi terkompresi. Kuantizer berbasis rotasi terkini seperti EDEN, RabitQ, dan TurboQuant telah memperkenalkan jaminan yang kuat dan kinerja empiris, tetapi perbandingan di sekitarnya sulit ditafsirkan karena bergantung pada kriteria distorsi, rezim probabilitas, dan asumsi implementasi yang berbeda. Makalah ini mengatasi dua kesenjangan utama: pertama, menyediakan perbandingan teoretis terpadu dari metode-metode ini, menunjukkan bahwa keunggulan relatifnya bergantung pada kriteria, bukan absolut. Kedua, memperkenalkan Block-Sphere Quantization (BlockQuant), algoritma kuantisasi blok berbasis rotasi baru yang dirancang berdasarkan geometri bola dari vektor yang dirotasi secara acak. Makalah ini membuktikan bahwa BlockQuant secara teoretis lebih baik daripada baseline untuk MSE rekonstruksi dan distorsi inner-product yang diharapkan, serta memvalidasi peningkatan ini secara eksperimental pada dataset embedding nyata dan tugas inferensi LLM konteks panjang.

Makalah ini melaporkan eksperimen pada dataset embedding nyata dan tugas inferensi LLM konteks panjang. Hasilnya menunjukkan keuntungan praktis yang konsisten dengan peningkatan teoretis. Secara spesifik, BlockQuant mencapai MSE rekonstruksi yang lebih rendah dan distorsi inner-product yang diharapkan lebih rendah dibandingkan baseline (EDEN, RabitQ, TurboQuant) di bawah anggaran bit yang sama. Dalam inferensi LLM konteks panjang, BlockQuant memungkinkan penyimpanan yang lebih hemat memori dan pengambilan yang lebih cepat tanpa kehilangan akurasi yang signifikan. Eksperimen memvalidasi klaim teoretis bahwa kuantisasi block-spherical mempertahankan geometri embedding yang dirotasi dengan lebih setia daripada kuantizer coordinate-wise. Hasil kuantitatif disajikan dalam makalah, menunjukkan peningkatan yang konsisten di berbagai dataset dan tugas.

Kuantisasi vektor adalah primitif fundamental untuk sistem machine learning yang skalabel, memungkinkan penyimpanan hemat memori, pengambilan cepat, dan inferensi terkompresi. Kuantizer berbasis rotasi terkini seperti EDEN, RabitQ, dan TurboQuant telah memperkenalkan jaminan yang kuat dan kinerja empiris, tetapi perbandingan di sekitarnya sulit ditafsirkan karena bergantung pada kriteria distorsi, rezim probabilitas, dan asumsi implementasi yang berbeda. Makalah ini mengatasi dua kesenjangan utama: pertama, menyediakan perbandingan teoretis terpadu dari metode-metode ini, menunjukkan bahwa keunggulan relatifnya bergantung pada kriteria, bukan absolut. Kedua, memperkenalkan Block-Sphere Quantization (BlockQuant), algoritma kuantisasi blok berbasis rotasi baru yang dirancang berdasarkan geometri bola dari vektor yang dirotasi secara acak. Makalah ini membuktikan bahwa BlockQuant secara teoretis lebih baik daripada baseline untuk MSE rekonstruksi dan distorsi inner-product yang diharapkan, serta memvalidasi peningkatan ini secara eksperimental pada dataset embedding nyata dan tugas inferensi LLM konteks panjang.

Makalah ini pertama-tama menetapkan kerangka teoretis terpadu untuk membandingkan EDEN, RabitQ, dan TurboQuant di bawah kriteria distorsi yang berbeda (MSE, distorsi inner-product yang diharapkan, dan kontrol probabilitas tinggi). Perbandingan ini mengungkapkan bahwa EDEN dan TurboQuant menguntungkan untuk distorsi MSE, EDEN juga efektif untuk distorsi inner-product yang diharapkan, dan RabitQ memberikan kontrol probabilitas tinggi yang kuat.

Perbandingan teoretis terpadu memperjelas bahwa keunggulan relatif kuantizer berbasis rotasi bergantung pada kriteria. EDEN dan TurboQuant menguntungkan untuk distorsi MSE, EDEN juga efektif untuk distorsi inner-product yang diharapkan, dan RabitQ memberikan kontrol probabilitas tinggi yang kuat. Ini berarti praktisi harus memilih kuantizer berdasarkan kriteria distorsi spesifik dan rezim probabilitas yang relevan dengan aplikasi mereka. BlockQuant memperkenalkan prinsip desain baru: mengkuantisasi blok pada bola daripada coordinate-wise. Ini mempertahankan geometri vektor yang dirotasi secara acak dengan lebih setia, menghasilkan jaminan teoretis yang lebih baik untuk MSE rekonstruksi dan distorsi inner-product yang diharapkan. Hasil eksperimen pada dataset embedding nyata dan tugas inferensi LLM konteks panjang mengonfirmasi peningkatan teoretis ini. Kontribusi makalah ini ada dua: perbandingan terpadu yang membantu memilih kuantizer yang tepat, dan algoritma baru yang memajukan state of the art dalam kuantisasi berbasis rotasi. Pekerjaan selanjutnya dapat mengeksplorasi ukuran blok adaptif dan desain codebook untuk lebih meningkatkan kinerja.

Praktisi dan peneliti ilmu komputer

Membuka konten member…