InSituANN: Meninjau Ulang IVF untuk Pencarian Vektor Skala Miliar yang Efisien PCIe

Mesin ANNS berbasis IVF yang menyimpan vektor basis di memori host dan melakukan fine search in situ, menghilangkan transfer PCIe vektor berdimensi tinggi sekaligus memakai GPU hanya untuk routing ringkas dan pruning opsional.

Yuemeng Xu; Zongxi Liu; Junyu Long; Yiming Huang; Jiarui Guo; Yangyujia Wang; Jiachen Xu; Dongyuan Yu; Zongwei Lv; Tong Yang· 2026· DOI 10.48550/arXiv.2608.08751

Masalah inti

Pencarian tetangga terdekat perkiraan (ANNS) atas dataset vektor skala miliar telah menjadi operator dasar bagi sistem retrieval modern, yang menggerakkan rekomendasi skala besar, pencarian semantik, dan beban kerja LLM/RAG. Meskipun GPU menawarkan paralelisme masif dan memori berbandwidth tinggi untuk pencarian vektor secara batch, kapasitas VRAM yang terbatas membuat indeks skala miliar yang sepenuhnya berada di GPU sulit diterapkan. Dalam desain heterogen CPU-GPU, menyimpan vektor basis di memori host menghindari batas kapasitas ini, tetapi mengalihkan fine search ke GPU secara naif memunculkan hambatan baru: volume besar data vektor basis harus dialirkan melalui PCIe. Makalah ini menyajikan InSituANN, mesin ANNS berbasis IVF yang memungkinkan pencarian vektor skala miliar pada satu GPU komoditas. InSituANN menyimpan vektor basis asli di memori host, melakukan fine search in situ, dan memakai GPU untuk routing ringkas serta pruning opsional. Akibatnya, pemrosesan kueri menghindari transfer PCIe vektor basis berdimensi tinggi sekaligus mempertahankan kesederhanaan IVF. Di luar kinerja kueri, penulis juga merancang jalur konstruksi IVF yang sangat cepat untuk InSituANN. Pada SIFT-

Inovasi

Makalah ini mengevaluasi InSituANN pada dataset skala miliar, termasuk SIFT-1B dan DEEP-1B. Pada recall yang setara, InSituANN meningkatkan throughput end-to-end sebesar 104,9x-4298,2x dibandingkan baseline Rummy yang terikat PCIe dan sebesar 2,4x-4,6x dibandingkan DiskANN pada SIFT-1B dan DEEP-1B. Waktu konstruksi indeks pada SIFT-1B adalah 5,2 menit, sekitar 350x lebih cepat daripada pembangunan HNSW terukur selama 30,4 jam. Selain peningkatan throughput, InSituANN mencapai trade-off recall-throughput yang kuat dan membutuhkan ruang indeks lebih kecil daripada alternatif berbasis graf. Hasil ini menunjukkan bahwa retrieval skala miliar dapat dibuat praktis pada perangkat keras yang hemat biaya dengan meninjau ulang IVF dan mengorkestrasi kolaborasi CPU-GPU secara cermat untuk menghindari transfer PCIe vektor basis berdimensi tinggi.

Pencarian tetangga terdekat perkiraan (ANNS) atas dataset vektor skala miliar telah menjadi operator dasar bagi sistem retrieval modern, yang menggerakkan rekomendasi skala besar, pencarian semantik, dan beban kerja LLM/RAG. Meskipun GPU menawarkan paralelisme masif dan memori berbandwidth tinggi untuk pencarian vektor secara batch, kapasitas VRAM yang terbatas membuat indeks skala miliar yang sepenuhnya berada di GPU sulit diterapkan. Dalam desain heterogen CPU-GPU, menyimpan vektor basis di memori host menghindari batas kapasitas ini, tetapi mengalihkan fine search ke GPU secara naif memunculkan hambatan baru: volume besar data vektor basis harus dialirkan melalui PCIe. Makalah ini menyajikan InSituANN, mesin ANNS berbasis IVF yang memungkinkan pencarian vektor skala miliar pada satu GPU komoditas. InSituANN menyimpan vektor basis asli di memori host, melakukan fine search in situ, dan memakai GPU untuk routing ringkas serta pruning opsional. Akibatnya, pemrosesan kueri menghindari transfer PCIe vektor basis berdimensi tinggi sekaligus mempertahankan kesederhanaan IVF. Di luar kinerja kueri, penulis juga merancang jalur konstruksi IVF yang sangat cepat untuk InSituANN. Pada SIFT-1B, InSituANN membangun indeks IVF dalam 5,2 menit, sekitar 350x lebih cepat daripada pembangunan HNSW terukur selama 30,4 jam. Pada recall yang setara di dataset skala miliar, InSituANN meningkatkan throughput end-to-end sebesar 104,9x-4298,2x dibandingkan baseline Rummy yang terikat PCIe dan sebesar 2,4x-4,6x dibandingkan DiskANN pada SIFT-1B dan DEEP-1B. Bersama dengan trade-off recall-throughput yang kuat dan ruang indeks yang lebih kecil daripada alternatif berbasis graf, capaian ini membuat retrieval skala miliar praktis pada perangkat keras yang hemat biaya. Kode tersedia sebagai open source di https://github.com/mindtravel/InSituANN-OpenSource.

InSituANN dibangun di atas indeks inverted file (IVF), yang mempartisi ruang vektor menjadi klaster melalui coarse quantizer dan menyimpan vektor basis dalam inverted list. Prinsip desain utamanya adalah menyimpan vektor basis asli di memori host dan melakukan fine search in situ, yaitu di sisi CPU, sementara GPU hanya dipakai untuk routing ringkas dan pruning opsional. Ini menghindari transfer PCIe vektor basis berdimensi tinggi yang jika tidak demikian akan mendominasi latensi kueri dalam desain heterogen CPU-GPU.

Mengapa penting

Wawasan utama InSituANN adalah bahwa hambatan PCIe dalam ANNS heterogen CPU-GPU bukanlah hal yang fundamental, melainkan konsekuensi dari mengalihkan fine search ke GPU secara naif. Dengan menyimpan vektor basis di memori host dan melakukan fine search in situ, InSituANN menghilangkan transfer vektor berdimensi tinggi melalui PCIe, yang merupakan biaya dominan pada sistem sebelumnya. GPU kemudian hanya dipakai untuk routing ringkas dan pruning opsional, tempat paralelisme dan memori berbandwidth tingginya memberi manfaat paling besar tanpa menimbulkan perpindahan data besar. Desain ini mempertahankan kesederhanaan IVF, sehingga sistem mudah diterapkan dan disetel. Jalur konstruksi yang sangat cepat juga menurunkan hambatan adopsi indeks skala miliar, karena membangun indeks HNSW dapat memakan puluhan jam. Peningkatan throughput yang dilaporkan dibandingkan Rummy dan DiskANN, digabungkan dengan ruang indeks yang lebih kecil daripada alternatif berbasis graf, menunjukkan bahwa desain berbasis IVF tetap sangat kompetitif ketika perpindahan data dikelola dengan baik. Rilis open source di https://github.com/mindtravel/InSituANN-OpenSource memungkinkan reproduksibilitas dan penelitian lanjutan. Pekerjaan mendatang dapat mengeksplorasi strategi pruning adaptif dan integrasi dengan struktur indeks lain untuk lebih meningkatkan trade-off recall-throughput.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…