Editorial ilmu komputer
Open AccessOA2026
NasZip: Ko-Desain Perangkat Lunak dan Perangkat Keras untuk Mempercepat Pencarian Tetangga Terdekat Aproksimatif dengan Pemrosesan Dekat Data Berbasis DIMM
Kerangka kerja ko-desain perangkat lunak dan perangkat keras yang mengintegrasikan pemrosesan dekat data dengan early exiting terpandu PCA dan kompresi dynamic-float untuk ANNS yang terikat memori pada sistem RAG.
Cheng Zou; Shuo Yang; Chen Nie; Yu Zou; Yu He; Chao Jiang; Limin Xiao; Weifeng Zhang; Zhezhi He· 2026· DOI 10.48550/arXiv.2605.21952
Masalah inti
Model bahasa besar (LLM) telah berkembang pesat, dan retrieval-augmented generation (RAG) menjadi mekanisme kunci untuk memperluas pengetahuan model dan mengurangi halusinasi. Inti dari RAG adalah approximate nearest neighbor search (ANNS), yang mengambil vektor basis data yang paling mirip dengan kueri tertentu. Namun, perhitungan jarak pada vektor berdimensi tinggi secara inheren terikat memori, sehingga kinerja pengambilan dibatasi oleh bandwidth I/O pada platform arus utama seperti CPU dan GPU. Meskipun banyak teknik early exiting (EE) sebelumnya berupaya mengurangi akses memori dengan hanya menghitung sebagian dimensi, jarak parsial tersebut konvergen terlalu lambat menuju ambang EE, yang pada akhirnya membatasi peningkatan kinerjanya. Untuk mengatasi tantangan ini, penulis mengusulkan NASZIP, kerangka kerja ko-desain perangkat lunak dan perangkat keras yang mengintegrasikan near data processing (NDP) dengan early exiting tingkat fitur baru yang dipandu principal component analysis (PCA) berbasis statistik. Alih-alih hanya mengandalkan jarak parsial, NASZIP menyertakan parameter estimasi dan koreksi untuk mengaproksimasi jarak berdimensi penuh secara akurat, sehingga memungkin
Inovasi
Dengan teknik yang dioptimalkan bersama ini, NASZIP memberikan percepatan hingga / dibanding baseline CPU dan implementasi GPU mutakhir pada akurasi yang sama. Dibanding akselerator ANNS NDP mutakhir ANSMET, NASZIP mencapai peningkatan kinerja . Hasil ini menunjukkan efektivitas penggabungan pemrosesan dekat data dengan early exiting tingkat fitur dan kompresi dynamic-float. Percepatan dibanding CPU sangat menonjol, karena CPU umum digunakan dalam pipeline RAG tetapi mengalami bandwidth memori yang terbatas. Percepatan dibanding implementasi GPU mutakhir menunjukkan bahwa NASZIP dapat mengungguli ANNS berbasis GPU yang bahkan sangat teroptimasi, yang biasanya terikat memori. Peningkatan dibanding ANSMET, akselerator NDP khusus, menyoroti manfaat early exiting terpandu PCA dan skema dynamic-float yang diusulkan di luar pendekatan NDP yang ada. Semua percepatan dicapai pada akurasi yang sama, artinya aproksimasi yang diperkenalkan oleh early exiting dan kompresi tidak menurunkan kualitas pengambilan.
Model bahasa besar (LLM) telah berkembang pesat, dan retrieval-augmented generation (RAG) menjadi mekanisme kunci untuk memperluas pengetahuan model dan mengurangi halusinasi. Inti dari RAG adalah approximate nearest neighbor search (ANNS), yang mengambil vektor basis data yang paling mirip dengan kueri tertentu. Namun, perhitungan jarak pada vektor berdimensi tinggi secara inheren terikat memori, sehingga kinerja pengambilan dibatasi oleh bandwidth I/O pada platform arus utama seperti CPU dan GPU. Meskipun banyak teknik early exiting (EE) sebelumnya berupaya mengurangi akses memori dengan hanya menghitung sebagian dimensi, jarak parsial tersebut konvergen terlalu lambat menuju ambang EE, yang pada akhirnya membatasi peningkatan kinerjanya. Untuk mengatasi tantangan ini, penulis mengusulkan NASZIP, kerangka kerja ko-desain perangkat lunak dan perangkat keras yang mengintegrasikan near data processing (NDP) dengan early exiting tingkat fitur baru yang dipandu principal component analysis (PCA) berbasis statistik. Alih-alih hanya mengandalkan jarak parsial, NASZIP menyertakan parameter estimasi dan koreksi untuk mengaproksimasi jarak berdimensi penuh secara akurat, sehingga memungkinkan early exiting lebih dini tanpa mengorbankan akurasi. Karya ini juga memperkenalkan skema dynamic-float tingkat bit yang sadar NDP yang secara signifikan mengurangi akses memori untuk data vektor. Di sisi perangkat keras, strategi pemetaan daftar tetangga yang sadar data mengurangi latensi pengambilan tetangga dan overhead komunikasi antar-kanal, dilengkapi cache khusus yang memanfaatkan lokalitas data dan meningkatkan efisiensi prefetch.
NASZIP adalah kerangka kerja ko-desain perangkat lunak dan perangkat keras yang mengintegrasikan near-data processing (NDP) dengan early exiting tingkat fitur baru yang dipandu principal component analysis (PCA) berbasis statistik. Ide intinya adalah menghindari penghitungan jarak berdimensi penuh untuk setiap vektor kandidat dengan menggunakan PCA untuk mengidentifikasi dimensi paling informatif dan mengestimasi kontribusi jarak yang tersisa. Alih-alih hanya mengandalkan jarak parsial, NASZIP menyertakan parameter estimasi dan koreksi untuk mengaproksimasi jarak berdimensi penuh secara akurat, sehingga memungkinkan early exiting lebih dini tanpa mengorbankan akurasi. Early exiting tingkat fitur ini dipandu oleh statistik yang diturunkan dari PCA, yang memungkinkan sistem menentukan kapan jarak parsial cukup dekat dengan jarak penuh untuk keluar dari komputasi dengan aman.
Mengapa penting
Wawasan kunci NASZIP adalah bahwa jarak parsial konvergen terlalu lambat menuju ambang early exiting pada teknik EE sebelumnya, sehingga membatasi peningkatan kinerjanya. Dengan menggunakan PCA untuk memandu early exiting tingkat fitur dan menyertakan parameter estimasi dan koreksi, NASZIP mengaproksimasi jarak berdimensi penuh secara akurat, sehingga memungkinkan early exiting lebih dini tanpa mengorbankan akurasi. Hal ini mengatasi hambatan mendasar perhitungan jarak yang terikat memori pada ANNS. Skema dynamic-float tingkat bit yang sadar NDP lebih lanjut mengurangi akses memori dengan mengompresi data vektor dengan cara yang sadar arsitektur NDP. Optimasi di sisi perangkat keras—pemetaan daftar tetangga yang sadar data dan cache khusus—mengurangi latensi pengambilan tetangga dan overhead komunikasi antar-kanal, serta meningkatkan efisiensi prefetch. Secara bersama-sama, teknik-teknik ini menghasilkan percepatan substansial dibanding CPU, GPU, dan akselerator NDP mutakhir ANSMET. Hasil ini menunjukkan bahwa ko-desain algoritma perangkat lunak dengan perangkat keras NDP adalah arah yang menjanjikan untuk mempercepat ANNS pada sistem RAG. Pekerjaan selanjutnya dapat mengeksplorasi perluasan pendekatan ini ke beban kerja lain yang terikat memori dan integrasi dengan teknologi memori yang sedang berkembang. Kandidat taksonomi untuk karya ini meliputi Arsitektur, Keamanan Siber, Jaringan, dan Kriptografi, meskipun kontribusi utamanya terletak pada arsitektur komputer dan akselerasi perangkat keras untuk sistem pembelajaran mesin.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…