Editorial ilmu komputer
Open AccessOA2026
Ketika Lebih Banyak Core Justru Merugikan: Paradoks Penskalaan Basis Data Vektor di HPC
Evaluasi skala besar terhadap Qdrant, Milvus, dan Weaviate pada superkomputer produksi mengungkap bahwa basis data vektor yang berorientasi cloud gagal berskala secara efisien pada sistem HPC, dengan penambahan core menurunkan throughput kueri hingga 30,67%.
Seth Ockerman; Song Young Oh; Amal Gueroudji; Rochana Chaturvedi; Philip Carns; Nicholas Chia; Matthieu Dorier; Robert Latham; Tanwi Mallick; Swan Perarnau; Robert Underwood; Kyle Chard; Ian Foster; Robert Ross; Shivaram Venkataraman· 2026· DOI 10.48550/arXiv.2606.08950
Masalah inti
Basis data vektor telah menjadi penting untuk mengelola embedding berdimensi tinggi dalam aplikasi AI, tetapi desainnya terutama menyasar lingkungan cloud. Beban kerja AI ilmiah yang baru muncul—seperti pencarian molekuler, deteksi lintasan meteorologi, dan pembangkitan hipotesis berbasis literatur—memerlukan eksekusi yang efisien dan terukur pada sistem high-performance computing (HPC). Makalah ini menyajikan evaluasi skala besar terhadap tiga basis data vektor mutakhir (Qdrant, Milvus, dan Weaviate) pada dua superkomputer produksi, yang berskala hingga 256 worker terdistribusi di 64 node komputasi. Para penulis bertujuan mengungkap bagaimana sistem ini berperforma dalam kondisi HPC dan mengidentifikasi ketidakcocokan mendasar antara desain berorientasi cloud dan arsitektur HPC.
Inovasi
Hasilnya mengungkap paradoks penskalaan: karakteristik beban kerja dapat membatasi pengurangan latensi, dan penambahan lebih banyak core justru dapat menurunkan throughput kueri hingga 30,67%. Lebih lanjut, penskalaan dari 16 ke 256 worker (peningkatan 16x) hanya menghasilkan peningkatan performa 5,46x. Penskalaan sublinear ini menunjukkan overhead dan contention yang signifikan pada basis data vektor saat diterapkan di sistem HPC. Degradasi throughput dengan penambahan core sangat mencolok, karena bertentangan dengan ekspektasi umum bahwa lebih banyak sumber daya menghasilkan performa lebih baik.
Secara matematis, efisiensi penskalaan dapat dinyatakan sebagai:
dengan adalah speedup dan adalah jumlah worker. Untuk speedup 5,46x yang teramati pada 16x worker,
, yang menunjukkan efisiensi penskalaan yang buruk.
Basis data vektor telah menjadi penting untuk mengelola embedding berdimensi tinggi dalam aplikasi AI, tetapi desainnya terutama menyasar lingkungan cloud. Beban kerja AI ilmiah yang baru muncul—seperti pencarian molekuler, deteksi lintasan meteorologi, dan pembangkitan hipotesis berbasis literatur—memerlukan eksekusi yang efisien dan terukur pada sistem high-performance computing (HPC). Makalah ini menyajikan evaluasi skala besar terhadap tiga basis data vektor mutakhir (Qdrant, Milvus, dan Weaviate) pada dua superkomputer produksi, yang berskala hingga 256 worker terdistribusi di 64 node komputasi. Para penulis bertujuan mengungkap bagaimana sistem ini berperforma dalam kondisi HPC dan mengidentifikasi ketidakcocokan mendasar antara desain berorientasi cloud dan arsitektur HPC.
Evaluasi dilakukan pada dua superkomputer produksi, menggunakan hingga 256 worker terdistribusi di 64 node komputasi. Tiga basis data vektor—Qdrant, Milvus, dan Weaviate—diuji pada dua pola beban kerja yang representatif: campuran baca/tulis dan tulis-lalu-baca. Beban kerja tersebut mencakup benchmark populer, embedding multimodal, dan dataset ilmiah dunia nyata yang baru. Metrik performa berfokus pada pengurangan latensi dan throughput kueri seiring jumlah worker diskalakan dari 16 ke 256. Desain eksperimen memungkinkan para penulis menilai efisiensi penskalaan dan mengidentifikasi hambatan di lingkungan HPC.
Mengapa penting
Paradoks penskalaan ini menyingkap ketidakcocokan mendasar antara desain basis data vektor berorientasi cloud dan sistem HPC. Lingkungan cloud biasanya mengasumsikan sumber daya yang homogen dan terikat longgar dengan penyimpanan berlatensi tinggi, sedangkan sistem HPC memiliki node yang terikat erat, interkoneksi berkecepatan tinggi, dan sistem berkas paralel. Para penulis berargumen bahwa basis data vektor saat ini tidak dioptimalkan untuk pola komunikasi HPC, sehingga menyebabkan contention dan pemanfaatan sumber daya yang tidak efisien. Hal ini menyoroti kebutuhan akan desain basis data vektor baru yang sadar HPC yang dapat memanfaatkan karakteristik unik superkomputer. Arah potensial mencakup perancangan ulang pengindeksan dan pemrosesan kueri untuk meminimalkan komunikasi antar-node dan beradaptasi dengan hierarki penyimpanan HPC.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…