OpRAG: A Resource-Deterministic Runtime for GPU-Backed Multi-Stage RAG Workflows
Arup Kumar Sarker; Mills Staylor; Aymen Alsaadi; Gregor von Laszewski; Shantenu Jha; Geoffrey Fox
- Summary
- OpRAG is a resource-deterministic distributed runtime that models embedding, retrieval, reasoning, memory, and upsert as first-class operators lowered into communication-aware execution graphs. It improves end-to-end GPU pipeline throughpu…
- Method
- OpRAG memodelkan embedding, retrieval, reasoning, memory, dan upsert sebagai operator kelas satu dan menurunkannya ke dalam graf eksekusi sadar komunikasi. Runtime ini menggabungk…
- Results
- Dalam eksperimen pipeline GPU end-to-end, OpRAG meningkatkan kinerja dibandingkan pesaing terdekat sebesar 16,16% untuk Llama3-8B dan 15,66% untuk Mistral-7B. Terhadap RayScalableRAG, keuntungannya a…