OpRAG: Runtime Deterministik-Sumber Daya untuk Alur Kerja RAG Multi-Tahap Berbasis GPU
Arup Kumar Sarker; Mills Staylor; Aymen Alsaadi; Gregor von Laszewski; Shantenu Jha; Geoffrey Fox
- Ringkasan
- OpRAG adalah runtime terdistribusi deterministik-sumber daya yang memodelkan embedding, retrieval, reasoning, memory, dan upsert sebagai operator kelas satu yang diturunkan ke dalam graf eksekusi sadar komunikasi. OpRAG meningkatkan throug…
- Metode
- OpRAG memodelkan embedding, retrieval, reasoning, memory, dan upsert sebagai operator kelas satu dan menurunkannya ke dalam graf eksekusi sadar komunikasi. Runtime ini menggabungk…
- Hasil
- Dalam eksperimen pipeline GPU end-to-end, OpRAG meningkatkan kinerja dibandingkan pesaing terdekat sebesar 16,16% untuk Llama3-8B dan 15,66% untuk Mistral-7B. Terhadap RayScalableRAG, keuntungannya a…