Editorial ilmu komputer
RAG Berbasis Tata Kelola Biaya: Atribusi Biaya per Tenant Terpadu Lintas Retrieval dan Generation dalam Sistem LLM Multi-Tenant
Masalah inti
Penerapan Enterprise Retrieval-Augmented Generation (RAG) menghadapi celah tata kelola yang kritis. Meskipun biaya generation LLM diukur per token, lapisan retrieval — memori vektor, komputasi kemiripan, dan panggilan API embedding — tetap menjadi biaya bersama yang tidak diatribusikan. Ketidaktransparanan ini memungkinkan subsidi silang yang tak terlihat antar tenant: pengguna retrieval berat secara efektif disubsidi oleh pengguna ringan, dan tidak ada tenant yang dapat ditagih atau dibatasi berdasarkan jejak sumber daya sebenarnya.
Makalah ini menyajikan **Cost-Governed RAG**, sebuah arsitektur yang mengintegrasikan indeks vektor yang oblivious terhadap codebook (**TurboVec**) dengan gateway tata kelola LLM multi-tenant. Hasilnya adalah tumpukan observabilitas terpadu di mana biaya embedding, retrieval, dan generation dapat diatribusikan secara bersama per tenant. Wawasan pemungkin utamanya adalah bahwa rumus memori deterministik dan berbentuk tertutup milik TurboVec memungkinkan perhitungan biaya retrieval per tenant yang hampir eksak — properti yang tidak tersedia pada indeks berbasis graf yang overhead memorinya non-linear dan karenanya tidak dapat dipisahkan secara bersih an
Inovasi
Sistem ini mencapai **akurasi atribusi biaya end-to-end 99,96%** pada 100 tenant simulasi. Angka ini mencerminkan akurasi bersama dari atribusi embedding, retrieval, dan generation di bawah distribusi ukuran tenant log-normal pada 10 juta vektor.
Overhead telemetri dilaporkan **di bawah 0,04% dari latensi kueri**, yang menunjukkan bahwa observabilitas terpadu dapat dicapai tanpa menurunkan kinerja penyajian secara material.
Pada ekonomi infrastruktur, arsitektur ini mengurangi biaya infrastruktur retrieval sebesar **3,1–9,0x** dibandingkan layanan basis data vektor terkelola, di bawah asumsi harga yang dirinci di Bagian IV sumber. Rentang tersebut mencerminkan variasi lintas beban kerja dan konfigurasi penerapan, bukan estimasi titik tunggal.
Hasil akurasi adalah temuan utama: atribusi retrieval per tenant yang hampir eksak tidak sekadar didekati tetapi diturunkan dari rumus memori deterministik TurboVec. Karena berbentuk tertutup, suku biaya retrieval dapat dihitung secara langsung alih-alih disimpulkan dari telemetri sampel, yang merupakan mekanisme di balik angka 99,96%.
Mengapa penting
Argumen inti makalah ini bersifat arsitektural, bukan algoritmik: kualitas atribusi adalah properti dari desain indeks, bukan dari lapisan penagihan yang ditempelkan di atasnya. Kuantisasi yang oblivious terhadap codebook menghasilkan dua manfaat berbeda. Pertama, hal ini membuat biaya retrieval per tenant **deterministik**, karena memori tidak bergantung pada codebook terlatih bersama yang okupansinya terjalin antar tenant. Kedua, hal ini menghilangkan **permukaan kebocoran codebook bersama** yang ada pada kuantizer terlatih, di mana codebook umum dapat bertindak sebagai saluran samping antar tenant.
Penulis berhati-hati dalam membatasi klaim kedua. Observasi penghilangan kebocoran dijelaskan sebagai **eksploratif** dan tunduk pada batasan di Bagian VII. Pembaca harus memperlakukan implikasi keamanan sebagai hipotesis yang memotivasi pekerjaan lanjutan, bukan jaminan yang telah dibuktikan.
Demikian pula, pengurangan biaya 3,1–9,0x bergantung pada asumsi harga di Bagian IV; ini adalah perbandingan terhadap layanan basis data vektor terkelola di bawah kondisi yang dinyatakan, bukan konstanta universal. Evaluasi ini berbasis simulasi pada 100 tenant dan 10 juta vektor, sehingga validitas eksternal terhadap armada produksi yang lebih besar atau berbeda kemiringannya masih perlu ditetapkan.
Secara keseluruhan, karya ini membingkai ulang tata kelola RAG multi-tenant: lapisan retrieval dapat diukur dengan ketelitian yang sama seperti generation berbasis token, asalkan indeks vektor mengekspos struktur biaya berbentuk tertutup yang dapat dipisahkan. Hal ini menempatkan atribusi biaya sebagai kendala desain kelas satu untuk infrastruktur RAG perusahaan.
Siapa yang sebaiknya membaca
Membuka konten member…