Unified AI Gateway: A Framework for Joint Model Routing and KV Cache Management
Jiaxun Lu; Xiang Zhang; Yunfeng Shao
- Summary
- The Unified AI Gateway coordinates model routing, KV cache management, and compute placement across devices, edge, and cloud. Workload-level simulation across eight profiles reports TTFT speedups of 1.25×–13.28× and input-cost benefits of …
- Method
- Penulis merumuskan Unified AI Gateway sebagai masalah keputusan bersama. Pada saat permintaan, gateway memilih tuple $(m, s, a)$ di mana $m$ adalah model target, $s$ adalah lokasi…
- Results
- Pada delapan profil beban kerja tipikal, simulasi analitis tingkat beban kerja melaporkan percepatan TTFT sebesar $1,25\times$–$13,28\times$ dan manfaat biaya input sebesar $1,20\times$–$6,16\times$.…