Akses Alat Agen LLM yang Skalabel di Cloud

Temuan makalah ini menyoroti efektivitas pendekatan gateway terpusat untuk mengelola layanan MCP pada skala cloud. Gateway ini mematahkan model koneksi langsung, yang merupakan keputusan arsitektur kunci yang memungkinkan kontrol dan optimasi terpusat. Dengan mengalihkan integrasi layanan legacy, gateway memungkinkan layanan legacy digunakan oleh agen LLM tanpa modifikasi, memperluas jangkauan kemampuan agen. Mengonsolidasikan varian MCP yang tidak kompatibel mengurangi beban kompatibilitas pada penyedia alat maupun pengembang agen, yang krusial dalam lanskap protokol yang berkembang pesat.

Mekanisme pengambilan hibrida yang mencapai recall Top-15 98% adalah hasil yang signifikan. Hal ini menunjukkan bahwa bahkan dengan ribuan alat, agen dapat menemukan alat yang tepat secara efisien. Pengurangan $8.9\times$ dalam waktu pemilihan alat dan $23.8\times$ dalam penggunaan token secara langsung mengatasi overhead inferensi dan keterbatasan jendela konteks. Peningkatan ini kemungkinan disebabkan oleh kemampuan gateway untuk menyaring dan merekomendasikan alat sebelum disajikan ke LLM, mengurangi jumlah alat yang perlu dipertimbangkan LLM. Ini analog dengan pendekatan retrieval-augmented generation (RAG) tetapi diterapkan pada pemilihan alat.

Perutean sadar sesi untuk backend MCP stateful dengan beberapa replika adalah kontribusi penting lainnya. Hal ini mempertahankan afinitas sesi tanpa meningkatkan kompleksitas sisi klien, yang menyederhanakan implementasi agen dan memastikan keadaan yang konsisten di seluruh interaksi. Ini sangat penting untuk alat yang mempertahankan state, seperti basis data atau layanan berbasis sesi.

Stabilitas sistem saat scale-out sangat penting untuk penerapan cloud. Seiring bertambahnya jumlah agen dan alat, gateway harus mempertahankan kinerja. Overhead per panggilan yang rendah memastikan gateway tidak menimbulkan latensi signifikan.

Penulis juga membagikan pelajaran yang diperoleh dari penerapan sistem gateway di produksi. Meskipun abstrak tidak merinci pelajaran tersebut, kemungkinan mencakup tantangan operasional, praktik terbaik untuk integrasi, dan penyetelan kinerja. Wawasan ini berharga bagi praktisi yang ingin menerapkan sistem serupa.

Dibandingkan dengan pendekatan alternatif, seperti pemanggilan alat langsung atau manajemen alat sisi klien, pendekatan gateway menawarkan manajemen terpusat, skalabilitas yang lebih baik, dan kompleksitas klien yang berkurang. Namun, pendekatan ini juga memperkenalkan titik kegagalan tunggal dan potensi latensi jika tidak diskalakan dengan benar. Hasil makalah ini menunjukkan bahwa kekhawatiran tersebut dimitigasi oleh desain gateway.

Pekerjaan selanjutnya dapat mengeksplorasi optimasi lebih lanjut dalam rekomendasi alat, seperti memasukkan umpan balik pengguna atau belajar dari interaksi agen. Selain itu, memperluas gateway untuk mendukung protokol lain di luar MCP dapat bermanfaat. Kandidat taksonomi untuk makalah ini meliputi Architecture, Cybersecurity, Network, dan Cryptography, yang mencerminkan fokusnya pada desain sistem, kontrol akses yang aman, perutean jaringan, dan potensi protokol kriptografi untuk komunikasi yang aman.