Neural Router: Pencocokan Konten Semantik untuk AI Agentic

Karakterisasi biaya-akurasi dua persilangan untuk broker publish/subscribe berbasis LLM di sepanjang kontinum edge-cloud

Lauri Lovén; Abhishek Kumar; Alexander Engelhardt; Alaa Saleh; Roberto Morabito; Xiaoli Liu; Naser Hossein Motlagh; Sasu Tarkoma· 2026· DOI 10.48550/arXiv.2605.25701

Masalah inti

Sistem AI agentic yang beroperasi di sepanjang kontinum komputasi edge-cloud memerlukan broker publish/subscribe berbasis konten yang mampu menjembatani kesenjangan kosakata dan modalitas yang mengalahkan filter kata kunci dan embedding konvensional. Large language model (LLM) diusulkan sebagai mesin pencocokan semantik untuk broker semacam itu. Para penulis merumuskan masalah sebagai pengambilan multi-label offline pada tiga dataset publik yang mencakup domain media sosial, hukum, dan sensor smart-home. Enam LLM dan tujuh baseline dievaluasi. Kontribusi utamanya adalah karakterisasi biaya-akurasi dua persilangan: (1) persilangan context window analitis yang di bawahnya pipeline kompresi CoverAndMerge mengurangi pemanggilan LLM, dan (2) persilangan kapasitas diskriminasi empiris yang di atasnya akurasi pencocokan runtuh secara independen dari anggaran konteks. Keruntuhan ini diatur oleh faktor yang bergantung pada model, yaitu jumlah parameter dan generasi pelatihan. Karya ini disertai tiga algoritma yang dapat dikomposisi dan kerangka Quality-of-Experience (QoE) per klaster untuk pemilihan tingkat LLM secara otonom.

Inovasi

Eksperimen mengungkap dua persilangan. Pertama, persilangan context window analitis: di bawah anggaran konteks tertentu, pipeline kompresi CoverAndMerge mengurangi jumlah pemanggilan LLM dan dengan demikian menurunkan biaya total. Kedua, persilangan kapasitas diskriminasi empiris: di atas ukuran himpunan langganan atau kompleksitas semantik tertentu, akurasi pencocokan runtuh secara independen dari anggaran konteks. Keruntuhan ini bergantung pada model, berskala dengan jumlah parameter dan generasi pelatihan. Hanya model skala frontier yang mampu menangani himpunan langganan besar. Kompresi tidak dapat memulihkan akurasi setelah persilangan diskriminasi terlampaui. Hasil ini berlaku di ketiga domain (media sosial, hukum, sensor smart-home) dan pada enam LLM serta tujuh baseline. Kerangka QoE per klaster menunjukkan bahwa pemilihan tingkat LLM secara otonom dapat mempertahankan QoE yang dapat diterima dengan merutekan kueri yang lebih sederhana ke model yang lebih kecil dan kueri kompleks ke model frontier. Temuan kuantitatif utamanya adalah pilihan backend mendominasi pilihan konfigurasi: varians akurasi yang dijelaskan oleh pemilihan model melebihi yang dijelaskan oleh penyetelan

Sistem AI agentic yang beroperasi di sepanjang kontinum komputasi edge-cloud memerlukan broker publish/subscribe berbasis konten yang mampu menjembatani kesenjangan kosakata dan modalitas yang mengalahkan filter kata kunci dan embedding konvensional. Large language model (LLM) diusulkan sebagai mesin pencocokan semantik untuk broker semacam itu. Para penulis merumuskan masalah sebagai pengambilan multi-label offline pada tiga dataset publik yang mencakup domain media sosial, hukum, dan sensor smart-home. Enam LLM dan tujuh baseline dievaluasi. Kontribusi utamanya adalah karakterisasi biaya-akurasi dua persilangan: (1) persilangan context window analitis yang di bawahnya pipeline kompresi CoverAndMerge mengurangi pemanggilan LLM, dan (2) persilangan kapasitas diskriminasi empiris yang di atasnya akurasi pencocokan runtuh secara independen dari anggaran konteks. Keruntuhan ini diatur oleh faktor yang bergantung pada model, yaitu jumlah parameter dan generasi pelatihan. Karya ini disertai tiga algoritma yang dapat dikomposisi dan kerangka Quality-of-Experience (QoE) per klaster untuk pemilihan tingkat LLM secara otonom.

Studi ini mengevaluasi LLM sebagai router semantik dalam broker publish/subscribe. Desain eksperimennya adalah pengambilan multi-label offline pada tiga dataset publik: domain media sosial, hukum, dan sensor smart-home. Enam LLM dan tujuh baseline dibandingkan. Pipeline kompresi CoverAndMerge diperkenalkan untuk mengurangi pemanggilan LLM ketika context window menjadi hambatan. Persilangan context window analitis diturunkan sebagai titik yang di bawahnya kompresi menghasilkan penghematan biaya bersih. Persilangan kapasitas diskriminasi empiris diidentifikasi sebagai titik yang di atasnya akurasi pencocokan runtuh terlepas dari anggaran konteks. Faktor keruntuhan dimodelkan sebagai fungsi dari jumlah parameter dan generasi pelatihan. Tiga algoritma yang dapat dikomposisi diusulkan, dan kerangka QoE per klaster memungkinkan pemilihan tingkat LLM secara otonom. Metrik evaluasi mencakup akurasi pencocokan dan biaya pemanggilan. Model biaya formal dapat dinyatakan sebagai:

Mengapa penting

Karakterisasi dua persilangan memiliki implikasi praktis bagi operator broker AI agentic. Di atas persilangan diskriminasi, kompresi tidak dapat memulihkan akurasi, sehingga operator harus membatasi ukuran himpunan langganan atau meningkatkan ke model skala frontier. Temuan bahwa pilihan backend mendominasi pilihan konfigurasi berarti pemilihan model, bukan penyetelan pipeline, adalah tuas operator yang utama. Hal ini menggeser fokus optimasi dari penyetelan hyperparameter ke penerapan model yang strategis. Kerangka QoE per klaster menyediakan mekanisme untuk pemilihan tingkat LLM secara otonom, memungkinkan perutean yang hemat biaya di sepanjang kontinum edge-cloud. Tiga algoritma yang dapat dikomposisi menawarkan blok pembangun untuk mengimplementasikan broker semacam itu. Batasannya mencakup pengaturan pengambilan multi-label offline, yang mungkin tidak sepenuhnya menangkap dinamika online. Pekerjaan selanjutnya dapat diperluas ke pembelajaran online dan kompresi adaptif. Kandidat taksonomi—Architecture, Cybersecurity, Network, Cryptography—menyarankan potensi aplikasi pada sistem agentic yang aman dan berjaringan. Karya ini diterbitkan sebagai arXiv:2605.25701 (DOI: 10.48550/arXiv.2605.25701).

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…