HELIOS: Evolusi Berpagar LLM untuk Kebijakan Orkestrasi Sumber Daya Otonom pada Sistem Terdistribusi Multi-Cloud

Memindahkan inferensi LLM dari jalur kritis: mengevolusikan kebijakan yang dapat dieksekusi dengan pagar keras untuk orkestrasi sumber daya multi-cloud

Guanyu Ding; Ying Wang· 2026· DOI 10.48550/arXiv.2609.09164

Masalah inti

Mengoperasikan layanan sensitif latensi di beberapa cloud publik menciptakan permukaan optimasi yang tidak dapat dilihat oleh autoscaler penyedia tunggal mana pun. Harga vCPU on-demand berbeda antar penyedia, diskon spot dan risiko interupsi bervariasi menurut penyedia dan tipe instance, biaya egress menghukum perpindahan state, dan kegagalan tingkat penyedia dapat menjatuhkan deployment satu cloud. Makalah ini mengidentifikasi ketegangan mendasar: large language model (LLM) menarik sebagai orkestrator karena dapat menyintesis logika keputusan non-trivial dari deskripsi lingkungan berbahasa alami, tetapi menempatkan LLM pada jalur kritis setiap keputusan penjadwalan tidak praktis. Untuk armada 200 layanan, inferensi per keputusan akan lebih mahal daripada kapasitas cloud yang dikelolanya dan menambah latensi multi-detik pada loop kontrol berskala milidetik. HELIOS mengatasi ini dengan memindahkan LLM dari jalur kritis: LLM mengevolusikan kebijakan orkestrasi yang dapat dieksekusi—program Python kecil di atas antarmuka fitur tetap—terhadap simulator multi-cloud berbasis trace. Hanya program juara yang berjalan di produksi, dibungkus pagar yang menegakkan kelayakan kapasitas, aturan

Inovasi

Pada trace beban kerja nyata (PlanetLab, Bitbrains, Azure) yang dikombinasikan dengan data harga dan frekuensi interupsi 2026 dari AWS, Azure, dan GCP, kebijakan yang dievolusikan memangkas biaya operasi terpenalti sebesar 45% dibandingkan baseline best-fit satu cloud dan 9-19% dibandingkan heuristik multi-cloud terkalibrasi. Ia menyamai kinerja SLO premium dari perencana MILP berbasis oracle pada biaya 40% lebih rendah dan mengungguli meta-controller DQN yang dilatih dengan interaksi lingkungan 2,6x lebih banyak. Pagar sangat penting: tanpanya, keluarga kebijakan yang sama terdegradasi menjadi 97-98% downtime tingkat premium di bawah uji stres spot-hazard 10x, versus 0,17% saat berpagar. Hasil ini menunjukkan bahwa evolusi kebijakan yang digerakkan LLM dapat menghasilkan logika orkestrasi yang kompetitif sekaligus menghindari latensi dan biaya inferensi per keputusan. Perbandingan terhadap meta-controller DQN sangat mencolok karena DQN memerlukan interaksi lingkungan 2,6x lebih banyak untuk mencapai kinerja yang lebih rendah. Perencana MILP, yang memiliki pengetahuan oracle, memberikan batas atas yang kuat; HELIOS menyamai kinerja SLO premiumnya pada biaya 40% lebih rendah, menunj

Mengoperasikan layanan sensitif latensi di beberapa cloud publik menciptakan permukaan optimasi yang tidak dapat dilihat oleh autoscaler penyedia tunggal mana pun. Harga vCPU on-demand berbeda antar penyedia, diskon spot dan risiko interupsi bervariasi menurut penyedia dan tipe instance, biaya egress menghukum perpindahan state, dan kegagalan tingkat penyedia dapat menjatuhkan deployment satu cloud. Makalah ini mengidentifikasi ketegangan mendasar: large language model (LLM) menarik sebagai orkestrator karena dapat menyintesis logika keputusan non-trivial dari deskripsi lingkungan berbahasa alami, tetapi menempatkan LLM pada jalur kritis setiap keputusan penjadwalan tidak praktis. Untuk armada 200 layanan, inferensi per keputusan akan lebih mahal daripada kapasitas cloud yang dikelolanya dan menambah latensi multi-detik pada loop kontrol berskala milidetik. HELIOS mengatasi ini dengan memindahkan LLM dari jalur kritis: LLM mengevolusikan kebijakan orkestrasi yang dapat dieksekusi—program Python kecil di atas antarmuka fitur tetap—terhadap simulator multi-cloud berbasis trace. Hanya program juara yang berjalan di produksi, dibungkus pagar yang menegakkan kelayakan kapasitas, aturan penempatan kelas SLO, dan anggaran churn terlepas dari proposal kode yang dievolusikan. Karya ini menyasar sistem terdistribusi multi-cloud di mana biaya, latensi, dan keandalan harus diseimbangkan di bawah heterogenitas penyedia dan volatilitas pasar spot.

HELIOS memisahkan evolusi kebijakan dari eksekusi kebijakan. LLM bertindak sebagai generator kebijakan, mengusulkan program Python kandidat yang memetakan vektor fitur tetap ke aksi orkestrasi. Program-program ini dievaluasi dalam simulator multi-cloud berbasis trace yang menggabungkan trace beban kerja nyata (PlanetLab, Bitbrains, Azure) dengan data harga dan frekuensi interupsi 2026 dari AWS, Azure, dan GCP. Simulator memodelkan harga on-demand dan spot, biaya egress, kegagalan tingkat penyedia, dan kelas SLO. Evolusi berlangsung lintas generasi: LLM menerima deskripsi lingkungan dan umpan balik fitness, lalu mengusulkan mutasi atau kebijakan baru. Kebijakan juara dipilih berdasarkan biaya operasi terpenalti dan kepatuhan SLO. Di produksi, juara dibungkus pagar yang menegakkan kelayakan kapasitas, aturan penempatan kelas SLO, dan anggaran churn. Pagar ini bukan bagian dari kode yang dievolusikan; ini adalah batasan eksternal yang menolak atau memperbaiki aksi yang tidak layak. Makalah ini merilis simulator, kebijakan, arsip prompt/respons LLM, dan log fitness per generasi untuk reproduktibilitas penuh. Tujuan optimasi dapat diformalkan sebagai meminimalkan biaya terpenalti:

Mengapa penting

Pendekatan HELIOS menantang asumsi bahwa LLM harus berada di jalur kritis agar berguna untuk orkestrasi. Dengan mengevolusikan kebijakan yang dapat dieksekusi secara offline dan hanya menjalankan juara di produksi, HELIOS menghindari biaya dan latensi inferensi per keputusan yang prohibitif. Pagar bukan sekadar jaring pengaman; pagar sangat penting untuk operasi yang andal. Downtime tingkat premium 97-98% di bawah uji stres spot-hazard 10x tanpa pagar menunjukkan bahwa kode yang dievolusikan dapat mengeksploitasi keanehan simulator atau menghasilkan logika rapuh yang gagal di bawah pergeseran distribusi. Pagar menegakkan kelayakan kapasitas, aturan penempatan kelas SLO, dan anggaran churn, memastikan bahwa bahkan jika kebijakan yang dievolusikan mengusulkan aksi yang tidak layak, sistem tetap berada dalam batas operasi yang aman. Paket reproduktibilitas makalah—simulator, kebijakan, arsip prompt/respons LLM, dan log fitness per generasi—memungkinkan penelitian lebih lanjut. Kandidat taksonomi (Architecture, Cybersecurity, Network, Cryptography) menunjukkan potensi penerapan lintas domain: evolusi kebijakan berpagar dapat relevan untuk network slicing, orkestrasi kebijakan keamanan, dan manajemen kunci kriptografi di lingkungan multi-cloud. Namun, pendekatan ini bergantung pada kesetiaan simulator; jika simulator tidak menangkap kompleksitas dunia nyata, kebijakan yang dievolusikan mungkin tidak bertransfer. Pekerjaan mendatang dapat mengeksplorasi adaptasi online, optimasi multi-tujuan, dan integrasi dengan API spesifik penyedia. Pengurangan biaya 45% dibandingkan best-fit satu cloud dan 9-19% dibandingkan heuristik multi-cloud terkalibrasi menunjukkan bahwa orkestrasi multi-cloud tetap menjadi lahan subur untuk optimasi, dan bahwa evolusi yang digerakkan LLM dengan pagar adalah arah yang menjanjikan.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…