AERIS: Peningkatan Kebijakan Offline untuk Integrated Sensing and Communication Multi-UAV

Kerangka RL multi-agen offline yang sadar dukungan untuk mempelajari kendali ISAC yang aman dari log penerbangan tetap, meningkatkan return sebesar 29,3% sekaligus menurunkan peristiwa berisiko tabrakan sebesar 54,2%

Ziyuan Wang; Yifan Sui; Wei Wei; Wenjie Xin; Zekai Zhang; Xiangwang Hou; Xiao-Ping; Zhang· 2026· DOI 10.48550/arXiv.2608.25477

Masalah inti

Integrated sensing and communication (ISAC) berbasis unmanned aerial vehicle (UAV) diposisikan sebagai paradigma yang menjanjikan untuk jaringan 6G, di mana platform udara harus secara simultan menyediakan layanan komunikasi dan menjalankan tugas penginderaan. Tantangan utama yang dibahas dalam karya ini adalah kendali ISAC multi-UAV yang dinamis: sebuah pengendali harus secara bersama-sama menyeimbangkan kualitas komunikasi, keandalan penginderaan, dan keselamatan penerbangan di bawah mobilitas stokastik. Para penulis mengamati bahwa metode optimisasi yang ada umumnya memerlukan penyelesaian non-konveks global berulang, yang berat secara komputasi dan kurang cocok untuk lingkungan multi-agen stokastik waktu nyata. Di sisi lain, reinforcement learning (RL) online menawarkan adaptivitas tetapi bergantung pada penerbangan coba-coba yang berisiko yang dapat menyebabkan kehilangan penginderaan atau peristiwa berisiko tabrakan selama pelatihan. Untuk menghindari masalah keselamatan dan biaya tersebut, makalah ini mengusulkan AERIS, kerangka peningkatan kebijakan offline untuk ISAC multi-UAV. AERIS belajar dari log penerbangan tetap di bawah pelatihan terpusat dan eksekusi terdesentralis

Inovasi

Para penulis mengevaluasi STAR-CRDT terhadap baseline pada tugas kendali ISAC multi-UAV. Hasil utamanya adalah peningkatan 29,3% pada return objektif ISAC utama dibandingkan baseline terkuat. Di luar return agregat, metode ini meningkatkan beberapa metrik komponen: sum rate komunikasi naik 3,4%, tingkat kelulusan penginderaan naik 4,8%, dan margin penginderaan naik 69,1%. Keselamatan juga meningkat, dengan peristiwa berisiko tabrakan berkurang 54,2%. Angka-angka ini menunjukkan bahwa peningkatan kebijakan offline tidak sekadar menukar keselamatan dengan kinerja; sebaliknya, ia meningkatkan kinerja tugas dan keselamatan secara bersamaan relatif terhadap baseline terkuat. Generalisasi diuji pada peta jalan nyata yang belum pernah dilihat yang dibangun dari data OpenStreetMap. Pada peta-peta ini, STAR-CRDT tetap memperoleh return terbaik, menunjukkan bahwa kebijakan yang dipelajari bertransfer di luar distribusi pelatihan log penerbangan. Makalah ini melaporkan hasil tersebut sebagai bukti bahwa koreksi yang sadar dukungan dan distilasi tepercaya dapat menghasilkan peningkatan yang andal tanpa penerbangan coba-coba online.

Integrated sensing and communication (ISAC) berbasis unmanned aerial vehicle (UAV) diposisikan sebagai paradigma yang menjanjikan untuk jaringan 6G, di mana platform udara harus secara simultan menyediakan layanan komunikasi dan menjalankan tugas penginderaan. Tantangan utama yang dibahas dalam karya ini adalah kendali ISAC multi-UAV yang dinamis: sebuah pengendali harus secara bersama-sama menyeimbangkan kualitas komunikasi, keandalan penginderaan, dan keselamatan penerbangan di bawah mobilitas stokastik. Para penulis mengamati bahwa metode optimisasi yang ada umumnya memerlukan penyelesaian non-konveks global berulang, yang berat secara komputasi dan kurang cocok untuk lingkungan multi-agen stokastik waktu nyata. Di sisi lain, reinforcement learning (RL) online menawarkan adaptivitas tetapi bergantung pada penerbangan coba-coba yang berisiko yang dapat menyebabkan kehilangan penginderaan atau peristiwa berisiko tabrakan selama pelatihan. Untuk menghindari masalah keselamatan dan biaya tersebut, makalah ini mengusulkan AERIS, kerangka peningkatan kebijakan offline untuk ISAC multi-UAV. AERIS belajar dari log penerbangan tetap di bawah pelatihan terpusat dan eksekusi terdesentralisasi (CTDE), sehingga setiap UAV bertindak berdasarkan riwayat lokalnya sementara pelatihan menggunakan informasi global yang tercatat untuk menilai efek tingkat tim. Makalah ini lebih lanjut memperkenalkan STAR-CRDT, algoritma RL multi-agen offline yang melakukan koreksi aksi lokal yang sadar dukungan dan menyaring hanya peningkatan yang tepercaya ke dalam aktor terdesentralisasi. Para penulis membuktikan jaminan peningkatan kebijakan dengan dukungan offline dan memvalidasi pendekatan tersebut secara eksperimental, melaporkan peningkatan 29,3% pada return objektif ISAC utama dibandingkan baseline terkuat, bersama dengan perolehan pada sum rate komunikasi, tingkat kelulusan penginderaan, dan margin penginderaan, serta penurunan peristiwa berisiko tabrakan.

AERIS dirancang sebagai kerangka peningkatan kebijakan offline yang beroperasi pada dataset log penerbangan tetap alih-alih berinteraksi dengan lingkungan selama pembelajaran. Arsitekturnya mengikuti paradigma pelatihan terpusat dan eksekusi terdesentralisasi: selama pelatihan, kritik terpusat dapat mengakses informasi global yang tercatat untuk mengevaluasi efek tingkat tim, sementara aktor terdesentralisasi setiap UAV hanya bergantung pada riwayat lokalnya pada waktu eksekusi. Pemisahan ini dimaksudkan untuk mempertahankan skalabilitas dan kelayakan penerapan praktis sekaligus tetap menangkap efek kooperatif.

Mengapa penting

Hasil tersebut mendukung klaim utama bahwa peningkatan kebijakan offline dapat menjadi jalur praktis menuju kendali ISAC multi-UAV yang aman. Dengan belajar dari log penerbangan tetap, AERIS menghindari eksplorasi berisiko yang melekat pada RL online, yang sangat penting ketika kehilangan penginderaan atau tabrakan tidak dapat diterima. Desain CTDE memungkinkan pelatihan memanfaatkan informasi global yang tercatat sementara eksekusi tetap terdesentralisasi, sesuai dengan realitas operasional tim UAV dengan komunikasi antar-agen yang terbatas. Perolehan yang dilaporkan—29,3% pada return utama, 3,4% pada sum rate komunikasi, 4,8% pada tingkat kelulusan penginderaan, 69,1% pada margin penginderaan, dan penurunan 54,2% pada peristiwa berisiko tabrakan—menunjukkan bahwa mekanisme koreksi yang sadar dukungan dan distilasi peningkatan tepercaya efektif dalam mengekstraksi peningkatan kebijakan yang berguna dari data offline. Jaminan peningkatan kebijakan dengan dukungan offline memberikan alasan teoretis mengapa peningkatan tersebut dapat dipercaya, meskipun ketatnya batas secara praktis dan ketergantungannya pada cakupan dataset tetap menjadi pertimbangan penting. Generalisasi ke peta jalan nyata berbasis OpenStreetMap yang belum pernah dilihat merupakan kekuatan yang menonjol, karena menunjukkan bahwa pendekatan ini tidak sekadar menghafal log pelatihan. Pekerjaan selanjutnya dapat mengeksplorasi penskalaan ke tim yang lebih besar, modalitas penginderaan yang lebih kaya, dan lingkungan yang lebih beragam, serta mengukur sensitivitas metode terhadap kualitas dan cakupan dataset offline. Secara keseluruhan, AERIS dan STAR-CRDT menawarkan kerangka offline yang menjanjikan dan sadar keselamatan untuk kendali ISAC multi-UAV dalam sistem 6G.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…