Probing State Conformal Daring yang Sadar Risiko

Agen otonom berbasis AI, yang sering dihosting di pusat data, harus memperoleh informasi state dari robot atau perangkat edge untuk mengeluarkan keputusan kontrol yang terinformasi. Mengelola ketidakpastian tentang state sangat konsekuensial dalam lingkungan yang kritis terhadap keselamatan, di mana jaminan kasus rata-rata tidak memadai. Makalah ini mempelajari proses pengambil keputusan sekuensial yang secara bersama memutuskan tindakan mana yang harus diambil dan kapan harus melakukan probing, dengan akses ke model prediksi state arbitrer. Penulis mengusulkan online conformal state probing (OCSP), sebuah kebijakan tindakan dan probing yang mensertifikasi tingkat keandalan kasus terburuk tanpa bergantung pada asumsi distribusi. OCSP dirancang untuk secara terbukti mengontrol missed query error (MQE), yang didefinisikan sebagai fraksi instans di mana probing akan bermanfaat, sekaligus meminimalkan laju probing. Keunggulan utamanya adalah OCSP dapat diterapkan pada kebijakan kontrol berbasis nilai yang telah dilatih sebelumnya tanpa memerlukan pelatihan ulang atau fine-tuning. Karya ini divalidasi melalui simulasi numerik untuk memverifikasi jaminan teoretis dan menilai trade-off kinerja sebagai fungsi dari kalibrasi prediktor state.

OCSP beroperasi dalam loop pengambilan keputusan sekuensial di mana pada setiap langkah waktu agen mengamati prediksi state (mungkin dari model yang telah dilatih sebelumnya), memutuskan apakah akan melakukan probing terhadap state sebenarnya, lalu memilih tindakan. Kebijakan ini dibangun di atas prinsip conformal prediction untuk memberikan jaminan bebas distribusi dan sampel terbatas pada MQE. Secara formal, misalkan

adalah state yang diprediksi pada waktu $t$, dan $s_t$ adalah state sebenarnya. Keputusan probing $p_t\in \{0,1\}$ menunjukkan apakah agen menanyakan state sebenarnya. MQE didefinisikan sebagai fraksi jangka panjang dari langkah waktu di mana probing akan bermanfaat (yaitu, di mana tindakan berdasarkan berbeda dari tindakan optimal berdasarkan $s_t$). OCSP memelihara kalibrasi conformal daring yang beradaptasi dengan urutan yang diamati, memastikan bahwa MQE dibatasi oleh tingkat risiko yang ditentukan pengguna $\alpha$ dengan probabilitas tinggi. Laju probing diminimalkan dengan batasan ini. Metode ini tidak memerlukan asumsi distribusi dan dapat membungkus kebijakan kontrol berbasis nilai yang telah dilatih sebelumnya. Arsitektur keseluruhannya diilustrasikan di bawah ini: