Editorial Ilmu Komputer & AI
Panduan Dalam Konteks: Mempelajari Sinergi Antar-Tugas melalui Model Fondasional Numerik untuk Optimasi Multitugas Few-Shot
Masalah inti
Optimasi multitugas (MTO) berupaya menyelesaikan sekumpulan tugas optimasi secara simultan dengan memanfaatkan sinergi antar-tugas. Tantangan utamanya adalah estimasi hubungan antar-tugas yang akurat di bawah anggaran evaluasi yang terbatas. Ketika estimasi tersebut tidak akurat, transfer pengetahuan antar-tugas dapat menurunkan kinerja, sebuah fenomena yang dikenal sebagai transfer negatif. Metode MTO konvensional hanya mengandalkan data observasi yang langka untuk mengestimasi kopling, yang sangat bermasalah dalam skenario few-shot ketika setiap tugas hanya dievaluasi beberapa kali.
Makalah ini memperkenalkan In-Context Guidance Multitask Optimization (ICG-MTO), sebuah kerangka kerja yang memanfaatkan model fondasional numerik untuk memperbaiki estimasi kopling antar-tugas. Berbeda dari metode yang hanya bergantung pada evaluasi teramati, ICG-MTO memakai model fondasional yang dibekukan untuk menyimpulkan panduan tambahan melalui pembelajaran dalam konteks. Kerangka ini dirancang untuk memberikan regularisasi selama tahap awal optimasi yang minim data dan secara bertahap melepaskan kendali seiring akumulasi observasi spesifik tugas. Penulis menginstansiasi ICG-MTO dalam dua peng
Inovasi
Mengapa penting
Wawasan kunci ICG-MTO adalah penggunaan model fondasional numerik yang dibekukan untuk memasok panduan tambahan ketika data spesifik tugas langka. Hal ini mengatasi keterbatasan mendasar MTO konvensional: ketergantungan pada observasi terbatas untuk mengestimasi hubungan antar-tugas. Dengan memanfaatkan pembelajaran dalam konteks, kerangka ini dapat menyimpulkan hubungan prediktif antar-tugas tanpa pelatihan tambahan, sehingga praktis untuk pengaturan few-shot.
Desain tiga tahap—konstruksi kueri, inferensi panduan, dan penerjemahan panduan—bersifat agnostik terhadap algoritma, sehingga memungkinkan instansiasi baik pada optimasi Bayesian maupun multitasking evolusioner. Pelepasan kendali secara bertahap seiring akumulasi observasi memastikan bahwa panduan tidak membiaskan optimasi setelah data yang cukup tersedia. Regularisasi adaptif ini krusial untuk menjaga kinerja di berbagai rezim anggaran.
Batasan meliputi ketergantungan pada kualitas model fondasional yang dibekukan dan desain kueri dalam konteks. Pekerjaan selanjutnya dapat mengeksplorasi instansiasi algoritma lain dan keluarga tugas yang lebih luas. Secara keseluruhan, ICG-MTO merepresentasikan arah yang menjanjikan untuk mengintegrasikan model fondasional ke dalam optimasi, menjembatani kesenjangan antara data yang langka dan estimasi kopling antar-tugas yang andal.
Siapa yang sebaiknya membaca
Membuka konten member…