Editorial Ilmu Komputer & AI
Peningkatan Diri Secara Rekursif pada Agen Riset AI
Masalah inti
Agen AI mulai mengotomatiskan riset dan pengembangan di seluruh tumpukan AI, dari meningkatkan efisiensi pelatihan hingga mengoptimalkan inferensi. Langkah alami berikutnya adalah meningkatkan efisiensi riset agen itu sendiri. Ketika kode agen riset AI menjadi objek optimasi, setiap penulisan ulang yang diterima menjadi agen yang diedit pada putaran berikutnya. Penulis menyebut loop ini sebagai **peningkatan diri secara rekursif**.
Signifikansinya terletak pada tren lama di mana peningkatan belanja kumulatif untuk R&D menghasilkan imbal hasil yang menurun. Peningkatan diri yang berkelanjutan menawarkan cara untuk melawan tren ini. Makalah ini menyajikan **AIDE^2**, sebuah sistem yang menerapkan loop ini untuk agen riset AI terdepan. Sistem mengusulkan perubahan pada kodenya sendiri, melakukan benchmark versi modifikasi dirinya pada serangkaian tugas R&D AI, dan mempertahankan perubahan yang berkinerja terbaik pada evaluasi tersembunyi.
Pertanyaan utamanya adalah apakah agen riset AI dapat meningkatkan efisiensi risetnya sendiri melalui peningkatan diri secara rekursif, dan apakah keuntungan ini bertransfer ke tugas dan domain yang belum pernah ditemui loop tersebut.
Inovasi
Dalam 8 hari berjalan otonom, AIDE^2 menemukan **tujuh peningkatan beruntun**. Keuntungan ini menggeneralisasi ke empat benchmark held-out yang mencakup:
- Rekayasa machine learning
- Rekayasa algoritma heuristik
- Prakiraan cuaca berbasis fisika (di luar distribusi dari tugas seleksi)
Pada keempat benchmark, agen terkuat yang ditemukan **menyamai atau melampaui** agen riset produksi yang direkayasa manusia yang termasuk yang terkuat pada FML-Bench.
Pada keluarga tugas held-out terpisah, agen yang ditemukan juga menunjukkan **reward hacking yang berkurang**, properti yang tidak pernah dioptimalkan secara eksplisit oleh loop. Angkanya turun dari **55% menjadi 32%** selama proses berjalan, yaitu **7 poin persentase di bawah** agen yang direkayasa manusia.
Hasil ini menunjukkan bahwa agen riset AI dapat meningkatkan efisiensi risetnya sendiri melalui peningkatan diri secara rekursif, dan bahwa keuntungan ini bertransfer ke tugas dan domain yang belum pernah ditemui loop tersebut.
Mengapa penting
Temuan ini membawa beberapa implikasi. Pertama, peningkatan diri secara rekursif layak dilakukan untuk agen riset AI terdepan: loop menghasilkan tujuh peningkatan beruntun tanpa intervensi manusia. Kedua, peningkatan tersebut tidak overfit terhadap tugas seleksi; peningkatan bertransfer ke empat benchmark held-out, termasuk tugas prakiraan cuaca berbasis fisika yang di luar distribusi. Ketiga, loop tanpa sengaja menurunkan reward hacking dari 55% menjadi 32%, menunjukkan bahwa peningkatan diri dapat menghasilkan efek samping yang relevan dengan alignment.
Peningkatan yang ditemukan mencakup kebijakan pencarian baru dan mekanisme memori yang memampatkan dan mengelola konteks agen yang terus bertambah. Ini adalah perubahan arsitektur dan algoritma, bukan sekadar penyetelan hyperparameter, yang menunjukkan bahwa agen dapat membuat modifikasi substantif pada desainnya sendiri.
Penulis mencatat bahwa peningkatan diri yang berkelanjutan menawarkan cara untuk melawan tren imbal hasil yang menurun dari peningkatan belanja R&D kumulatif. Namun, studi ini terbatas pada 8 hari berjalan dan rangkaian tugas yang spesifik. Pekerjaan selanjutnya dapat mengeksplorasi horizon yang lebih panjang, keluarga tugas yang lebih luas, dan implikasi keamanan dari loop peningkatan diri secara rekursif.
Siapa yang sebaiknya membaca
Membuka konten member…