Tangga Pemikiran: Kurikulum yang Berkembang Sendiri dari Jejak Penalaran yang Disederhanakan Secara Progresif

Large language models (LLM) mencapai penalaran yang kuat ketika diskalakan hingga ratusan miliar parameter, tetapi model berskala kecil dan menengah tetap menjadi penalar yang rapuh bahkan dengan distilasi pengetahuan (KD). Karya ini memperkenalkan Ladders-of-Thought (LoT), sebuah kerangka kerja yang meningkatkan penalaran dengan menggabungkan penulisan ulang pertanyaan secara progresif dengan kurikulum yang berkembang sendiri. LoT secara otomatis menghasilkan varian masalah penalaran yang setia secara semantik namun lebih mudah, mengorganisasikannya ke dalam keranjang kesulitan menggunakan ukuran berbasis langkah, dan menggunakan penjadwal bandit yang berkembang sendiri untuk mengalokasikan pelatihan secara adaptif. Para penulis mengevaluasi LoT pada dua domain penalaran—matematika dan penalaran multi-hop—pada model 1–8B dari berbagai keluarga. Hipotesis utamanya adalah bahwa penulisan ulang progresif yang digabungkan dengan kurikulum adaptif menyediakan resep yang sederhana namun efektif untuk memperkuat penalaran pada LLM yang lebih kecil.

LoT beroperasi dalam tiga tahap: (1) **Penulisan ulang pertanyaan secara progresif**: Untuk setiap masalah penalaran asli, kerangka kerja ini menghasilkan urutan varian yang setara secara semantik namun secara progresif lebih sederhana. Kesederhanaan diukur dengan jumlah langkah penalaran yang diperlukan, misalnya, masalah yang memerlukan $k$ langkah ditulis ulang menjadi varian yang memerlukan $k-1,k-2,\dots ,1$ langkah. (2) **Pengelompokan kesulitan**: Masalah yang ditulis ulang dikelompokkan ke dalam keranjang berdasarkan metrik kesulitan berbasis langkah, membentuk tangga kompleksitas yang meningkat. (3) **Penjadwal bandit yang berkembang sendiri**: Algoritma multi-armed bandit secara dinamis mengalokasikan komputasi pelatihan di seluruh keranjang. Penjadwal memperlakukan setiap keranjang sebagai lengan dan memperbarui kebijakannya berdasarkan kinerja model, memungkinkan kurikulum berkembang seiring model membaik. Secara formal, penjadwal mempertahankan distribusi probabilitas $p_t(b)$ atas keranjang $b$ pada langkah pelatihan $t$, yang diperbarui melalui sinyal imbalan $r_t(b)$ (misalnya, akurasi validasi pada keranjang $b$). Tujuan pelatihan menggabungkan loss KD dengan strategi pengambilan sampel berbobot kurikulum: