Cakap namun Parsimoni: Mengekstraksi dan Mengarakterisasi Chain-of-Thought Tersembunyi pada Model Frontier

Lensa perilaku tentang bagaimana model frontier mengeksternalisasi, memampatkan, dan mengorganisasi penalaran antara

Xiaoyu Luo; Tao Ren; Wenrui Yu; Xiao Li; Qiongxiu Li; Johannes Bjerva· 2026· DOI 10.48550/arXiv.2609.26637

Masalah inti

Peningkatan kapabilitas pesat model bahasa frontier secara luas dikaitkan dengan kemampuan penalaran yang membaik, namun hal ini tidak dapat diverifikasi karena jejak chain-of-thought (CoT) mentah pada sistem sumber tertutup disembunyikan. Ketidaktransparanan ini menciptakan celah evaluasi yang mendasar: skor benchmark naik, tetapi proses penalaran yang mendasarinya tetap tidak dapat diamati. Penulis mengatasi celah ini dengan mendaftarkan tool kustom sederhana melalui fitur API standar, yang memicu model frontier untuk mengeksternalisasi penalaran antara. Pertanyaan penelitian utamanya adalah apakah jejak yang dieksternalisasi tersebut mencerminkan penalaran yang sebenarnya atau sekadar rasionalisasi post-hoc. Untuk menjawabnya, studi ini pertama mengevaluasi terhadap CoT native pada model sumber terbuka dan kemudian memperluas analisis ke model frontier sumber tertutup, termasuk GPT-6 Astra. Karya ini memosisikan diri sebagai penyedia lensa perilaku terhadap penalaran model frontier di luar skor benchmark, dengan fokus pada efisiensi token, tipe langkah penalaran, dan pohon penalaran yang diinduksi.

Inovasi

Penalaran yang diekstraksi menyamai performa penalaran native dan secara substansial mengungguli baseline tanpa penalaran pada matematika kompetisi, sains, dan pembuatan kode. Hal ini berlaku baik untuk model sumber terbuka, tempat CoT native tersedia untuk perbandingan langsung, maupun model frontier sumber tertutup, termasuk GPT-6 Astra. Temuan bahwa jejak yang diekstraksi bukan sekadar rasionalisasi post-hoc didukung oleh kesetaraannya dengan CoT native pada model sumber terbuka. Pada efisiensi token, tipe langkah penalaran, dan pohon penalaran yang diinduksi, penulis mengidentifikasi perbedaan sistematis dalam cara model mengeksternalisasi, memampatkan, dan mengorganisasi penalaran. Secara notable, Astra menunjukkan penalaran terarah yang hemat token: ia memilih trajektori yang benar lebih awal, menyelesaikan langkah-langkah elementer secara internal, dan hanya mengeksternalisasi penalaran yang krusial. Pola ini menunjukkan bahwa model frontier mungkin tidak sekadar menghasilkan lebih banyak token penalaran; sebaliknya, mereka mungkin mengalokasikan token secara strategis, memampatkan operasi tingkat rendah dan hanya memunculkan langkah-langkah yang kritis bagi keputusan. Hasil

Peningkatan kapabilitas pesat model bahasa frontier secara luas dikaitkan dengan kemampuan penalaran yang membaik, namun hal ini tidak dapat diverifikasi karena jejak chain-of-thought (CoT) mentah pada sistem sumber tertutup disembunyikan. Ketidaktransparanan ini menciptakan celah evaluasi yang mendasar: skor benchmark naik, tetapi proses penalaran yang mendasarinya tetap tidak dapat diamati. Penulis mengatasi celah ini dengan mendaftarkan tool kustom sederhana melalui fitur API standar, yang memicu model frontier untuk mengeksternalisasi penalaran antara. Pertanyaan penelitian utamanya adalah apakah jejak yang dieksternalisasi tersebut mencerminkan penalaran yang sebenarnya atau sekadar rasionalisasi post-hoc. Untuk menjawabnya, studi ini pertama mengevaluasi terhadap CoT native pada model sumber terbuka dan kemudian memperluas analisis ke model frontier sumber tertutup, termasuk GPT-6 Astra. Karya ini memosisikan diri sebagai penyedia lensa perilaku terhadap penalaran model frontier di luar skor benchmark, dengan fokus pada efisiensi token, tipe langkah penalaran, dan pohon penalaran yang diinduksi.

Inti metodologisnya adalah intervensi pendaftaran tool: sebuah tool kustom sederhana didaftarkan melalui fitur API standar, menyebabkan model frontier mengeluarkan langkah penalaran antara sebagai tool call atau output terstruktur. Pendekatan ini dirancang agar seminimal mungkin invasif dan dapat diterapkan secara luas pada model yang dapat diakses melalui API. Penulis memvalidasi jejak yang diekstraksi terhadap CoT native pada model sumber terbuka, tempat jejak penalaran ground-truth tersedia. Mereka kemudian memperluas protokol yang sama ke model frontier sumber tertutup, termasuk GPT-6 Astra. Evaluasi mencakup matematika kompetisi, sains, dan pembuatan kode. Studi ini membandingkan tiga kondisi: penalaran yang diekstraksi, penalaran native, dan baseline tanpa penalaran. Di luar akurasi, penulis mengarakterisasi struktur penalaran pada tiga sumbu: efisiensi token, tipe langkah penalaran, dan pohon penalaran yang diinduksi. Secara formal, jika proses penalaran suatu model adalah barisan langkah s_{1}, s_{2}, \dots, s_{n} dengan biaya token t_{1}, t_{2}, \dots, t_{n}, efisiensi token dapat dinyatakan sebagai E = \frac{\sum _{i = 1}^{n} t _{i}}{n} atau sebagai rasio token penalaran yang berguna terhadap total token. Pohon penalaran yang diinduksi dapat direpresentasikan sebagai graf berarah G = (V, E) dengan simpul V adalah langkah penalaran dan sisi E menyatakan dependensi logis. Pipeline ekstraksi dirangkum di bawah ini:

Mengapa penting

Kontribusi utama studi ini bersifat metodologis dan perilaku: pendaftaran tool sederhana berbasis API dapat secara andal memicu model frontier untuk mengeksternalisasi penalaran antara, memungkinkan perbandingan langsung dengan CoT native dan baseline tanpa penalaran. Kesetaraan antara penalaran yang diekstraksi dan penalaran native pada model sumber terbuka memperkuat validitas pendekatan ekstraksi, sementara perluasannya ke model sumber tertutup seperti GPT-6 Astra menunjukkan jangkauan praktisnya. Karakterisasi efisiensi token, tipe langkah penalaran, dan pohon penalaran yang diinduksi mengungkap perbedaan sistematis dalam cara model mengeksternalisasi, memampatkan, dan mengorganisasi penalaran. Penalaran terarah yang hemat token pada Astra—memilih trajektori yang benar lebih awal, menyelesaikan langkah-langkah elementer secara internal, dan hanya mengeksternalisasi penalaran yang krusial—menunjukkan suatu bentuk parsimoni yang dipelajari yang mungkin menjadi inti dari peningkatan kapabilitas frontier. Hal ini berimplikasi pada interpretabilitas, evaluasi, dan keamanan: jika model dapat dipicu untuk mengungkap penalaran, auditor memperoleh lensa perilaku di luar skor benchmark. Namun, penulis memperingatkan bahwa jejak yang diekstraksi mungkin masih mencerminkan rasionalisasi post-hoc dalam beberapa pengaturan, dan ketergantungan metode pada fitur API standar berarti efektivitasnya dapat bervariasi antar penyedia dan versi model. Pekerjaan selanjutnya dapat memperluas taksonomi tipe langkah penalaran dan pohon penalaran yang diinduksi ke lebih banyak domain dan ke penalaran multimodal. Kandidat taksonomi untuk karya ini—Arsitektur, Keamanan Siber, Jaringan, dan Kriptografi—menyoroti relevansinya terhadap penalaran yang sensitif terhadap keamanan, di mana pemahaman tentang bagaimana model mengeksternalisasi dan memampatkan langkah-langkah antara sangat penting untuk audit dan kepercayaan.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…