Greedy Decoding Tidak Invarian terhadap Presisi: Divergensi Output Lintas Presisi pada Inferensi LLM

Greedy decoding dari large language model (LLM) umumnya diperlakukan sebagai operasi deterministik: dengan bobot model, prompt, dan algoritma decoding yang sama, orang mengharapkan output yang identik. Makalah ini menantang asumsi tersebut dengan menunjukkan bahwa greedy decoding **tidak invarian terhadap presisi**. Model, prompt, dan algoritma decoding yang sama menghasilkan output berbeda ketika dijalankan pada BF16 versus FP16 di perangkat keras yang identik. Pada enam model (1,1B–7B parameter, empat keluarga; divergensi juga dikarakterisasi pada 12B) dan tiga benchmark, penulis menemukan bahwa 49–100% prompt mengalami divergensi antara kedua presisi tersebut. Satu pembalikan token sering kali berjenjang menjadi divergensi tingkat lintasan, ketika token-token berikutnya berbeda sepenuhnya. Fenomena ini melemahkan reproduksibilitas dan keandalan pada inferensi LLM, terutama pada aplikasi yang memerlukan pencocokan output eksak. Penulis mengembangkan analisis propagasi galat empiris untuk menjelaskan mengapa divergensi ini terjadi dan mengusulkan intervensi bertarget untuk meredamnya. Pekerjaan ini dimotivasi oleh kebutuhan akan solusi praktis yang mempertahankan efisiensi komputasi sekaligus meningkatkan kesepakatan lintas presisi.

Penulis melakukan studi empiris sistematis tentang divergensi lintas presisi pada greedy decoding. Mereka mengevaluasi enam model mulai dari 1,1B hingga 7B parameter pada empat keluarga model, dengan karakterisasi tambahan pada 12B parameter. Tiga benchmark digunakan untuk menilai tingkat divergensi. Metodologi intinya melibatkan menjalankan prompt identik melalui model yang sama pada BF16 dan FP16 di perangkat keras yang identik dan membandingkan urutan token yang dihasilkan. Untuk memahami penyebab yang mendasarinya, mereka melakukan analisis propagasi galat di seluruh lapisan model. Mereka menemukan bahwa 22 lapisan galat body terakumulasi tidak membedakan langkah yang membalik dari yang tidak membalik. Sebaliknya, hasilnya terutama bergantung pada **margin logit dua teratas** pada LM head relatif terhadap perturbasi terarah antara dua kandidat teratas. Wawasan ini menghasilkan lima prediksi yang dapat diuji tentang hasil intervensi, termasuk prediksi kontraintuitif bahwa penerapan komputasi FP32 yang lebih banyak (cakupan lebih luas) justru memperburuk kesepakatan. Eksperimen cocok dengan kelima prediksi tersebut. Berdasarkan analisis ini, mereka merancang intervensi berbiaya rendah: **komputasi ulang LM head FP32 selektif**, yang dipicu hanya ketika margin berada di bawah ambang batas. Mereka mengevaluasi metode ini pada enam model dan empat ukuran batch, mengukur kesepakatan eksak dan overhead latensi. Analisis dapat diformalkan sebagai berikut: misalkan $z_1$ dan $z_2$ adalah dua logit teratas, dan misalkan $\Delta =z_1-z_2$ adalah margin. Perturbasi terarah $\delta$ antara dua kandidat teratas pada presisi tereduksi menentukan apakah pembalikan terjadi. Pembalikan terjadi ketika $\Delta <\delta$. Komputasi ulang selektif dipicu ketika $\Delta <\tau$, dengan $\tau$ adalah ambang batas. Intervensi ini menghitung ulang LM head dalam FP32 untuk langkah-langkah tersebut, sehingga mengurangi perturbasi efektif. Penulis juga memetakan batas keberlakuan pada berbagai model dan ukuran batch, dengan hipotesis bahwa stabilitas presisi saat pelatihan merupakan faktor penentu.