Dari Pakar ke Sub-pakar: Fine-tuning Parameter-Efisien Berbutir Halus untuk LLM MoE

Large language models (LLMs) terus berkembang, membuat adaptasi penuh parameter secara dense semakin mahal. Arsitektur sparse dan modular seperti model Mixture-of-Experts (MoE) muncul sebagai arah yang menjanjikan untuk mengelola biaya komputasi sambil mempertahankan kapasitas tinggi. Namun, pergeseran ini memunculkan pertanyaan kritis bagi parameter-efficient fine-tuning (PEFT): pada granularitas apa parameter harus dipilih dan diperbarui? Metode PEFT yang ada seperti LoRA beroperasi pada matriks bobot yang telah ditentukan, sedangkan metode penyetelan sparse tingkat pakar memperbarui seluruh pakar terpilih. Penulis mengamati bahwa pakar yang diaktifkan bersifat sparse secara internal—hanya sebagian kecil kanal perantara yang merespons kuat terhadap tugas hilir. Ini menunjukkan bahwa adaptasi tingkat pakar masih terlalu kasar. Untuk mengatasi hal ini, mereka mengusulkan NSFT (Neural Sub-expert Fine-Tuning), kerangka PEFT berbutir halus yang menyempurnakan adaptasi MoE dari pakar ke sub-pakar. NSFT menguraikan setiap pakar sepanjang dimensi perantara menjadi kelompok kanal terstruktur dan memilih sub-pakar yang relevan dengan tugas dengan menggabungkan kepentingan routing dengan saliency aktivasi intra-pakar. Untuk mengoptimalkan pembaruan parsial sparse, NSFT memperkenalkan penskalaan learning-rate dan penskalaan gradien dinamis untuk mengompensasi berkurangnya magnitudo pembaruan efektif. Eksperimen pada OLMoE dan Ling-mini-2.0 di seluruh tugas spesifik domain yang menantang dan tolok ukur umum menunjukkan bahwa NSFT secara konsisten mengungguli baseline PEFT representatif dan penyetelan sparse tingkat pakar, sambil menggunakan parameter yang dapat dilatih jauh lebih sedikit dan mempertahankan kemampuan umum yang kompetitif. Hasil ini menunjukkan bahwa adaptasi tingkat sub-pakar adalah paradigma PEFT yang lebih presisi dan efisien untuk LLM MoE.

NSFT beroperasi dengan menguraikan setiap pakar dalam lapisan MoE sepanjang dimensi perantara menjadi kelompok kanal terstruktur, yang disebut sub-pakar. Untuk input tertentu, router memilih sekumpulan pakar, dan di dalam setiap pakar terpilih, NSFT mengidentifikasi sub-pakar yang relevan dengan tugas dengan menggabungkan dua sinyal: kepentingan routing dan saliency aktivasi intra-pakar. Kepentingan routing mencerminkan seberapa kuat router mengaktifkan pakar untuk input saat ini, sedangkan saliency aktivasi mengukur besaran respons kanal perantara di dalam pakar tersebut. Kombinasi ini menghasilkan skor saliency untuk setiap sub-pakar, dan hanya yang di atas ambang batas yang diperbarui selama fine-tuning.