Dapatkah LLM Merevolusi Desain Model TinyML yang Dapat Dijelaskan dan Efisien?

NAS yang dipandu LLM, optimisasi Pareto, distilasi pengetahuan berbasis ViT, dan keterjelasan untuk deployment mikrokontroler

Christophe El Zeinaty; W. Hamidouche; Glenn Herrou; Daniel Ménard; Mérouane Debbah· IEEE International Joint Conference on Neural Network· 2025· DOI 10.1109/IJCNN64981.2025.11229057

Masalah inti

Tiny machine learning (TinyML) memberlakukan batasan ketat pada memori, komputasi, dan energi, sehingga desain jaringan saraf yang akurat untuk mikrokontroler menjadi keseimbangan yang sulit. Makalah ini memperkenalkan kerangka kerja untuk merancang arsitektur neural yang efisien khusus disesuaikan untuk platform TinyML. Pendekatannya menggabungkan model bahasa besar (LLM) untuk pencarian arsitektur neural (NAS), strategi distilasi pengetahuan (KD) berbasis vision transformer (ViT), dan modul keterjelasan. Tujuannya adalah mencapai keseimbangan optimal antara akurasi, efisiensi komputasi, dan penggunaan memori. Kerangka kerja ini dievaluasi pada dataset CIFAR-100 dan diterapkan pada mikrokontroler STM32H7 (MCU). Ini menghasilkan tiga model, LMaNet-Elite, LMaNet-Core, dan QwNet-Core, yang dibandingkan dengan model TinyML state-of-the-art (SOTA) seperti MCUNet-in3/in4 dan XiNet. Pekerjaan ini berargumen bahwa pencarian yang digerakkan LLM, optimisasi Pareto, KD, dan keterjelasan dapat bersama-sama menghasilkan model yang akurat, efisien, dan interpretable untuk TinyML.

Inovasi

Dievaluasi pada CIFAR-100 dan diterapkan pada MCU STM32H7, tiga model yang diusulkan mencapai skor akurasi masing-masing 74,50%, 74,20%, dan 73,00%. Hasil ini melampaui model SOTA saat ini, termasuk MCUNet-in3 (69,62%), MCUNet-in4 (72,86%), dan XiNet (72,27%). Model-model tersebut mempertahankan biaya komputasi rendah kurang dari 100 juta MACs dan mematuhi batasan ketat 320 KB static random-access memory (SRAM). Perbandingannya dirangkum di bawah ini: | Model | Akurasi | MACs | Batasan SRAM | |---|---:|---:|---:| | LMaNet-Elite | 74.50% | < 100M | 320 KB | | LMaNet-Core | 74.20% | < 100M | 320 KB | | QwNet-Core | 73.00% | < 100M | 320 KB | | MCUNet-in3 | 69.62% | - | - | | MCUNet-in4 | 72.86% | - | - | | XiNet | 72.27% | - | - | Hasil yang dilaporkan menunjukkan bahwa kerangka kerja yang diusulkan dapat menghasilkan model TinyML yang lebih akurat dan sesuai dengan anggaran memori dan komputasi mikrokontroler yang ketat.

Tiny machine learning (TinyML) memberlakukan batasan ketat pada memori, komputasi, dan energi, sehingga desain jaringan saraf yang akurat untuk mikrokontroler menjadi keseimbangan yang sulit. Makalah ini memperkenalkan kerangka kerja untuk merancang arsitektur neural yang efisien khusus disesuaikan untuk platform TinyML. Pendekatannya menggabungkan model bahasa besar (LLM) untuk pencarian arsitektur neural (NAS), strategi distilasi pengetahuan (KD) berbasis vision transformer (ViT), dan modul keterjelasan. Tujuannya adalah mencapai keseimbangan optimal antara akurasi, efisiensi komputasi, dan penggunaan memori. Kerangka kerja ini dievaluasi pada dataset CIFAR-100 dan diterapkan pada mikrokontroler STM32H7 (MCU). Ini menghasilkan tiga model, LMaNet-Elite, LMaNet-Core, dan QwNet-Core, yang dibandingkan dengan model TinyML state-of-the-art (SOTA) seperti MCUNet-in3/in4 dan XiNet. Pekerjaan ini berargumen bahwa pencarian yang digerakkan LLM, optimisasi Pareto, KD, dan keterjelasan dapat bersama-sama menghasilkan model yang akurat, efisien, dan interpretable untuk TinyML.

Kerangka kerja ini menggunakan pencarian yang dipandu LLM pada ruang pencarian hierarkis. Arsitektur kandidat disempurnakan melalui optimisasi Pareto berdasarkan akurasi, operasi multiply-accumulate (MACs), dan metrik memori. Arsitektur dengan kinerja terbaik kemudian disetel halus menggunakan KD berbasis logit dengan model ViT-B/16 yang telah dilatih sebelumnya, yang meningkatkan generalisasi tanpa menambah ukuran model. Modul keterjelasan disertakan untuk mendukung interpretasi. Optimisasi dapat diringkas sebagai:

Mengapa penting

Makalah ini menekankan potensi menggabungkan pencarian yang digerakkan LLM, optimisasi Pareto, KD, dan keterjelasan untuk mengembangkan model yang akurat, efisien, dan interpretable. Dengan menggunakan LLM untuk memandu NAS pada ruang hierarkis dan optimisasi Pareto untuk menyeimbangkan akurasi, MACs, dan memori, kerangka kerja ini secara langsung menargetkan batasan deployment TinyML. Guru ViT-B/16 menyediakan KD berbasis logit yang meningkatkan generalisasi tanpa menambah ukuran model siswa, sedangkan modul keterjelasan menjawab kebutuhan yang berkembang akan interpretabilitas dalam AI tertanam. Pendekatan ini membuka kemungkinan baru dalam NAS, memungkinkan desain arsitektur efisien yang khusus cocok untuk TinyML. Sumber menyatakan bahwa kerangka kerja yang diusulkan dan arsitektur dengan kinerja terbaik tersedia untuk umum di tautan, untuk memfasilitasi penelitian dan pengembangan lebih lanjut. Secara keseluruhan, pekerjaan ini memposisikan pencarian yang dipandu LLM sebagai jalur praktis menuju model TinyML yang dapat dijelaskan dan efisien.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…