Mengevaluasi Efektivitas SechKAN pada Data 1D

Studi komparatif Kolmogorov-Arnold Networks berbasis hyperbolic secant untuk klasifikasi 1D

Hoang-Thang Ta· 2026· DOI 10.48550/arXiv.2609.25876

Masalah inti

Teorema representasi Kolmogorov-Arnold (KART) menyatakan bahwa setiap fungsi multivariat kontinu dapat direpresentasikan sebagai superposisi fungsi univariat kontinu dan penjumlahan. Teorema ini menginspirasi Kolmogorov-Arnold Networks (KAN), yang menggantikan fungsi aktivasi tetap pada node dengan fungsi aktivasi yang dapat dipelajari pada edge. KAN telah menunjukkan potensi di berbagai domain, dari menyelesaikan masalah STEM hingga tugas AI. Namun, efisiensi parameter dan efektivitasnya pada data 1D masih kurang dieksplorasi. Makalah ini menyelidiki SechKAN, varian KAN yang memakai fungsi hyperbolic secant (sech) sebagai fungsi basis, dikombinasikan dengan proyeksi 1D untuk mengurangi jumlah parameter ke tingkat yang sebanding dengan multilayer perceptron (MLP). Studi ini mengevaluasi SechKAN pada tiga dataset klasifikasi 1D: UCI Human Activity Recognition (UCI HAR), ElectricDevices, dan Crop, serta membandingkannya dengan beberapa jaringan efektif termasuk EfficientKAN, MLP, CNN1D, ResNet1D, dan DSCNN1D pada anggaran parameter yang kira-kira sebanding. Tujuannya adalah menilai apakah SechKAN dapat menawarkan kinerja kompetitif dan memahami dampak pilihan arsitektur seperti ukura

SechKAN mencapai kinerja kompetitif pada ketiga dataset. Pada UCI HAR, SechKAN berkinerja sebanding dengan MLP dan CNN1D, sedangkan pada ElectricDevices, ia menunjukkan akurasi serupa dengan ResNet1D dan DSCNN1D. Secara notable, pada dataset Crop, SechKAN mengungguli semua model lain, mencapai akurasi tertinggi. Tabel di bawah merangkum akurasi (dalam persen) setiap model pada ketiga dataset: | Model | UCI HAR | ElectricDevices | Crop | |-------------|---------|-----------------|------| | SechKAN | 95.2 | 84.7 | 92.3 | | EfficientKAN| 94.8 | 83.9 | 90.1 | | MLP | 95.0 | 84.2 | 89.5 | | CNN1D | 95.5 | 85.1 | 90.8 | | ResNet1D | 95.8 | 85.3 | 91.2 | | DSCNN1D | 95.6 | 85.0 | 91.0 | Hasil ini menunjukkan bahwa SechKAN sangat efektif pada dataset Crop, di mana ia melampaui model terbaik berikutnya (ResNet1D) sebesar 1,1 poin persentase. Pada dataset lain, perbedaannya dalam 1 poin persentase, menunjukkan bahwa SechKAN adalah alternatif yang layak untuk arsitektur tradisional.

Teorema representasi Kolmogorov-Arnold (KART) menyatakan bahwa setiap fungsi multivariat kontinu dapat direpresentasikan sebagai superposisi fungsi univariat kontinu dan penjumlahan. Teorema ini menginspirasi Kolmogorov-Arnold Networks (KAN), yang menggantikan fungsi aktivasi tetap pada node dengan fungsi aktivasi yang dapat dipelajari pada edge. KAN telah menunjukkan potensi di berbagai domain, dari menyelesaikan masalah STEM hingga tugas AI. Namun, efisiensi parameter dan efektivitasnya pada data 1D masih kurang dieksplorasi. Makalah ini menyelidiki SechKAN, varian KAN yang memakai fungsi hyperbolic secant (sech) sebagai fungsi basis, dikombinasikan dengan proyeksi 1D untuk mengurangi jumlah parameter ke tingkat yang sebanding dengan multilayer perceptron (MLP). Studi ini mengevaluasi SechKAN pada tiga dataset klasifikasi 1D: UCI Human Activity Recognition (UCI HAR), ElectricDevices, dan Crop, serta membandingkannya dengan beberapa jaringan efektif termasuk EfficientKAN, MLP, CNN1D, ResNet1D, dan DSCNN1D pada anggaran parameter yang kira-kira sebanding. Tujuannya adalah menilai apakah SechKAN dapat menawarkan kinerja kompetitif dan memahami dampak pilihan arsitektur seperti ukuran grid dan normalisasi.

SechKAN dibangun di atas kerangka KAN, di mana setiap edge dalam jaringan menghitung fungsi univariat yang dapat dipelajari. Dalam SechKAN, fungsi-fungsi ini diparameterisasi sebagai kombinasi linear dari fungsi basis hyperbolic secant:

Studi ablasi mengungkap bahwa ukuran grid G dan normalisasi secara signifikan memengaruhi kinerja SechKAN. Meningkatkan ukuran grid umumnya meningkatkan akurasi hingga titik tertentu, setelah itu kinerja mendatar atau menurun karena overfitting. Normalisasi, seperti batch normalization atau layer normalization, sangat penting untuk menstabilkan pelatihan dan mencapai hasil yang baik. Efektivitas SechKAN dengan demikian bergantung pada dataset dan dipengaruhi oleh pilihan arsitektur. Misalnya, pada Crop, ukuran grid yang lebih besar dengan layer normalization menghasilkan kinerja terbaik, sedangkan pada UCI HAR, ukuran grid yang lebih kecil dengan batch normalization sudah cukup. Temuan ini menunjukkan bahwa keunggulan SechKAN tidak universal tetapi dapat dimanfaatkan dengan penyetelan yang tepat. Pekerjaan selanjutnya dapat mengeksplorasi ukuran grid adaptif dan fungsi basis lain untuk lebih meningkatkan kinerja. Kode sumber dan implementasi eksperimen tersedia secara publik di https://github.com/hoangthangta/SechKAN_1D.

Praktisi dan peneliti ilmu komputer

Membuka konten member…