Editorial ilmu komputer
Open AccessOA2026
$t_0$: Model Fondasi Deret Waktu untuk Peramalan dengan Konteks
Model berbobot terbuka 102M dan 256M parameter yang mengondisikan peramalan pada riwayat target, kovariat masa lalu, dan kovariat masa depan yang diketahui tanpa pelatihan ulang khusus tugas
Lucas Meyer; Claudio Sole; Huikan Xiang; Nicolas Li; Lucas Franceschino; Arnau Quera-Bofarull; Maarten P. Scholl; Joachim Fainberg; Geoffrey Négiar· 2026· DOI 10.48550/arXiv.2609.24559
Masalah inti
Peramalan deret waktu semakin mengadopsi paradigma model fondasi, ketika satu model terlatih diterapkan secara zero-shot pada beragam tugas. Para penulis menyajikan , keluarga model fondasi berbobot terbuka yang dirancang untuk peramalan dengan konteks multivariat. Dua anggota pertamanya adalah dengan 102M parameter dan dengan 256M parameter. Keduanya mengondisikan peramalan pada tiga sumber informasi: riwayat target, kovariat masa lalu, dan kovariat masa depan yang diketahui. Yang krusial, keduanya beroperasi tanpa pelatihan ulang khusus tugas. Model menghasilkan peramalan probabilistik melalui prediksi kuantil, dan lapisan transformer-nya bergantian melakukan atensi sepanjang waktu dan lintas variat. Prapelatihan menggabungkan data publik terkurasi dengan keluarga generator sintetis yang dibangun untuk memuat dependensi kovariat-ke-target. Karya ini menyasar situasi peramalan praktis ketika pemicu eksogen diketahui sebelumnya, seperti permintaan dan harga listrik.
Inovasi
Pada GIFT-Eval, mencapai CRPS agregat 0,4941, sedangkan mencapai CRPS 0,4738 dan MASE 0,6865. Keduanya menempati peringkat ketiga pada metrik tersebut dan berada dalam 4,0% dari TSFM zero-shot terbaik. Pada fev-bench, keduanya mencetak 42,2 dan 46,7 dalam skill, dengan kembali ketiga dan tertinggal 2,0 poin dari pemimpin. Ablasi pada menunjukkan bahwa kovariat masa depan yang diketahui menaikkan skill-nya sebesar 6,3 poin persentase pada 30 tugas. Pada tolok ukur permintaan listrik Victoria, termasuk model paling akurat ketika diberi konteks hampir satu tahun. Dalam evaluasi Macrocosm independen atas harga ERCOT per jam selama 29 bulan, kedua model memangkas MAE dari baseline harga terlag sebesar 38%. Hasil ini menunjukkan kinerja zero-shot yang kuat dan pemanfaatan informasi kontekstual yang efektif.
Peramalan deret waktu semakin mengadopsi paradigma model fondasi, ketika satu model terlatih diterapkan secara zero-shot pada beragam tugas. Para penulis menyajikan , keluarga model fondasi berbobot terbuka yang dirancang untuk peramalan dengan konteks multivariat. Dua anggota pertamanya adalah dengan 102M parameter dan dengan 256M parameter. Keduanya mengondisikan peramalan pada tiga sumber informasi: riwayat target, kovariat masa lalu, dan kovariat masa depan yang diketahui. Yang krusial, keduanya beroperasi tanpa pelatihan ulang khusus tugas. Model menghasilkan peramalan probabilistik melalui prediksi kuantil, dan lapisan transformer-nya bergantian melakukan atensi sepanjang waktu dan lintas variat. Prapelatihan menggabungkan data publik terkurasi dengan keluarga generator sintetis yang dibangun untuk memuat dependensi kovariat-ke-target. Karya ini menyasar situasi peramalan praktis ketika pemicu eksogen diketahui sebelumnya, seperti permintaan dan harga listrik.
Arsitektur adalah transformer yang lapisannya bergantian memakai dua mode atensi: atensi sepanjang dimensi waktu dan atensi lintas variat. Desain ini memungkinkan model menangkap dinamika temporal sekaligus dependensi antar-deret. Diberikan riwayat target , kovariat masa lalu , dan kovariat masa depan yang diketahui , model mengestimasi fungsi kuantil bersyarat:
Mengapa penting
Para penulis menganalisis secara mendalam, mencakup kalibrasi, strategi rollout pada horizon panjang, dan ketahanan terhadap data hilang. Kenaikan 6,3 poin persentase dari kovariat masa depan yang diketahui pada 30 tugas menyoroti nilai pemodelan eksplisit pemicu eksogen. Skema atensi bergantian sepanjang waktu dan lintas variat tampak efektif untuk konteks multivariat, sementara prediksi kuantil menyediakan keluaran probabilistik yang praktis. Peringkat ketiga model pada GIFT-Eval dan fev-bench, masing-masing dalam 4,0% dan 2,0 poin dari pemimpin, menunjukkan bahwa model fondasi berbobot terbuka dapat bersaing tanpa pelatihan ulang khusus tugas. Pengurangan MAE 38% pada harga ERCOT selama 29 bulan menunjukkan dampak nyata dalam peramalan energi. Batasan mencakup kebutuhan akan kovariat masa depan yang diketahui dan fokus pada dua ukuran model; pekerjaan selanjutnya dapat menskalakan parameter dan memperluas keluarga generator. Secara keseluruhan, memajukan peramalan deret waktu yang mudah diakses dan sadar konteks.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…