Editorial ilmu komputer
Open AccessOA2026
Overlay_dx: Mengotomatiskan Evaluasi Peramalan
Metrik visual untuk model prediksi deret waktu yang menggabungkan interval kepercayaan dan area di bawah kurva
Long Ngo; Mohammed Amine Chamli; Jonathan Rivalan; Thomas Jaillonยท 2026ยท DOI 10.48550/arXiv.2609.24586
Masalah inti
Metrik evaluasi tradisional untuk peramalan deret waktu, seperti MAE, RMSE, atau MAPE, memberikan nilai numerik tetapi sering kali kurang mudah dipahami. Ringkasan skalar ini dapat menghambat pembedaan kinerja model secara efektif, terutama ketika model memiliki besaran galat yang serupa tetapi distribusi galat yang berbeda. Penulis berpendapat bahwa metrik visual dapat melengkapi penilaian numerik dengan menunjukkan bagaimana prediksi selaras dengan nilai aktual sepanjang waktu dan di berbagai tingkat kepercayaan. Mereka memperkenalkan **overlay_dx**, sebuah metrik yang merepresentasikan persentase prediksi yang jatuh di dalam interval kepercayaan di sekitar nilai aktual. Setelah hasil evaluasi diplot, overlay_dx menghitung area di bawah kurva overlay, memberikan ukuran kuantitatif keselarasan antara nilai prediksi dan nilai aktual di berbagai ambang dan prediksi. Tujuannya adalah menawarkan kerangka evaluasi terpadu yang menggabungkan penilaian visual dan numerik, sehingga memungkinkan perbandingan model yang lebih baik dan wawasan untuk optimasi dalam prediksi deret waktu.
Inovasi
Penulis melakukan eksperimen ekstensif untuk memvalidasi overlay_dx. Mereka membandingkan berbagai model prediksi deret waktu, termasuk metode statistik (misalnya, ARIMA), model machine learning (misalnya, gradient boosting), dan arsitektur deep learning (misalnya, LSTM, Transformer). Hasilnya menunjukkan bahwa overlay_dx dan AUC-nya memberikan pembedaan kinerja model yang lebih bernuansa daripada metrik tradisional. Sebagai contoh, dua model dengan RMSE serupa dapat memiliki kurva overlay yang sangat berbeda: satu model mungkin secara konsisten mencakup persentase prediksi yang tinggi pada ambang kecil, sementara model lain hanya mencapai cakupan tinggi pada ambang yang lebih besar. Plot overlay visual mengungkapkan pola seperti bias sistematis (prediksi secara konsisten di atas atau di bawah nilai aktual) dan galat heteroskedastik (cakupan yang bervariasi sepanjang waktu). Nilai AUC berkorelasi dengan metrik galat tradisional tetapi tidak identik, sehingga menawarkan informasi yang saling melengkapi. Penulis melaporkan bahwa overlay_dx robust terhadap outlier dan skala, karena didasarkan pada cakupan relatif dan bukan galat absolut. Mereka juga menunjukkan bahwa metrik ini dapat
Metrik evaluasi tradisional untuk peramalan deret waktu, seperti MAE, RMSE, atau MAPE, memberikan nilai numerik tetapi sering kali kurang mudah dipahami. Ringkasan skalar ini dapat menghambat pembedaan kinerja model secara efektif, terutama ketika model memiliki besaran galat yang serupa tetapi distribusi galat yang berbeda. Penulis berpendapat bahwa metrik visual dapat melengkapi penilaian numerik dengan menunjukkan bagaimana prediksi selaras dengan nilai aktual sepanjang waktu dan di berbagai tingkat kepercayaan. Mereka memperkenalkan **overlay_dx**, sebuah metrik yang merepresentasikan persentase prediksi yang jatuh di dalam interval kepercayaan di sekitar nilai aktual. Setelah hasil evaluasi diplot, overlay_dx menghitung area di bawah kurva overlay, memberikan ukuran kuantitatif keselarasan antara nilai prediksi dan nilai aktual di berbagai ambang dan prediksi. Tujuannya adalah menawarkan kerangka evaluasi terpadu yang menggabungkan penilaian visual dan numerik, sehingga memungkinkan perbandingan model yang lebih baik dan wawasan untuk optimasi dalam prediksi deret waktu.
Metrik overlay_dx didefinisikan sebagai berikut. Untuk deret waktu nilai aktual dan prediksi
, sebuah interval kepercayaan dibangun di sekitar setiap nilai aktual:
, dengan adalah parameter ambang. Sebuah prediksi dianggap "tercakup" jika
. Overlay_dx pada ambang adalah proporsi prediksi yang tercakup:
Mengapa penting
Metrik overlay_dx menjawab kesenjangan utama dalam evaluasi peramalan: kebutuhan akan penilaian yang interpretabel, visual, dan kuantitatif. Dengan menggabungkan kurva berbasis cakupan dengan ringkasan AUC, metrik ini menjembatani kesenjangan antara inspeksi visual dan perbandingan numerik. Penulis membahas beberapa keunggulan: (1) **Kemudahan pemahaman**: plot overlay bersifat intuitif, menunjukkan dengan tepat di mana dan kapan prediksi jatuh dalam batas yang dapat diterima. (2) **Fleksibilitas**: ambang dapat ditetapkan berdasarkan kebutuhan domain (misalnya, margin galat yang dapat diterima). (3) **Otomatisasi**: seluruh evaluasi dapat diotomatiskan, sehingga cocok untuk pemilihan model skala besar. Batasan meliputi kebutuhan untuk memilih dan fakta bahwa metrik ini mengasumsikan interval kepercayaan yang simetris di sekitar nilai aktual. Pekerjaan selanjutnya mencakup perluasan overlay_dx ke peramalan probabilistik dan deret waktu multivariat. Penulis menyimpulkan bahwa overlay_dx menawarkan kerangka evaluasi terpadu yang dapat meningkatkan perbandingan model dan memberikan wawasan berharga untuk penelitian dan optimasi lebih lanjut dalam prediksi deret waktu.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten memberโฆ