Kebocoran Data dan Krisis Reproduksibilitas dalam Sains Berbasis ML

Metode machine learning (ML) semakin banyak digunakan untuk prediksi dan peramalan di berbagai ilmu kuantitatif. Namun, jebakan metodologis seperti kebocoran data mengancam validitas temuan ilmiah. Makalah ini secara sistematis menyelidiki masalah reproduksibilitas dalam sains berbasis ML, dengan fokus pada kebocoran data sebagai masalah luas yang menyebabkan kegagalan reproduksibilitas parah. Penulis mensurvei literatur dari komunitas penelitian yang telah mengadopsi metode ML dan mengidentifikasi 17 bidang tempat kesalahan ditemukan, yang secara kolektif memengaruhi 329 makalah. Dalam beberapa kasus, kesalahan ini menyebabkan kesimpulan yang terlalu optimistis. Makalah ini berargumen untuk perubahan metodologis mendasar dalam sains berbasis ML untuk menangkap kebocoran sebelum publikasi dan mengusulkan model info sheet sebagai solusi.

Penulis melakukan survei literatur di komunitas penelitian yang mengadopsi metode ML, mengidentifikasi bidang tempat kesalahan kebocoran data telah didokumentasikan. Mereka mengembangkan taksonomi terperinci dari 8 jenis kebocoran, mulai dari kesalahan buku teks hingga masalah penelitian terbuka. Untuk menilai dampak kesalahan reproduksibilitas dan efektivitas model info sheet, mereka melakukan studi reproduksibilitas dalam prediksi perang sipil, bidang di mana model ML kompleks diyakini jauh mengungguli model statistik lama seperti Logistic Regression (LR). Mereka memeriksa semua makalah yang mengklaim kinerja superior model ML kompleks dibandingkan model LR dan mencoba mereproduksi hasilnya. Selain itu, mereka merancang model info sheet untuk melaporkan klaim ilmiah berdasarkan model ML, yang dimaksudkan untuk mengatasi semua jenis kebocoran yang diidentifikasi dalam survei.