Editorial Ilmu Komputer & AI
Open AccessOA2022
Mitigasi Bias untuk Pengklasifikasi Machine Learning: Survei Komprehensif
Survei ini menganalisis 341 publikasi tentang mitigasi bias untuk pengklasifikasi ML, mengategorikan metode berdasarkan tahap intervensi dan memeriksa praktik evaluasi. Survei ini menyoroti tren dalam dataset, metrik, dan benchmarking untuk memandu praktisi dalam mengembangkan model yang lebih adil.
Max Hort; Zhen-Peng Chen; J Zhang; M. Harman; Federica Sarro· ACM Journal on Responsible Computing· 2022· DOI 10.1145/3631326
Masalah inti
Pengklasifikasi machine learning semakin banyak digunakan di domain berisiko tinggi seperti perekrutan, pinjaman, dan peradilan pidana, di mana prediksi yang bias dapat melanggengkan diskriminasi sistemik. Survei ini menjawab kebutuhan yang berkembang untuk memitigasi bias dalam model ML dengan memberikan gambaran menyeluruh tentang metode mitigasi bias. Penulis mengumpulkan 341 publikasi mengenai mitigasi bias untuk pengklasifikasi ML, dengan tujuan menjawab pertanyaan kunci tentang prosedur intervensi, praktik evaluasi, dan benchmarking. Tujuan survei ini adalah mendukung praktisi dalam membuat pilihan yang tepat saat mengembangkan dan mengevaluasi metode mitigasi bias baru.
Inovasi
Penulis melakukan tinjauan literatur sistematis, mengumpulkan 341 publikasi tentang mitigasi bias untuk pengklasifikasi ML. Mereka mengategorikan metode berdasarkan prosedur intervensinya: pra-pemrosesan (memodifikasi data pelatihan), dalam-pemrosesan (menyesuaikan algoritma pembelajaran), dan pasca-pemrosesan (mengubah prediksi). Selain itu, mereka menganalisis teknik yang diterapkan dalam setiap kategori. Untuk memahami praktik evaluasi, mereka memeriksa dataset, metrik keadilan, dan pendekatan benchmarking yang digunakan dalam studi-studi tersebut. Survei ini juga mengidentifikasi metrik keadilan yang paling populer dan jumlah dataset yang biasanya digunakan untuk evaluasi.
Pendahuluan
Pengklasifikasi machine learning semakin banyak digunakan di domain berisiko tinggi seperti perekrutan, pinjaman, dan peradilan pidana, di mana prediksi yang bias dapat melanggengkan diskriminasi sistemik. Survei ini menjawab kebutuhan yang berkembang untuk memitigasi bias dalam model ML dengan memberikan gambaran menyeluruh tentang metode mitigasi bias. Penulis mengumpulkan 341 publikasi mengenai mitigasi bias untuk pengklasifikasi ML, dengan tujuan menjawab pertanyaan kunci tentang prosedur intervensi, praktik evaluasi, dan benchmarking. Tujuan survei ini adalah mendukung praktisi dalam membuat pilihan yang tepat saat mengembangkan dan mengevaluasi metode mitigasi bias baru.
Mengapa penting
Temuan ini menyoroti beberapa tantangan dalam penelitian mitigasi bias. Ketergantungan pada sekumpulan dataset yang terbatas dapat menyebabkan overfitting pada domain tertentu, dan kurangnya benchmarking yang terstandarisasi menghambat komparabilitas. Penulis menyarankan agar praktisi memilih metrik keadilan dengan cermat berdasarkan konteks aplikasi dan mempertimbangkan beberapa metrik untuk menangkap berbagai gagasan keadilan. Mereka juga menekankan perlunya dataset yang lebih beragam dan kerangka benchmarking yang komprehensif. Survei ini diakhiri dengan memberikan rekomendasi untuk penelitian di masa depan, termasuk pengembangan metode yang robust di berbagai domain dan adopsi protokol evaluasi yang terstandarisasi.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten member…