Editorial Ilmu Komputer & AI
Open AccessOA2025
"You Cannot Sound Like GPT": Tanda-tanda diskriminasi bahasa dan resistensi dalam penerbitan ilmu komputer
Studi ini menyelidiki apakah LLM seperti ChatGPT mengurangi atau hanya menutupi eksklusi linguistik dalam penerbitan ilmiah. Dengan menganalisis hampir 80.000 tinjauan sejawat ICLR dan mewawancarai 14 peserta konferensi, para penulis menemukan bias signifikan terhadap penulis dari negara-negara tempat bahasa Inggris kurang luas digunakan, dengan peninjau semakin menggunakan "gaya" ChatGPT sebagai proksi untuk demografi penulis.
Haley Lepp; Daniel Scott Smith· Conference on Fairness, Accountability and Transparency· 2025· DOI 10.1145/3715275.3732202
Masalah inti
LLM telah dipuji karena potensinya membantu ilmuwan multibahasa menerbitkan penelitian mereka. Alih-alih menafsirkan LLM sebagai solusi, para penulis berhipotesis bahwa adopsinya dapat menjadi indikator eksklusi linguistik yang sudah ada dalam penulisan ilmiah. Menggunakan studi kasus ICLR, sebuah konferensi ilmu komputer internasional yang berpengaruh, studi ini mengkaji bagaimana peninjau sejawat mengkritik kejelasan tulisan. Pertanyaan penelitian utamanya menanyakan apakah pengenalan ChatGPT pada akhir 2022 menggeser ekspresi bias linguistik dalam tinjauan sejawat, dan jika ya, bagaimana. Para penulis berargumen bahwa memahami dinamika ini sangat penting karena ideologi bahasa keilmuan menyamakan produsen "bahasa Inggris yang baik" dengan produsen "ilmu yang baik", sehingga melanggengkan ketidakadilan sistemik dalam penerbitan akademik.
Inovasi
Studi ini menggunakan pendekatan metode campuran yang menggabungkan analisis kuantitatif skala besar dengan wawancara kualitatif. Pertama, para penulis menganalisis hampir 80.000 tinjauan sejawat dari ICLR, sebuah konferensi ilmu komputer internasional yang berpengaruh, untuk mendeteksi pola bias terhadap penulis yang berafiliasi dengan institusi di negara-negara tempat bahasa Inggris kurang luas digunakan. Mereka mengkaji bagaimana peninjau mengkritik kejelasan tulisan dan apakah kritik ini berkorelasi dengan afiliasi institusi penulis. Kedua, untuk menyelidiki perubahan yang ternyata kecil dalam ekspresi bias setelah pengenalan ChatGPT pada akhir 2022, mereka melakukan wawancara dengan 14 peserta konferensi dari lima benua. Wawancara ini mengeksplorasi bagaimana peninjau mengaitkan fitur tulisan tertentu dengan latar belakang bahasa tertentu dan bagaimana penulis merespons diskriminasi linguistik yang mereka rasakan. Desain metode campuran ini memungkinkan para penulis melakukan triangulasi tren statistik dengan pengalaman nyata tinjauan sejawat.
Pendahuluan
LLM telah dipuji karena potensinya membantu ilmuwan multibahasa menerbitkan penelitian mereka. Alih-alih menafsirkan LLM sebagai solusi, para penulis berhipotesis bahwa adopsinya dapat menjadi indikator eksklusi linguistik yang sudah ada dalam penulisan ilmiah. Menggunakan studi kasus ICLR, sebuah konferensi ilmu komputer internasional yang berpengaruh, studi ini mengkaji bagaimana peninjau sejawat mengkritik kejelasan tulisan. Pertanyaan penelitian utamanya menanyakan apakah pengenalan ChatGPT pada akhir 2022 menggeser ekspresi bias linguistik dalam tinjauan sejawat, dan jika ya, bagaimana. Para penulis berargumen bahwa memahami dinamika ini sangat penting karena ideologi bahasa keilmuan menyamakan produsen "bahasa Inggris yang baik" dengan produsen "ilmu yang baik", sehingga melanggengkan ketidakadilan sistemik dalam penerbitan akademik.
Mengapa penting
Temuan ini memberikan wawasan tentang peran ChatGPT dalam reproduksi ideologi bahasa keilmuan yang menyamakan produsen "bahasa Inggris yang baik" dengan produsen "ilmu yang baik". Alih-alih menghilangkan diskriminasi linguistik, ChatGPT tampaknya telah menggeser penandanya: peninjau kini menyimpulkan demografi penulis dari "gaya" ChatGPT dan isyarat non-linguistik, sehingga memaksa penulis melakukan kerja tambahan untuk menyembunyikan latar belakang linguistik mereka. Dinamika ini melanggengkan eksklusi karena mempertahankan ideologi mendasar yang mengaitkan kemahiran bahasa dengan kualitas ilmiah. Para penulis berargumen bahwa perubahan yang samar setelah pengenalan ChatGPT menunjukkan bahwa perbaikan teknologi saja tidak dapat mengatasi bias yang mengakar dalam tinjauan sejawat. Sebaliknya, intervensi sistemik diperlukan untuk memisahkan bahasa dari penilaian merit ilmiah. Studi ini berkontribusi pada keilmuan tentang keadilan, akuntabilitas, dan transparansi dengan menyoroti bagaimana diskriminasi bahasa beroperasi dalam penerbitan ilmu komputer dan bagaimana strategi resistensi oleh penulis, meskipun perlu, menempatkan beban pada kelompok yang terpinggirkan alih-alih pada institusi yang melanggengkan bias.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten member…