Editorial Ilmu Komputer & AI
Open AccessOA2026
Kendaraan Otonom Berbasis LLM Mewarisi Bias Pengemudi Manusia dalam Memberi Jalan kepada Pejalan Kaki: Hasil dan Implikasi dari Benchmark Baru
Benchmark baru mengungkap bahwa Large Language Model dan Visual-Language Model menunjukkan bias demografis dalam keputusan memberi jalan kepada pejalan kaki, mencerminkan bias pengemudi manusia dan memunculkan pertanyaan tentang paradigma model 'common sense' pada kendaraan otono
Irem Yoldas; Martim Brandão; Jie Zhang; Odinaldo Rodrigues· 2026· DOI 10.48550/arXiv.2609.00192
Masalah inti
Kepercayaan publik terhadap Kendaraan Otonom (AV) tidak hanya bergantung pada keberhasilan teknis tetapi juga pada keadilan pengambilan keputusannya. Penelitian AV terkini semakin banyak memanfaatkan model 'common sense' serbaguna, seperti Large Language Model (LLM) dan Visual-Language Model (VLM), untuk memandu keputusan berkendara. Namun, sejauh mana model-model ini mewarisi bias manusia dalam berkendara masih kurang diteliti. Studi psikologi telah mendokumentasikan bias pengemudi manusia, termasuk tingkat pemberian jalan yang lebih rendah kepada pejalan kaki kulit hitam di AS. Penulis berargumen bahwa analisis bias model harus menjadi bagian integral dari evaluasi AV. Mereka mengusulkan dua metodologi pengujian bias baru untuk LLM dan VLM: uji 'All Else Being Equal' dan uji 'Self-Consistency', untuk menilai bias dalam keputusan memberi jalan kepada pejalan kaki. Makalah ini bertujuan mengungkap apakah model-model ini menunjukkan bias demografis dan memunculkan pertanyaan tentang paradigma model 'common sense' pada AV.
Inovasi
Temuan menunjukkan bahwa baik LLM maupun VLM membuat keputusan memberi jalan yang dipengaruhi oleh gender, etnis, agama, disabilitas, usia, warna kulit, dan status sosial-ekonomi pejalan kaki. Jenis dan tingkat bias bervariasi antar model, tetapi pola umum muncul. Misalnya, beberapa model mungkin lebih jarang memberi jalan kepada pejalan kaki dari kelompok etnis tertentu atau penyandang disabilitas. Bias tersebut tidak seragam di semua model, yang menunjukkan bahwa data pelatihan dan arsitektur spesifik setiap model berkontribusi pada profil bias yang berbeda. Uji 'All Else Being Equal' mengungkap perbedaan yang signifikan secara statistik dalam tingkat pemberian jalan antar kelompok demografis. Uji 'Self-Consistency' menunjukkan bahwa model dapat menghasilkan keputusan yang tidak konsisten untuk skenario yang sama, yang menunjukkan bahwa bias mungkin bergantung pada konteks atau bersifat stokastik. Hasilnya menyoroti bahwa model 'common sense' mewarisi bias mirip manusia, yang dapat menyebabkan hasil diskriminatif dalam operasi AV di dunia nyata. Penulis menekankan bahwa bias ini bukan sekadar gangguan teknis tetapi mencerminkan masalah yang lebih dalam dalam pemahaman model terha
Kepercayaan publik terhadap Kendaraan Otonom (AV) tidak hanya bergantung pada keberhasilan teknis tetapi juga pada keadilan pengambilan keputusannya. Penelitian AV terkini semakin banyak memanfaatkan model 'common sense' serbaguna, seperti Large Language Model (LLM) dan Visual-Language Model (VLM), untuk memandu keputusan berkendara. Namun, sejauh mana model-model ini mewarisi bias manusia dalam berkendara masih kurang diteliti. Studi psikologi telah mendokumentasikan bias pengemudi manusia, termasuk tingkat pemberian jalan yang lebih rendah kepada pejalan kaki kulit hitam di AS. Penulis berargumen bahwa analisis bias model harus menjadi bagian integral dari evaluasi AV. Mereka mengusulkan dua metodologi pengujian bias baru untuk LLM dan VLM: uji 'All Else Being Equal' dan uji 'Self-Consistency', untuk menilai bias dalam keputusan memberi jalan kepada pejalan kaki. Makalah ini bertujuan mengungkap apakah model-model ini menunjukkan bias demografis dan memunculkan pertanyaan tentang paradigma model 'common sense' pada AV.
Penulis memperkenalkan dua metodologi pengujian bias untuk LLM dan VLM:
Mengapa penting
Penulis membahas implikasi temuan ini bagi paradigma model 'common sense' pada AV. Mereka berargumen bahwa sekadar menggunakan model serbaguna tanpa menangani bias dapat melanggengkan dan bahkan memperkuat ketidaksetaraan sosial. Bias yang diamati mencerminkan bias yang ditemukan pada pengemudi manusia, yang menunjukkan bahwa model belajar dari data yang mengandung bias historis dan sistemik. Makalah ini memunculkan pertanyaan apakah paradigma tersebut harus direvisi untuk memasukkan batasan keadilan atau apakah teknik mitigasi bias hilir harus diterapkan. Penulis menyerukan penelitian lebih lanjut tentang deteksi dan mitigasi bias dalam pengambilan keputusan AV, menekankan kebutuhan akan transparansi dan akuntabilitas. Mereka juga mencatat bahwa jenis dan tingkat bias berbeda antar model, yang mempersulit pengembangan solusi universal. Studi ini berkontribusi pada bidang keadilan AI yang berkembang dalam sistem kritis keselamatan, menyoroti pentingnya mengevaluasi bukan hanya kinerja teknis tetapi juga dampak etis dan sosial. Penulis menyarankan bahwa evaluasi AV harus mencakup pengujian bias sebagai komponen standar, dan bahwa pengembang harus menyadari potensi bias yang diwarisi saat menggunakan LLM dan VLM.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…