Editorial Ilmu Komputer & AI
Aplikasi Mobile untuk Inklusi Penyandang Disabilitas Pendengaran di Peru Menggunakan LSTM dan GPT-4
Masalah inti
Komunikasi antara individu pendengar dan individu tunarungu dan gangguan pendengaran sering terbatas karena populasi pendengar umumnya kurang memiliki kemahiran dalam bahasa isyarat. Penulis, Alyne Regalado-Morales, Axel Fiestas, dan Lenis Wong, memposisikan kesenjangan ini sebagai pendorong eksklusi sosial yang berdampak negatif terhadap kualitas hidup penyandang disabilitas pendengaran. Kerangka masalahnya karena itu bukan sekadar teknis tetapi sosial: tidak adanya saluran linguistik bersama membatasi interaksi sehari-hari di Peru dan di tempat lain.
Respons yang diusulkan adalah aplikasi mobile asistif dengan dua kemampuan yang digabungkan. Pertama, aplikasi ini melakukan pengenalan bahasa isyarat; kedua, aplikasi ini menghasilkan respons kontekstual menggunakan ChatGPT-4 (GPT-4) sehingga lawan bicara pendengar menerima balasan yang dapat diinterpretasikan dan sesuai situasi. Desain ganda ini membedakan karya ini dari alat klasifikasi gerakan murni, yang berhenti pada pengenalan dan membiarkan beban percakapan tidak terselesaikan.
Tujuan yang dinyatakan adalah untuk mengonfirmasi kelayakan sistem dalam memfasilitasi inklusi komunikatif dalam skenario dunia nyata. Kelayakan din
Inovasi
Eksperimen menghasilkan dua profil yang kontras. Dalam eksperimen kontrol (A), rata-rata waktu respons adalah 95,93 detik, dan kejelasan komunikatif tidak tercapai karena kebingungan selama interaksi. Dalam eksperimen uji (B), rata-rata waktu respons adalah 102,28 detik, dan kejelasan komunikatif tercapai, dibuktikan dengan postur tubuh yang rileks pada partisipan.
Secara formal, rata-rata yang tercatat dapat ditulis sebagai:
Perbandingan ini penting karena kondisi yang mencapai kejelasan komunikatif bukanlah yang lebih cepat. Eksperimen B lebih lambat 6,35 detik rata-rata:
Ini menunjukkan bahwa latensi tambahan pada kondisi uji tidak mewakili degradasi melainkan rezim interaksi yang berbeda โ di mana pertukaran berlangsung cukup koheren untuk dinilai jelas. Kejelasan komunikatif dioperasionalkan melalui sinyal tubuh yang dapat diamati, dengan postur rileks dikutip sebagai indikator konkret, bukan melalui penilaian subjektif semata.
Akhirnya, survei yang diberikan setelah eksperimen B mengungkapkan
Mengapa penting
Temuan utamanya adalah bahwa kelayakan, bukan kecepatan mentah, merupakan kriteria yang berlaku untuk alat komunikasi asistif semacam ini. Kondisi yang lebih cepat (A, 95,93 detik) gagal mencapai kejelasan komunikatif, sedangkan kondisi yang lebih lambat (B, 102,28 detik) berhasil. Tim desain yang hanya mengoptimalkan waktu respons karena itu akan mengoptimalkan tujuan yang salah; metrik yang penting adalah apakah pertukaran dapat dipahami oleh kedua belah pihak.
Interpretasi yang ditawarkan penulis adalah bahwa kejelasan komunikatif dalam eksperimen B dibuktikan oleh postur tubuh yang rileks, menghubungkan sinyal afektif dan embodied dengan kinerja teknis sistem. Ini adalah pilihan metodologis yang bermakna: postur dapat diamati secara eksternal dan kurang rentan terhadap bias kesopanan dibandingkan skor kepuasan yang dilaporkan sendiri, meskipun tetap merupakan proksi tidak langsung untuk pemahaman.
Hasil survei setelah eksperimen B menambahkan lapisan bukti kedua. Penerimaan dilaporkan oleh partisipan pendengar โ pengguna pendengar โ yang penting karena adopsi oleh mayoritas pendengar adalah yang menentukan apakah aplikasi pengenalan isyarat dapat benar-benar mengurangi eksklusi dalam praktik. Alat yang hanya dihargai oleh pengguna tunarungu dan gangguan pendengaran tidak akan menyelesaikan kesenjangan komunikasi dua arah.
Ketergantungan pada GPT-4 untuk pembangkitan respons kontekstual juga memperkenalkan trade-off yang diketahui yang secara implisit diakui oleh kerangka studi. Latensi pada tahap LLM masuk akal berkontribusi terhadap waktu respons yang diamati, dan pembangkitan kontekstual menambah variabilitas yang tidak dimiliki oleh pencarian frasa tetap. Manfaatnya adalah balasan dapat disesuaikan dengan situasi alih-alih telah ditulis sebelumnya, yang memungkinkan interaksi bergerak melampaui terjemahan isyarat yang terisolasi menuju sesuatu yang menyerupai percakapan.
Secara keseluruhan, proses pengembangan lima fase dan validasi A/B bersama-sama mendukung kesimpulan penulis bahwa sistem ini layak untuk memfasilitasi inklusi komunikatif dalam skenario dunia nyata. Hasilnya harus dibaca sebagai demonstrasi kelayakan yang didasarkan pada hasil interaksi alih-alih sebagai uji kemanjuran skala besar: basis buktinya adalah perbandingan kontrol versus uji ditambah survei penerimaan pascauji.
Siapa yang sebaiknya membaca
Membuka konten memberโฆ