Editorial Ilmu Komputer & AI
Open AccessOA2026
Tentang Prospek Percakapan LLM Dinamis dalam Pengembangan Perangkat Lunak
Studi longitudinal empat bulan tentang intervensi minimal dalam interaksi pengembang-LLM
Annemarie Wittig; Alina Mailach; Janet Siegmund; Norbert Siegmund· 2026· DOI 10.48550/arXiv.2608.30756
Masalah inti
Large language model (LLM) telah menjadi alat penting untuk membantu pengembang, namun kita masih kurang pengetahuan tentang cara efektif mendukung interaksi mereka selama aktivitas pengembangan. Kualitas interaksi dengan LLM berbasis chat masih sangat bergantung pada bagaimana pengembang menyusun prompt dan informasi apa yang mereka sertakan. Tujuan penulis adalah mengevaluasi apakah intervensi dalam interaksi dengan LLM ini berdampak pada pengembang perangkat lunak---baik berbahaya maupun bermanfaat. Untuk itu, mereka melakukan studi longitudinal empat bulan dengan mahasiswa ilmu komputer semester tiga yang mengerjakan proyek pengembangan Web full-stack menggunakan LLM berbasis chat dalam tiga kondisi: (1) kelompok *context*-aware menerima augmentasi percakapan berbasis intent, (2) kelompok *proactive* menerima saran tindak lanjut dan nasihat yang disesuaikan, dan (3) kelompok *control* tanpa intervensi. Augmentasi tersebut sengaja dibuat minimal: (i) untuk mengurangi faktor perancu dan (ii) untuk mengisolasi efek perlakuan.
Inovasi
Analisis log interaksi dan survei pengguna tidak menunjukkan perbedaan besar dalam pola interaksi di ketiga kondisi. Ini menunjukkan tidak ada efek berbahaya yang terdeteksi pada hasil yang diukur ketika melakukan intervensi dalam interaksi. Selain itu, penulis mengamati tren peningkatan kepuasan pada perlakuan *proactive*. Hasil ini menunjukkan bahwa bahkan dengan intervensi minimal, mekanisme panduan dinamis untuk interaksi pengembang-LLM menunjukkan efek yang dapat diamati. Tidak adanya perbedaan besar dalam pola interaksi menyiratkan bahwa intervensi tidak mengganggu alur kerja pengembangan. Tren peningkatan kepuasan pada kelompok proactive menunjukkan potensi manfaat dari saran tindak lanjut dan nasihat yang disesuaikan, meskipun efeknya tidak cukup kuat secara statistik untuk konklusif dalam studi ini.
Large language model (LLM) telah menjadi alat penting untuk membantu pengembang, namun kita masih kurang pengetahuan tentang cara efektif mendukung interaksi mereka selama aktivitas pengembangan. Kualitas interaksi dengan LLM berbasis chat masih sangat bergantung pada bagaimana pengembang menyusun prompt dan informasi apa yang mereka sertakan. Tujuan penulis adalah mengevaluasi apakah intervensi dalam interaksi dengan LLM ini berdampak pada pengembang perangkat lunak---baik berbahaya maupun bermanfaat. Untuk itu, mereka melakukan studi longitudinal empat bulan dengan mahasiswa ilmu komputer semester tiga yang mengerjakan proyek pengembangan Web full-stack menggunakan LLM berbasis chat dalam tiga kondisi: (1) kelompok *context*-aware menerima augmentasi percakapan berbasis intent, (2) kelompok *proactive* menerima saran tindak lanjut dan nasihat yang disesuaikan, dan (3) kelompok *control* tanpa intervensi. Augmentasi tersebut sengaja dibuat minimal: (i) untuk mengurangi faktor perancu dan (ii) untuk mengisolasi efek perlakuan.
Studi ini menggunakan desain longitudinal empat bulan dengan mahasiswa ilmu komputer semester tiga yang terlibat dalam proyek pengembangan Web full-stack. Partisipan ditugaskan ke tiga kondisi:
Mengapa penting
Temuan ini menunjukkan bahwa intervensi minimal dalam interaksi pengembang-LLM dapat menghasilkan efek yang dapat diamati, terutama dalam hal kepuasan pengguna. Tidak adanya efek berbahaya menunjukkan bahwa intervensi semacam itu aman untuk diterapkan. Tren peningkatan kepuasan pada perlakuan proactive menyiratkan bahwa augmentasi yang lebih besar mungkin berpotensi meningkatkan kepuasan pengembang secara substansial. Namun, batasan studi ini mencakup penggunaan mahasiswa ilmu komputer semester tiga sebagai partisipan, yang mungkin tidak dapat digeneralisasi ke pengembang profesional. Selain itu, sifat minimal intervensi dapat membatasi ukuran efek yang dapat dideteksi. Pekerjaan selanjutnya harus mengeksplorasi intervensi yang lebih substansial dan populasi pengembang yang beragam. Hasil ini berkontribusi pada pemahaman tentang cara efektif mendukung interaksi pengembang-LLM, menyoroti pentingnya mekanisme panduan dinamis. Desain longitudinal studi ini selama empat bulan memberikan wawasan berharga tentang stabilitas pola interaksi dan kepuasan dari waktu ke waktu.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…