Editorial ilmu komputer
Apakah Taktik Pengaruh Berpengaruh? Menyelidiki Efek Pembingkaian Prompt dalam Generasi Kode LLM
Masalah inti
Large Language Model (LLM) semakin terintegrasi ke dalam alur kerja rekayasa perangkat lunak, membantu pengembang dalam menulis, men-debug, menguji, dan memelihara kode. Meskipun penelitian sebelumnya telah menetapkan bahwa pilihan kata dan struktur prompt memengaruhi kinerja model, dampak pembingkaian prompt yang terinspirasi psikologi masih belum dieksplorasi. Studi ini mengisi celah tersebut dengan menanyakan apakah berbagai strategi komunikasi berbasis psikologi yang digunakan manusia untuk membujuk atau memotivasi orang lain dapat menghasilkan pembingkaian prompt yang lebih efektif, dan apakah pembingkaian semacam itu memengaruhi perilaku LLM dalam tugas pengodean.
Mengacu pada taksonomi taktik pengaruh Yukl & Falbe yang terkenal, para penulis mengoperasionalkan delapan taktik pengaruh—seperti persuasi rasional, ingratiasi, dan pertukaran—menjadi templat prompt yang dapat direproduksi. Templat ini kemudian dievaluasi pada lima LLM berbobot terbuka terkemuka menggunakan dua tolok ukur yang banyak diadopsi: LiveCodeBench dan SWE-bench Verified. Keluaran kode yang dihasilkan dinilai berdasarkan empat dimensi kualitas perangkat lunak utama: kebenaran fungsional, kualitas, pemelih
Inovasi
Hasilnya menunjukkan bahwa pembingkaian prompt tertentu yang dipicu pengaruh, khususnya yang menekankan urgensi, berkaitan dengan penurunan kebenaran dan keamanan. Pada lima LLM berbobot terbuka dan dua tolok ukur, prompt berbingkai urgensi secara konsisten berkinerja lebih rendah dibandingkan pembingkaian netral atau persuasi rasional pada metrik kebenaran fungsional. Evaluasi keamanan juga mengungkap insiden kerentanan yang lebih tinggi pada kode yang dihasilkan di bawah pembingkaian urgensi.
Taktik lain, seperti persuasi rasional dan ingratiasi, menunjukkan efek campuran. Dalam beberapa kasus, persuasi rasional—membingkai permintaan sebagai tugas logis yang beralasan baik—menghasilkan kebenaran yang sebanding atau sedikit lebih baik, sedangkan ingratiasi (menyanjung model) memiliki efek yang dapat diabaikan atau tidak konsisten. Taktik pertukaran, yang menawarkan imbalan atau trade-off, tidak menghasilkan perbaikan sistematis dan kadang-kadang menurunkan pemeliharaan.
Besarnya efek ini bervariasi menurut model dan tolok ukur. Hasil LiveCodeBench menunjukkan penurunan kebenaran yang lebih nyata di bawah pembingkaian urgensi, sedangkan SWE-bench Verified mengungkap regresi keama
Mengapa penting
Temuan ini menunjukkan bahwa pembingkaian prompt yang dipicu pengaruh dapat menimbulkan konsekuensi yang tidak diinginkan terhadap kualitas kode. Pembingkaian urgensi, yang umum dalam komunikasi manusia untuk memotivasi respons yang lebih cepat, tampaknya mendorong LLM menghasilkan kode yang kurang benar dan kurang aman. Hal ini mungkin karena isyarat urgensi menggeser prioritas internal model dari penalaran yang cermat ke keluaran yang cepat dan kurang terverifikasi.
Operasionalisasi taksonomi Yukl & Falbe oleh studi ini menjadi templat prompt yang dapat direproduksi memberikan kontribusi metodologis: hal ini memungkinkan penyelidikan sistematis efek pembingkaian psikologis dalam tugas rekayasa perangkat lunak. Namun, para penulis mencatat batasan, termasuk penggunaan hanya model berbobot terbuka dan potensi artefak spesifik tolok ukur. Hasilnya tidak menyiratkan bahwa semua taktik pengaruh berbahaya; sebaliknya, hasil ini menyoroti bahwa beberapa pembingkaian, terutama urgensi, membawa risiko.
Dari sudut pandang praktis, karya ini menawarkan wawasan untuk merancang interaksi manusia-AI yang transparan dan dapat diinterpretasikan dalam generasi kode. Pengembang dan pembuat alat harus berhati-hati dalam menggunakan bahasa yang bermuatan psikologis dalam prompt, karena dapat menurunkan kualitas keluaran. Pekerjaan selanjutnya dapat memperluas taksonomi ke model berbobot tertutup, mengeksplorasi dimensi kualitas tambahan, dan menyelidiki strategi mitigasi seperti sanitasi prompt atau instruksi eksplisit untuk mengabaikan isyarat urgensi. Studi ini menyimpulkan bahwa taktik pengaruh memang berpengaruh, tetapi tidak selalu ke arah yang diinginkan.
Siapa yang sebaiknya membaca
Membuka konten member…