Open AccessOA PDF
Meninjau Ulang Perbaikan Kode LLM Berbasis Umpan Balik: Replikasi dan Ekstensi Java Eksploratif
Louis Lalonde; Wassim Keddache; Thomas Perron Touchette; Leuson Da Silva; Foutse Khomh
- Ringkasan
- Penelitian ini mereplikasi sebagian benchmark FeedbackEval pada 394 tugas perbaikan Python menggunakan GPT-4o dan Claude 3.5 Sonnet, mengonfirmasi bahwa umpan balik tes adalah jenis umpan balik terkuat. Ekstensi Java eksploratif pada 100 i…
- Metode
- Penelitian ini terdiri atas dua bagian utama. Pertama, replikasi parsial studi FeedbackEval asli pada 394 tugas perbaikan menggunakan dua LLM: GPT-4o dan Claude 3.5 Sonnet. Replik…
- Hasil
- Dalam replikasi Python, tren kualitatif utama dari studi asli direproduksi: umpan balik tes tetap menjadi jenis umpan balik terkuat, secara signifikan meningkatkan keberhasilan perbaikan dibandingkan…