Memprediksi Kode Keluar Program dengan LLM dan Semantik Bahasa Pemrograman

Large language models (LLM) telah menunjukkan kemahiran dalam tugas-tugas rekayasa perangkat lunak seperti pembuatan kode dan penerjemahan. Namun, pemahaman mereka tentang semantik bahasa pemrograman masih menjadi keterbatasan utama. Bahkan ketika semantik eksplisit diberikan, tidak jelas apakah LLM menerapkan aturan tersebut atau mengandalkan prior yang dipelajari selama pra-pelatihan. Makalah ini memperkenalkan Program Executability Prediction (PrEx), tugas baru yang meminta model memprediksi apakah suatu program valid atau tidak valid secara semantik, dan jika tidak valid, aturan formal mana yang dilanggar, berdasarkan sintaks dan semantik operasional program. PrEx memerlukan program yang valid dan tidak valid, sehingga penulis membangun dataset dengan transformasi tidak valid yang dihasilkan secara sistematis dari program yang valid. Mereka mengevaluasi LLM coding sumber terbuka di bawah dua formalisme semantik dan dua pergeseran semantik pada split program Human-Written, LLM-Translated, dan Fuzzer-Generated.

Temuan mengungkapkan bahwa LLM bersandar pada prior pra-pelatihan daripada secara sistematis menerapkan aturan yang diberikan. Kinerja sangat buruk pada semantik yang dimodifikasi, dan menurun lebih jauh seiring meningkatnya kompleksitas program. Secara spesifik, di bawah semantik asli, model mencapai akurasi moderat, tetapi ketika semantik digeser, akurasi turun secara signifikan. Misalnya, pada split Human-Written, akurasi menurun dari $X\%$ menjadi $Y\%$ di bawah pergeseran semantik (nilai pasti tidak disediakan dalam abstrak). Demikian pula, pada split LLM-Translated dan Fuzzer-Generated, degradasinya bahkan lebih terasa. Model juga kesulitan mengidentifikasi aturan spesifik yang dilanggar saat memprediksi program tidak valid. Hasil ini berlaku pada formalisme big-step dan small-step, yang menunjukkan kecenderungan umum untuk mengandalkan prior. Studi ini menyoroti bahwa LLM tidak secara efektif menggunakan semantik yang diberikan, yang merupakan keterbatasan kritis untuk tugas yang memerlukan pemahaman semantik yang tepat.