Editorial Ilmu Komputer & AI
Bridge: Menambang Secara Otomatis Pemetaan Pembaruan API dan Instans Pembaruan Klien pada Skala Ekosistem
Masalah inti
Pembaruan pustaka sering kali menuntut adaptasi kode klien terhadap perubahan API. Untuk mengembangkan dan mengevaluasi teknik pembaruan pustaka otomatis, peneliti dan praktisi memerlukan tiga artefak yang saling terkait: pemetaan pembaruan API yang mengidentifikasi relasi antara API lama dan API pengganti, transisi versi yang menetapkan versi pustaka tempat pemetaan tersebut berlaku, dan instans pembaruan klien yang menangkap perubahan pemanggilan API secara konkret di proyek nyata. Dataset evolusi pustaka yang ada hanya menangkap sebagian informasi ini dan umumnya mencakup sedikit pustaka pihak ketiga, sehingga membatasi kegunaannya untuk analisis dan perkakas pada skala ekosistem.
Makalah ini memperkenalkan **Bridge**, kerangka kerja yang digerakkan klien untuk secara otomatis membangun dataset pembaruan pustaka skala ekosistem yang menghubungkan pemetaan pembaruan API, transisi versi, dan instans pembaruan klien. Prinsip desain utamanya adalah memijakkan setiap pemetaan yang dipertahankan pada setidaknya satu instans pembaruan klien, sehingga pemetaan mencerminkan perilaku pembaruan dunia nyata, bukan sinyal spekulatif atau yang murni dari sisi pustaka. Penulis mengevaluasi Br
Inovasi
Bridge dievaluasi pada dataset ground truth yang dianotasi secara manual dan diterapkan pada WoC V3. Pada ground truth, Bridge mencapai **presisi 91,6%** dan **recall 88,7%** untuk Java, serta **presisi 90,1%** dan **recall 64,0%** untuk Python. Recall yang lebih rendah pada Python menunjukkan bahwa sebagian instans pembaruan yang valid terlewat, mungkin karena dynamic typing atau pola penggunaan API yang kurang eksplisit.
Ketika diterapkan pada WoC V3, Bridge menambang **381.661 instans pembaruan klien Java** dan **277.259 Python**. Instans tersebut menghasilkan **18.900 pemetaan pembaruan API Java** dan **4.456 Python** pada **2.557** dan **999** pustaka. Pemetaan yang ditambang memperlihatkan distribusi long-tail yang mencolok: sebagian besar pemetaan hanya muncul pada beberapa instans pembaruan klien, sementara sejumlah kecil pemetaan teramati sering.
Skala dataset ini substansial, mencakup ribuan pustaka dan ratusan ribu instans pembaruan klien. Distribusi long-tail menyiratkan bahwa banyak pemetaan pembaruan API jarang muncul, yang berdampak pada teknik otomatis yang mengandalkan pembelajaran dari pola yang sering.
Sebagai aplikasi, penulis mengevaluasi empat large languag
Mengapa penting
Hasil ini menunjukkan bahwa Bridge dapat secara otomatis membangun dataset pembaruan pustaka skala ekosistem dengan presisi tinggi dan recall yang wajar. Desain yang digerakkan klien memastikan setiap pemetaan pembaruan API berpijak pada setidaknya satu instans pembaruan klien nyata, yang dapat meningkatkan relevansi praktis dataset dibandingkan pendekatan yang hanya dari sisi pustaka. Distribusi long-tail pemetaan merupakan temuan kunci: sebagian besar pemetaan jarang muncul, dan LLM kesulitan dengan pemetaan langka tersebut. Hal ini menunjukkan bahwa pendekatan berbasis LLM saat ini mungkin tidak menggeneralisasi dengan baik terhadap seluruh keragaman pembaruan API di lapangan.
Evaluasi pada rekomendasi API pengganti menunjukkan bahwa bahkan LLM terbaik hanya mencapai akurasi 37,1% untuk Java dan 44,4% untuk Python. Kesenjangan kinerja antara pemetaan yang sering dan yang langka mengindikasikan bahwa model mungkin menghafal pola umum alih-alih belajar bernalar tentang semantik API. Hal ini berdampak pada pengembangan perkakas pembaruan pustaka otomatis: perkakas tersebut mungkin perlu memasukkan teknik retrieval atau analisis program untuk menangani pemetaan ekor panjang.
Dataset Bridge dapat mendukung penelitian lanjutan dalam pembaruan pustaka otomatis, migrasi API, dan rekayasa perangkat lunak empiris. Kerangka kerja ini dapat diperluas ke bahasa dan ekosistem lain. Batasannya mencakup kesenjangan recall pada Python dan ketergantungan pada bukti dari sisi pustaka, yang mungkin tidak tersedia untuk semua pustaka. Penelitian selanjutnya dapat memperbaiki tahap validasi dan penurunan, serta mengeksplorasi pendekatan hibrida yang menggabungkan LLM dengan analisis program untuk rekomendasi API pengganti.
Siapa yang sebaiknya membaca
Membuka konten member…