LyndHub
Jadwal Sholat

Memuat jadwal sholat…

← Semua jurnalIndeks pencarian

Editorial Ilmu Komputer & AI

Open AccessOA2026

EffiHolmes: Lokalisasi Perbaikan Ketidakefisienan Waktu Tingkat Repositori Berpanduan Differential Profiling

Kerangka kerja berbasis LLM yang menggabungkan differential profiling, ekstraksi jalur eksekusi ringkas, dan penalaran terpandu domain untuk menemukan perbaikan ketidakefisienan waktu pada skala repositori, divalidasi pada benchmark baru RepoEffi-Bench.
Haowen Yang; Yun Peng; Zishuo Ding· 2026· DOI 10.48550/arXiv.2608.03558

Masalah inti

Sistem perangkat lunak besar sering menunjukkan ketidakefisienan waktu: secara fungsional tetap benar namun mengonsumsi waktu eksekusi berlebihan. Melokalisasi lokasi perbaikan untuk ketidakefisienan semacam ini sulit karena, tidak seperti bug fungsional, ketidakefisienan tersebut tidak menghasilkan kegagalan pengujian maupun petunjuk stack trace. Akibatnya, metode fault localization tradisional dan pendekatan fault localization berbasis LLM terkini tidak cocok untuk masalah ini. Profiling runtime menawarkan sumber bukti alternatif, tetapi pada skala repositori ia menghadapi tiga tantangan: (1) profiling sekali jalan tidak dapat secara andal membedakan hotspot ketidakefisienan dari noise eksekusi; (2) profiler yang ada sulit mengekstraksi jalur eksekusi relevan dari eksekusi latar belakang yang luas; dan (3) masih ada kesenjangan semantik antara hotspot yang teramati dan lokasi perbaikan yang sebenarnya. Untuk mengatasi tantangan tersebut, penulis mengusulkan EffiHolmes, kerangka kerja berbasis LLM untuk lokalisasi perbaikan ketidakefisienan waktu tingkat repositori. Mereka juga memperkenalkan RepoEffi-Bench, benchmark pertama untuk lokalisasi ketidakefisienan tingkat repositori, y

Inovasi

Penulis mengevaluasi EffiHolmes pada **RepoEffi-Bench**, benchmark baru berisi 140 issue ketidakefisienan waktu berkualitas tinggi yang dikumpulkan dari repositori Python populer. Mereka membandingkannya dengan baseline berbasis retrieval, agent, dan profiling terkini. Hasil utama meliputi:

- **Acc@3 tingkat file**: EffiHolmes meningkat sebesar **4,29 poin persentase** dibandingkan baseline terbaik saat menggunakan GPT-5.1.
- **Acc@5 tingkat fungsi**: EffiHolmes meningkat sebesar **15,00 poin persentase** dibandingkan baseline terbaik saat menggunakan qwen3-4b.
- **Robustness**: EffiHolmes tetap robust di berbagai kapasitas model, menunjukkan bahwa peningkatannya tidak semata bergantung pada satu model besar.

Hasil tersebut menunjukkan bahwa differential profiling yang dikombinasikan dengan ekstraksi jalur ringkas dan penalaran terpandu domain secara efektif mengatasi tiga tantangan lokalisasi ketidakefisienan tingkat repositori. Peningkatan substansial pada tingkat fungsi (15,00 poin persentase) sangat menonjol, karena lokalisasi tingkat fungsi lebih presisi dan langsung dapat ditindaklanjuti oleh pengembang. Peningkatan tingkat file (4,29 poin persentase) menunjukkan bahwa meto

Sistem perangkat lunak besar sering menunjukkan ketidakefisienan waktu: secara fungsional tetap benar namun mengonsumsi waktu eksekusi berlebihan. Melokalisasi lokasi perbaikan untuk ketidakefisienan semacam ini sulit karena, tidak seperti bug fungsional, ketidakefisienan tersebut tidak menghasilkan kegagalan pengujian maupun petunjuk stack trace. Akibatnya, metode fault localization tradisional dan pendekatan fault localization berbasis LLM terkini tidak cocok untuk masalah ini. Profiling runtime menawarkan sumber bukti alternatif, tetapi pada skala repositori ia menghadapi tiga tantangan: (1) profiling sekali jalan tidak dapat secara andal membedakan hotspot ketidakefisienan dari noise eksekusi; (2) profiler yang ada sulit mengekstraksi jalur eksekusi relevan dari eksekusi latar belakang yang luas; dan (3) masih ada kesenjangan semantik antara hotspot yang teramati dan lokasi perbaikan yang sebenarnya. Untuk mengatasi tantangan tersebut, penulis mengusulkan EffiHolmes, kerangka kerja berbasis LLM untuk lokalisasi perbaikan ketidakefisienan waktu tingkat repositori. Mereka juga memperkenalkan RepoEffi-Bench, benchmark pertama untuk lokalisasi ketidakefisienan tingkat repositori, yang berisi 140 issue berkualitas tinggi yang dikumpulkan dari repositori Python populer. Eksperimen menunjukkan bahwa EffiHolmes secara konsisten mengungguli baseline berbasis retrieval, agent, dan profiling terkini, meningkatkan Acc@3 tingkat file sebesar 4,29 poin persentase dengan GPT-5.1 dan Acc@5 tingkat fungsi sebesar 15,00 poin persentase dengan qwen3-4b, sekaligus tetap robust di berbagai kapasitas model.
EffiHolmes beroperasi dalam tiga tahap utama. Pertama, ia melakukan **differential profiling** pada beban kerja default dan terskala untuk mengidentifikasi hotspot ketidakefisienan. Dengan membandingkan profil eksekusi lintas beban kerja, ia menyaring noise eksekusi dan mengisolasi lokasi yang biaya relatifnya tumbuh seiring ukuran beban kerja. Kedua, ia mengekstraksi **jalur eksekusi ringkas** yang menghubungkan hotspot tersebut ke fungsi tidak efisien yang dilaporkan. Langkah ini mereduksi eksekusi latar belakang yang luas menjadi subgraf terfokus berisi pemanggilan relevan, menjawab tantangan ekstraksi jalur relevan dari repositori besar. Ketiga, ia menerapkan **penalaran LLM terpandu domain** untuk menemukan logika ketidakefisienan yang mendasarinya. LLM dipandu oleh pengetahuan domain tentang pola ketidakefisienan umum (misalnya, komputasi redundan, struktur data tidak efisien, I/O tak perlu) untuk menjembatani kesenjangan semantik antara hotspot yang teramati dan lokasi perbaikan yang sebenarnya.

Mengapa penting

Kontribusi utama makalah ini adalah pengenalan **differential profiling** sebagai sinyal untuk lokalisasi ketidakefisienan. Berbeda dari profiling sekali jalan yang rentan terhadap noise eksekusi, differential profiling pada beban kerja default dan terskala memberikan indikator yang lebih andal untuk hotspot ketidakefisienan yang sebenarnya. Kontribusi kedua adalah **ekstraksi jalur eksekusi ringkas**, yang menjawab tantangan skalabilitas dalam menganalisis eksekusi latar belakang yang luas pada repositori besar. Dengan berfokus pada jalur yang menghubungkan hotspot ke fungsi tidak efisien yang dilaporkan, metode ini memperkecil ruang pencarian bagi LLM. Kontribusi ketiga adalah **penalaran LLM terpandu domain**, yang menjembatani kesenjangan semantik antara hotspot yang teramati dan lokasi perbaikan yang sebenarnya. Pengetahuan domain berperan sebagai prior yang membantu LLM menafsirkan data profiling dalam kerangka pola ketidakefisienan umum.

Pengenalan **RepoEffi-Bench** juga signifikan: ini adalah benchmark pertama untuk lokalisasi ketidakefisienan tingkat repositori, menyediakan 140 issue berkualitas tinggi dari repositori Python populer. Benchmark ini memungkinkan evaluasi dan perbandingan metode mendatang secara reprodusibel. Hasil eksperimen menunjukkan bahwa EffiHolmes secara konsisten mengungguli baseline berbasis retrieval, agent, dan profiling, dengan peningkatan 4,29 poin persentase pada Acc@3 tingkat file (GPT-5.1) dan 15,00 poin persentase pada Acc@5 tingkat fungsi (qwen3-4b). Robustness di berbagai kapasitas model menunjukkan bahwa kerangka kerja ini tidak terlalu sensitif terhadap LLM yang mendasarinya.

Batasan dan pekerjaan mendatang tidak dibahas secara eksplisit dalam abstrak, tetapi arah potensialnya mencakup perluasan pendekatan ke bahasa pemrograman lain, penggabungan sinyal profiling tambahan (misalnya, penggunaan memori), dan integrasi lokalisasi dengan perbaikan program otomatis untuk ketidakefisienan waktu. Kandidat taksonomi (Architecture, Cybersecurity, Network, Cryptography) menunjukkan bahwa karya ini mungkin relevan untuk optimasi kinerja di domain tersebut, meskipun makalahnya sendiri berfokus pada repositori Python umum.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…