Iblis Ada di Antarmuka: Mengevaluasi Bagaimana Arsitektur Perkakas Membentuk Perilaku Agen Pengodean

Seiring meningkatnya large language models (LLMs), sistem agentik menjadi semakin penting, dan perkakas merupakan dimensi desain yang kunci karena menentukan bagaimana agen mengakses informasi dan mengambil tindakan di lingkungannya. Penelitian sebelumnya tentang perkakas agen terutama berfokus pada memperluas apa yang dapat dilakukan agen—menambahkan kapabilitas, API, dan aksi baru—tetapi kurang memberi perhatian sistematis pada bagaimana kapabilitas tersebut diorganisasi dan diekspos kepada model. Penulis menyebut dimensi desain terakhir ini sebagai **arsitektur perkakas**.

Makalah ini mempelajari arsitektur perkakas pada agen pengodean melalui eksperimen terkontrol pada perbaikan isu tingkat repositori. Makalah ini membandingkan enam arsitektur perkakas yang mempertahankan informasi dan aksi dasar tetap serupa sambil memvariasikan bagaimana keduanya diorganisasi dan diekspos kepada model, pada tiga aktor dan total 11.700 lintasan. Pertanyaan utamanya adalah apakah arsitektur perkakas semata—independen dari kapabilitas mentah—mengubah perilaku agen. Hasilnya menunjukkan bahwa hal itu memang terjadi: bahkan ketika perkakas menyediakan kapabilitas serupa, arsitektur perkakas mengu

Eksperimen menunjukkan bahwa, bahkan ketika perkakas menyediakan kapabilitas serupa, arsitektur perkakas mengubah perilaku agen. Tiga temuan utama menonjol:

1. **Konsistensi:** Dibandingkan arsitektur dasar tempat agen hanya memiliki perkakas `bash`, antarmuka tingkat rendah yang lebih terstruktur meningkatkan konsistensi pada percobaan berulang hingga **4,7×**.
2. **Eksplorasi:** Pencarian bahasa alami memperluas eksplorasi repositori dan meningkatkan akses ke berkas yang relevan lebih dari **11%**.
3. **Efisiensi:** Antarmuka gaya Python CodeAct mencapai kinerja tugas serupa dengan **41,6% lebih sedikit langkah** dan **56,3% penggunaan token lebih rendah**.

Sebaliknya, perkakas penopang kognitif berbasis teks yang ringan, seperti perkakas yang memungkinkan agen mencatat penalaran antara, memiliki **efek terbatas** pada perilaku aktor. Asimetri ini patut dicatat: perubahan arsitektural yang membentuk ulang bagaimana informasi dan aksi diekspos kepada model menghasilkan pergeseran perilaku yang besar, sementara perkakas yang sekadar menambahkan catatan penalaran tidak.

Hasil konsistensi dapat diringkas sebagai peningkatan relatif:

\text{Consistency Gain} = \frac{\text{Consist