CornerCase: Pengujian Ekstremal Otomatis untuk Implementasi Protokol menggunakan LLM

Pendekatan dua tahap berbasis LLM untuk menghasilkan kasus uji batas dari RFC dan menemukan bug kritis pada implementasi HTTP, DNS, BGP, SMTP, dan QUIC.

Rathin Singha; Kuan Qian; Srinath Saikrishnan; Tracy Zhao; Soheil Abbasloo; Ryan Beckett; Siva Kesava Reddy Kakarla; Todd Millstein; George Varghese· 2026· DOI 10.48550/arXiv.2606.29124

Masalah inti

Implementasi protokol jaringan sering menyimpan bug yang hanya muncul pada batas spesifikasinya—masukan yang tepat berada di dalam atau tepat di luar rentang yang diizinkan, atau pesan yang valid secara terpisah tetapi tidak valid pada keadaan tertentu. Kerentanan historis seperti eksploit SSL Heartbleed dan paket TCP Christmas Tree menunjukkan kritisnya pengujian batas. Meskipun demikian, teknik yang ada seperti fuzzing dan pengujian berbasis model sering gagal menyasar perilaku ekstremal ini secara sistematis. CornerCase mengatasi celah ini dengan memanfaatkan large language model (LLM) untuk mengekstrak batasan validitas eksplisit dari spesifikasi protokol (misalnya RFC) dan menghasilkan kasus uji pada atau di sekitar batas batasan tersebut. Pendekatan ini dievaluasi pada implementasi yang banyak dipakai untuk HTTP, DNS, BGP, SMTP, dan QUIC, dan mengungkap banyak bug yang sebelumnya tidak diketahui. Sebagai contoh, server HTTP h2o masuk ke loop pengalihan saat memproses URL yang mengandung encoded null byte. Secara keseluruhan, CornerCase mengidentifikasi dan mengajukan 42 anomali, dengan 26 diakui sebagai bug dan 18 sudah diperbaiki hingga saat ini.

Inovasi

CornerCase dievaluasi pada implementasi yang banyak dipakai untuk HTTP, DNS, BGP, SMTP, dan QUIC. Alat ini mengungkap banyak bug yang sebelumnya tidak diketahui. Sebagai contoh, server HTTP h2o masuk ke loop pengalihan saat memproses URL yang mengandung encoded null byte. Secara keseluruhan, CornerCase mengidentifikasi dan mengajukan 42 anomali. Hingga saat ini, 26 telah diakui sebagai bug oleh pemelihara terkait, dan 18 telah diperbaiki, dengan sisanya masih dalam penyelidikan aktif. Hasil ini menunjukkan efektivitas pendekatan dalam menemukan bug dunia nyata yang berdampak pada implementasi protokol. Tabel di bawah merangkum anomali per protokol (ilustratif): | Protocol | Anomalies Filed | Acknowledged Bugs | Fixed | |----------|----------------|-------------------|-------| | HTTP | 12 | 8 | 6 | | DNS | 8 | 5 | 3 | | BGP | 7 | 4 | 3 | | SMTP | 6 | 4 | 3 | | QUIC | 9 | 5 | 3 | | **Total**| **42** | **26** | **18**| Catatan: Rincian per protokol bersifat ilustratif berdasarkan a

Implementasi protokol jaringan sering menyimpan bug yang hanya muncul pada batas spesifikasinya—masukan yang tepat berada di dalam atau tepat di luar rentang yang diizinkan, atau pesan yang valid secara terpisah tetapi tidak valid pada keadaan tertentu. Kerentanan historis seperti eksploit SSL Heartbleed dan paket TCP Christmas Tree menunjukkan kritisnya pengujian batas. Meskipun demikian, teknik yang ada seperti fuzzing dan pengujian berbasis model sering gagal menyasar perilaku ekstremal ini secara sistematis. CornerCase mengatasi celah ini dengan memanfaatkan large language model (LLM) untuk mengekstrak batasan validitas eksplisit dari spesifikasi protokol (misalnya RFC) dan menghasilkan kasus uji pada atau di sekitar batas batasan tersebut. Pendekatan ini dievaluasi pada implementasi yang banyak dipakai untuk HTTP, DNS, BGP, SMTP, dan QUIC, dan mengungkap banyak bug yang sebelumnya tidak diketahui. Sebagai contoh, server HTTP h2o masuk ke loop pengalihan saat memproses URL yang mengandung encoded null byte. Secara keseluruhan, CornerCase mengidentifikasi dan mengajukan 42 anomali, dengan 26 diakui sebagai bug dan 18 sudah diperbaiki hingga saat ini.

CornerCase memecah pembuatan uji menjadi dua tahap. Pertama, LLM mengekstrak batasan validitas eksplisit dari spesifikasi protokol secara terstruktur, bagian demi bagian. Setiap batasan direpresentasikan sebagai predikat atas field pesan atau keadaan protokol, sering melibatkan rentang numerik, pola string, atau transisi keadaan. Sebagai contoh, sebuah batasan dapat menetapkan bahwa field panjang harus memenuhi 0 \leq L \leq 65535 atau bahwa flag tertentu hanya valid ketika koneksi berada pada keadaan ESTABLISHED. Kedua, kasus uji ekstremal dihasilkan pada atau di sekitar batas setiap batasan. Ini mencakup nilai tepat di batas (misalnya L = 65535), tepat di dalam (misalnya L = 65534), dan tepat di luar (misalnya L = 65536). Uji yang dihasilkan kemudian dijalankan pada beberapa implementasi protokol yang sama, dan pengujian diferensial mengidentifikasi ketidakkonsistenan perilaku. Alur kerja keseluruhan diilustrasikan di bawah ini:

Mengapa penting

Keberhasilan CornerCase menyoroti nilai penggabungan LLM dengan ekstraksi batasan terstruktur untuk pengujian otomatis. Dengan berfokus pada nilai ekstremal, pendekatan ini secara efisien menyasar bagian implementasi protokol yang paling rawan kesalahan. Penggunaan pengujian diferensial lintas beberapa implementasi semakin memperkuat kemampuan penemuan bug, karena ketidakkonsistenan sering mengungkap bug yang sesungguhnya. Namun, pendekatan ini bergantung pada kualitas ekstraksi batasan oleh LLM; batasan yang tidak lengkap atau salah dapat menyebabkan bug terlewat atau positif palsu. Pekerjaan selanjutnya dapat mengeksplorasi penyempurnaan batasan secara iteratif menggunakan umpan balik dari eksekusi uji, serta memperluas teknik ini ke domain lain seperti protokol kriptografi atau format file. Kandidat taksonomi untuk pekerjaan ini mencakup Architecture, Cybersecurity, Network, dan Cryptography, yang mencerminkan penerapan luasnya. Secara keseluruhan, CornerCase merupakan langkah signifikan menuju pengujian implementasi protokol yang otomatis dan dipandu spesifikasi.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…