Mendeteksi Bug DBMS dengan Membangun Representasi Ekuivalen dari Hasil Kueri Antara

Database Management System (DBMS) menyediakan beberapa mekanisme SQL untuk merepresentasikan hasil kueri antara, terutama VIEW, Common Table Expression (CTE), dan Temporary Table (TEMPT). Ketika mekanisme-mekanisme ini digunakan untuk menyatakan hasil antara yang sama, kueri yang bersangkutan secara semantik ekuivalen dan seharusnya mengembalikan hasil yang konsisten. Namun, penulis mengamati bahwa kueri semacam itu dapat mengembalikan hasil yang tidak konsisten, yang menandakan potensi bug logika pada DBMS. Pendekatan yang ada untuk mendeteksi bug logika DBMS belum pernah mengeksplorasi konsistensi hasil lintas representasi ekuivalen tersebut. Makalah ini mengusulkan ERIQ, pendekatan pengujian baru yang mendeteksi bug logika DBMS dengan memeriksa konsistensi hasil lintas Equivalent Representations of Intermediate Query Results. Wawasan intinya adalah jika DBMS mengimplementasikan semantik VIEW, CTE, dan TEMPT dengan benar, maka kueri apa pun yang menggunakan salah satu mekanisme ini untuk merepresentasikan hasil antara tertentu seharusnya menghasilkan keluaran akhir yang sama dengan kueri yang menggunakan mekanisme lain untuk hasil antara yang sama. Setiap ketidaksesuaian mengungkap bug logika pada DBMS. Makalah ini mengevaluasi ERIQ pada empat DBMS open-source yang banyak digunakan: MySQL, MariaDB, Percona, dan OceanBase. Secara total, ERIQ mendeteksi 64 bug, 63 di antaranya dikonfirmasi oleh pengembang, dan dua telah diperbaiki. Di antara bug yang dikonfirmasi, 54 merupakan bug logika unik yang sebelumnya tidak diketahui, dan satu merupakan masalah dokumentasi. Karya ini memperkenalkan dimensi baru untuk pengujian DBMS dan menunjukkan efektivitasnya dalam praktik.

ERIQ bekerja dengan membangun varian SQL yang merepresentasikan hasil kueri antara yang sama menggunakan VIEW, CTE, atau TEMPT. Pendekatan ini terdiri dari tiga langkah utama: (1) menghasilkan kueri dasar yang menghitung hasil antara, (2) menulis ulang kueri agar menggunakan masing-masing dari tiga mekanisme untuk merepresentasikan hasil antara tersebut, dan (3) mengeksekusi varian-varian itu dan membandingkan hasil yang dikembalikan. Jika hasilnya berbeda, potensi bug logika dilaporkan. Proses ini dapat diformalkan sebagai berikut. Misalkan $Q$ adalah kueri yang menghitung hasil antara $R$. ERIQ menghasilkan tiga kueri ekuivalen: $Q_{\text{VIEW}}$, $Q_{\text{CTE}}$, dan $Q_{\text{TEMPT}}$, masing-masing merepresentasikan $R$ menggunakan mekanisme yang bersangkutan. Perilaku yang diharapkan adalah untuk setiap instans basis data $D$, himpunan hasil memenuhi: