SafeQL: Penyempurnaan Berbasis Pencarian untuk Text-to-SQL Berbasis LLM yang Aman dan Efisien

Large language models (LLM) telah memajukan Text-to-SQL dengan memungkinkan antarmuka bahasa alami ke basis data tanpa fine-tuning khusus tugas. Namun, sistem berbasis LLM yang ada tetap tidak andal, sering menghasilkan kueri SQL yang tidak valid terhadap skema basis data, merujuk pada tabel, atribut, fungsi, atau nilai yang tidak ada. Kesalahan semacam itu bertahan karena interaksi dengan database management system (DBMS) biasanya terbatas pada pesan kesalahan, sehingga perannya sebagian besar pasif selama penyempurnaan kueri. Makalah ini mengusulkan SafeQL, paradigma penyempurnaan berbasis pencarian yang mendefinisikan ulang peran DBMS sebagai pemandu aktif dalam proses penyempurnaan. Alih-alih meregenerasi seluruh kueri setelah kegagalan eksekusi, SafeQL menafsirkan umpan balik DBMS untuk memperbaiki hanya komponen yang salah secara inkremental. Setiap langkah penyempurnaan dirumuskan sebagai pencarian terpandu dalam ruang kueri yang aman, di mana kueri kandidat divalidasi secara progresif melalui eksekusi DBMS, sehingga konvergen ke kueri yang dapat dieksekusi dan mencegah regenerasi kesalahan berulang. Eksperimen pada benchmark Bird dan Spider menunjukkan bahwa SafeQL secara signifikan meningkatkan akurasi eksekusi dan efisiensi dibandingkan metode berbasis regenerasi.

SafeQL beroperasi dengan menafsirkan umpan balik DBMS untuk memperbaiki hanya komponen kueri yang salah secara inkremental, bukan meregenerasi seluruh kueri setelah kegagalan eksekusi. Setiap langkah penyempurnaan dirumuskan sebagai pencarian terpandu dalam ruang kueri yang aman, di mana kueri kandidat divalidasi secara progresif melalui eksekusi DBMS. Pendekatan ini konvergen ke kueri yang dapat dieksekusi dan mencegah regenerasi kesalahan berulang. Ruang kueri yang aman didefinisikan sebagai himpunan kueri yang valid secara sintaksis dan konsisten secara semantik dengan skema basis data, dan pencarian dipandu oleh pesan kesalahan serta hasil eksekusi DBMS. Secara formal, misalkan $Q$ adalah kueri awal yang dihasilkan oleh LLM, dan misalkan

adalah ruang kueri yang aman. Proses penyempurnaan mencari barisan kueri $Q_0,Q_1,\dots ,Q_n$ sehingga $Q_0=Q$, , dan setiap $Q_{i+1}$ diperoleh dengan menerapkan operasi perbaikan pada $Q_i$ berdasarkan umpan balik DBMS. Pencarian dipandu oleh fungsi skor $f(Q_i)$ yang memperkirakan kemungkinan $Q_i$ dapat dieksekusi, dan proses berhenti ketika kueri yang dapat dieksekusi ditemukan atau jumlah iterasi maksimum tercapai. Arsitektur SafeQL diilustrasikan dalam diagram Mermaid berikut: