LyndHub
Jadwal Sholat

Memuat jadwal sholat…

← Semua jurnalIndeks pencarian

Editorial ilmu komputer

Open AccessOA2026

Seluk-beluk Penerjemahan Bahasa Alami ke SQL: Analisis Sistematis Pendekatan Optimasi Pipeline Model dan Interaksinya

Analisis ablasi dan Shapley terhadap NatSQL, fine-tuning data sintetis, prapemrosesan, dan perankingan ulang pada backbone SmBoP dan RASAT
Filip Klubicka; Vasudevan Nedumpozhimana; Sneha Rautmare; Bora Caglayan; Mingxue Wang; John D. Kelleher· 2026· DOI 10.48550/arXiv.2607.10911

Masalah inti

Penerjemahan Bahasa Alami ke SQL (NL2SQL) masih menjadi masalah terbuka meskipun telah muncul model bahasa besar. Penulis bertujuan menginspirasi model yang lebih ringan dengan mengeksplorasi interaksi antara beberapa ekstensi pipeline NL2SQL. Mereka mengintegrasikan representasi perantara NatSQL, menambahkan langkah prapemrosesan, menerapkan fine-tuning dengan data sintetis, dan mengembangkan model peranker baru untuk meningkatkan pemilihan SQL pada beam akhir. Pertanyaan penelitian intinya adalah bagaimana komponen-komponen ini berinteraksi satu sama lain dan dengan dua arsitektur backbone: SmBoP dan RASAT. Studi ini melakukan studi ablasi yang dilengkapi analisis Shapley untuk mengukur kontribusi setiap komponen dan interaksinya. Temuan utamanya adalah bahwa sekadar menggabungkan semua ekstensi tidak menghasilkan hasil terbaik; sebagai gantinya, dampak setiap komponen bergantung pada interaksinya dengan sistem baseline dan dengan komponen lain.

Inovasi

Studi ablasi dan analisis Shapley mengungkapkan bahwa dampak setiap komponen sangat bergantung pada arsitektur backbone dan pada keberadaan komponen lain. Temuan utama meliputi:

- **Tidak ada kombinasi terbaik universal**: Menggabungkan keempat ekstensi tidak menghasilkan kinerja terbaik. Beberapa komponen dapat merugikan kinerja ketika digabungkan dengan backbone tertentu atau komponen lain.
- **Efek interaksi**: Analisis Shapley menunjukkan efek interaksi yang signifikan antar komponen. Misalnya, manfaat peranker mungkin bergantung pada apakah NatSQL digunakan, atau langkah prapemrosesan mungkin hanya membantu ketika fine-tuning data sintetis diterapkan.
- **Ketergantungan backbone**: Himpunan ekstensi optimal berbeda antara SmBoP dan RASAT. Misalnya, komponen yang meningkatkan SmBoP mungkin menurunkan RASAT, dan sebaliknya.
- **Model ringan**: Penulis menyarankan bahwa memahami interaksi ini dapat memandu pengembangan model yang lebih ringan dengan memilih hanya komponen yang paling bermanfaat untuk backbone tertentu.

Abstrak tidak memberikan angka spesifik, tetapi kesimpulan kualitatifnya adalah bahwa interaksi tersebut kompleks dan harus dipertimbangkan saat merancang pipeli

Penerjemahan Bahasa Alami ke SQL (NL2SQL) masih menjadi masalah terbuka meskipun telah muncul model bahasa besar. Penulis bertujuan menginspirasi model yang lebih ringan dengan mengeksplorasi interaksi antara beberapa ekstensi pipeline NL2SQL. Mereka mengintegrasikan representasi perantara NatSQL, menambahkan langkah prapemrosesan, menerapkan fine-tuning dengan data sintetis, dan mengembangkan model peranker baru untuk meningkatkan pemilihan SQL pada beam akhir. Pertanyaan penelitian intinya adalah bagaimana komponen-komponen ini berinteraksi satu sama lain dan dengan dua arsitektur backbone: SmBoP dan RASAT. Studi ini melakukan studi ablasi yang dilengkapi analisis Shapley untuk mengukur kontribusi setiap komponen dan interaksinya. Temuan utamanya adalah bahwa sekadar menggabungkan semua ekstensi tidak menghasilkan hasil terbaik; sebagai gantinya, dampak setiap komponen bergantung pada interaksinya dengan sistem baseline dan dengan komponen lain.
Penulis mengevaluasi empat ekstensi pipeline pada dua arsitektur backbone, SmBoP dan RASAT. Ekstensi tersebut adalah:

Mengapa penting

Studi ini menyoroti pentingnya analisis sistematis interaksi komponen dalam pipeline NL2SQL. Temuan bahwa menggabungkan semua ekstensi adalah suboptimal menantang asumsi umum bahwa lebih banyak komponen selalu menghasilkan kinerja lebih baik. Sebagai gantinya, penulis menganjurkan pendekatan bernuansa yang mempertimbangkan arsitektur backbone dan interaksi spesifik antar komponen.

Analisis Shapley menyediakan cara berprinsip untuk mengatribusikan keuntungan kinerja ke komponen individual dan interaksinya. Hal ini dapat menginformasikan desain pipeline yang lebih efisien dengan mengidentifikasi komponen yang redundan atau merugikan. Misalnya, jika suatu komponen memiliki nilai Shapley negatif dengan adanya komponen lain, komponen tersebut dapat dihilangkan untuk mengurangi biaya komputasi tanpa mengorbankan kinerja.

Penulis juga menekankan pengembangan model ringan. Dengan memahami komponen mana yang paling bermanfaat untuk backbone tertentu, praktisi dapat menghindari kompleksitas yang tidak perlu. Hal ini sangat relevan di lingkungan dengan sumber daya terbatas di mana model bahasa besar mungkin tidak layak.

Pekerjaan selanjutnya dapat memperluas analisis ini ke backbone dan dataset lain, serta mengeksplorasi ekstensi pipeline tambahan. Metodologi yang menggabungkan ablasi dengan analisis Shapley bersifat umum dan dapat diterapkan pada tugas NLP lainnya.

Diagram Mermaid yang menggambarkan pipeline dan komponennya ditunjukkan di bawah ini:

Diagram ini menunjukkan bagaimana komponen berinteraksi: prapemrosesan mengalir ke backbone, NatSQL digunakan sebagai representasi perantara, data sintetis digunakan untuk fine-tuning, dan peranker memilih dari beam.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…