Editorial Ilmu Komputer & AI
Open AccessOA2026
QUARTET: Cross-Attention Empat Cabang dan Jejak Random-Walk untuk Memperkuat Transformer pada Graf Relasional
Arsitektur graph transformer yang menggabungkan pengambilan sampel random-walk kausal dengan cross-attention empat cabang untuk meningkatkan pembelajaran mendalam relasional pada basis data multi-tabel.
Kyaw Hpone Myint; Nan Jiang; Xiang Li; Zhe Wu; Alexandre G. R. Day; Pranab Mohanty; Giri Iyengar· 2026· DOI 10.48550/arXiv.2609.26855
Masalah inti
Relational Deep Learning (RDL) memodelkan basis data multi-tabel sebagai graf temporal heterogen, memungkinkan pembelajaran end-to-end atas struktur relasional. Graph transformer telah mencapai kinerja state-of-the-art pada tolok ukur seperti RelBench. Namun, model terdepan, RelGT, memiliki dua keterbatasan utama: sampler lokal acaknya menghasilkan subgraf yang terhubung longgar sehingga menghambat message passing, dan modul attention globalnya bergantung pada satu memori berbasis fitur seed yang mengabaikan dinamika makro yang lebih luas. Karya ini memperkenalkan QUARTET, arsitektur graph transformer ekspresif yang dirancang untuk mengatasi keterbatasan tersebut dengan menerapkan self-attention penuh pada subgraf lokal sekaligus memperkaya konteks global melalui cabang cross-attention.
Inovasi
Pada tugas klasifikasi RelBench v1, QUARTET secara konsisten menyamai atau melampaui baseline graph transformer state-of-the-art saat ini (HGT dan RelGT). Penulis melaporkan bahwa QUARTET mencapai kinerja unggul pada beberapa tugas, menunjukkan efektivitas komponen yang diusulkan. Studi ablasi mengonfirmasi bahwa sampler CRW secara signifikan memperkaya kualitas lingkungan lokal, sementara cabang global memberikan keuntungan prediktif yang esensial dan spesifik tugas. Secara khusus, menghilangkan sampler CRW menyebabkan penurunan kinerja, dan menghilangkan salah satu dari empat cabang global juga menurunkan akurasi, menyoroti pentingnya setiap komponen.
Relational Deep Learning (RDL) memodelkan basis data multi-tabel sebagai graf temporal heterogen, memungkinkan pembelajaran end-to-end atas struktur relasional. Graph transformer telah mencapai kinerja state-of-the-art pada tolok ukur seperti RelBench. Namun, model terdepan, RelGT, memiliki dua keterbatasan utama: sampler lokal acaknya menghasilkan subgraf yang terhubung longgar sehingga menghambat message passing, dan modul attention globalnya bergantung pada satu memori berbasis fitur seed yang mengabaikan dinamika makro yang lebih luas. Karya ini memperkenalkan QUARTET, arsitektur graph transformer ekspresif yang dirancang untuk mengatasi keterbatasan tersebut dengan menerapkan self-attention penuh pada subgraf lokal sekaligus memperkaya konteks global melalui cabang cross-attention.
QUARTET terdiri atas dua komponen utama: sampler Causal Random Walk (CRW) dan modul cross-attention empat cabang.
Mengapa penting
Hasil menunjukkan bahwa strategi pengambilan sampel lokal dan integrasi konteks global sama-sama krusial untuk kinerja yang kuat pada graf relasional. Sampler CRW mengatasi masalah subgraf yang terhubung longgar dengan menghasilkan lingkungan lokal yang terhubung rapat sehingga memudahkan message passing. Modul cross-attention empat cabang mengatasi keterbatasan memori tunggal berbasis fitur seed dengan menggabungkan berbagai perspektif, memungkinkan model menangkap dinamika tingkat makro. Studi ablasi memberikan bukti jelas atas kontribusi setiap cabang. Namun, makalah ini tidak membahas potensi batasan seperti kompleksitas komputasi atau skalabilitas ke graf yang sangat besar. Pekerjaan selanjutnya dapat mengeksplorasi perluasan QUARTET ke tugas pembelajaran relasional lain dan menyelidiki implementasi yang lebih efisien.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…