Profil Memori dan Migrasi untuk Arsitektur Memori Heterogen

SHAMBLES: Kerangka Kerja Terintegrasi Kernel untuk Manajemen Memori Bertingkat yang Transparan dan Berbasis Kebijakan

Marios Asiminakis; Polydoros Petrakis; Manolis Marazakis· 2026· DOI 10.48550/arXiv.2609.10554

Masalah inti

Sistem memori heterogen yang menggabungkan high-bandwidth memory (HBM) dengan DRAM komoditas dapat mempercepat beban kerja HPC yang terikat bandwidth. Namun, penempatan halaman saat ini sebagian besar bergantung pada penyetelan manual atau heuristik OS yang tidak dirancang untuk dinamika multi-tingkat. Makalah ini menyajikan SHAMBLES, kerangka kerja terintegrasi kernel yang memprofilkan perilaku memori aplikasi dengan overhead rendah dan memigrasikan data antar tingkat tanpa memerlukan perubahan aplikasi. SHAMBLES mengekspos antarmuka yang agnostik terhadap kebijakan dan runtime ruang pengguna yang ringan dengan kebijakan yang dapat dipasang (misalnya, berbasis recency dan frequency) serta penempatan statis untuk studi terkontrol. Mode logging menyediakan garis waktu alokasi dan migrasi yang dapat direproduksi untuk membantu analisis. Penulis mengimplementasikan SHAMBLES pada sistem Linux komoditas dengan HBM dan DDR yang diekspos sebagai node NUMA dan mengevaluasinya dengan benchmark HPCG, DGEMM, dan mini-app stensil Himeno. Desain dan metodologi menunjukkan bagaimana migrasi yang transparan dan berbasis kebijakan dapat merespons lokalitas akses yang berubah dan memusatkan data pa

Inovasi

Evaluasi menunjukkan bahwa SHAMBLES dapat mempertahankan kinerja tinggi sambil hanya menggunakan sebagian kecil kapasitas HBM. Untuk HPCG, SHAMBLES mencapai hingga 93,75% dari kinerja baseline all-in-HBM sambil hanya menyimpan 40% dari ukuran masalah di HBM. Untuk DGEMM, kebijakan dinamis di SHAMBLES mempertahankan hingga 99% dari kinerja all-in-HBM sambil hanya menyimpan sepertiga dari jejak matriks DGEMM di HBM. Untuk Himeno, hasilnya menunjukkan bahwa pemilihan fast-tier harus sadar beban kerja dan sadar ukuran: dengan anggaran fast-tier 50%, SHAMBLES dapat mengungguli penempatan tetap all-in-HBM dan all-in-DDR untuk ukuran L, sementara ukuran XL bergeser kembali ke HBM. Hasil ini menunjukkan bahwa migrasi yang transparan dan berbasis kebijakan dapat secara efektif merespons lokalitas akses yang berubah dan memusatkan data panas di HBM tanpa intervensi pengembang. Mode logging menyediakan garis waktu yang dapat direproduksi yang mengonfirmasi bahwa pola migrasi selaras dengan fase akses. Overhead profiling dan migrasi rendah, terbukti dari retensi kinerja yang tinggi. Tabel berikut merangkum hasil utama:

Sistem memori heterogen yang menggabungkan high-bandwidth memory (HBM) dengan DRAM komoditas dapat mempercepat beban kerja HPC yang terikat bandwidth. Namun, penempatan halaman saat ini sebagian besar bergantung pada penyetelan manual atau heuristik OS yang tidak dirancang untuk dinamika multi-tingkat. Makalah ini menyajikan SHAMBLES, kerangka kerja terintegrasi kernel yang memprofilkan perilaku memori aplikasi dengan overhead rendah dan memigrasikan data antar tingkat tanpa memerlukan perubahan aplikasi. SHAMBLES mengekspos antarmuka yang agnostik terhadap kebijakan dan runtime ruang pengguna yang ringan dengan kebijakan yang dapat dipasang (misalnya, berbasis recency dan frequency) serta penempatan statis untuk studi terkontrol. Mode logging menyediakan garis waktu alokasi dan migrasi yang dapat direproduksi untuk membantu analisis. Penulis mengimplementasikan SHAMBLES pada sistem Linux komoditas dengan HBM dan DDR yang diekspos sebagai node NUMA dan mengevaluasinya dengan benchmark HPCG, DGEMM, dan mini-app stensil Himeno. Desain dan metodologi menunjukkan bagaimana migrasi yang transparan dan berbasis kebijakan dapat merespons lokalitas akses yang berubah dan memusatkan data panas di HBM tanpa intervensi pengembang, menawarkan jalur praktis menuju portabilitas kinerja pada memori bertingkat.

SHAMBLES diimplementasikan sebagai kerangka kerja terintegrasi kernel pada sistem Linux komoditas di mana HBM dan DDR diekspos sebagai node NUMA terpisah. Kerangka kerja ini terdiri dari tiga komponen utama: (1) mekanisme profiling overhead rendah yang melacak pola akses memori pada granularitas halaman, (2) mesin migrasi yang agnostik terhadap kebijakan yang memindahkan halaman antar tingkat, dan (3) runtime ruang pengguna yang ringan yang memungkinkan kebijakan yang dapat dipasang. Mekanisme profiling menggunakan penghitung kinerja perangkat keras dan pengambilan sampel page fault untuk mengumpulkan informasi frekuensi dan recency akses tanpa overhead yang signifikan. Mesin migrasi beroperasi secara asinkron untuk menghindari gangguan pada eksekusi aplikasi. Kebijakan dapat dimuat secara dinamis, termasuk strategi berbasis recency (misalnya, LRU) dan berbasis frequency (misalnya, LFU), serta penempatan statis untuk perbandingan baseline. Mode logging mencatat peristiwa alokasi dan migrasi dengan stempel waktu, memungkinkan analisis yang dapat direproduksi. Evaluasi menggunakan tiga beban kerja: HPCG (benchmark conjugate gradient), DGEMM (perkalian matriks padat), dan Himeno (mini-app stensil). Sistem diuji dengan kapasitas fast-tier (HBM) yang bervariasi untuk menilai kinerja di bawah anggaran yang berbeda. Persamaan kunci yang mengatur keputusan migrasi dapat dinyatakan sebagai fungsi biaya-manfaat: Migrate if \frac{Benefit ( p )}{Cost ( p )} > θ, di mana Benefit (p) adalah pengurangan latensi akses yang diharapkan untuk halaman p, Cost (p) adalah overhead migrasi, dan θ adalah ambang batas yang dapat disetel. Arsitektur diilustrasikan dalam diagram Mermaid berikut:

Mengapa penting

Hasilnya menyoroti potensi SHAMBLES untuk portabilitas kinerja pada sistem memori bertingkat. Kemampuan untuk mempertahankan kinerja mendekati baseline dengan penggunaan HBM yang berkurang menunjukkan bahwa migrasi cerdas dapat mengurangi keterbatasan kapasitas HBM. Perilaku sadar beban kerja dan sadar ukuran yang diamati pada Himeno menunjukkan bahwa tidak ada satu kebijakan pun yang optimal untuk semua kasus; kebijakan adaptif diperlukan. Antarmuka yang agnostik terhadap kebijakan memungkinkan eksperimen dengan strategi yang berbeda, yang sangat penting untuk memahami trade-off. Overhead profiling dan migrasi yang rendah adalah faktor pengaktif utama, karena memastikan bahwa manfaat migrasi melebihi biayanya. Mode logging membantu reproduktibilitas dan analisis, yang penting untuk penelitian maupun penerapan. Namun, studi ini terbatas pada konfigurasi perangkat keras tertentu dan serangkaian benchmark; evaluasi lebih lanjut dengan beban kerja dan arsitektur yang beragam diperlukan. Temuan ini menunjukkan bahwa SHAMBLES menawarkan jalur praktis menuju portabilitas kinerja pada memori bertingkat, tetapi juga bahwa pemilihan fast-tier harus disetel dengan hati-hati terhadap karakteristik beban kerja dan kapasitas yang tersedia. Pekerjaan selanjutnya dapat mengeksplorasi kebijakan yang lebih canggih, seperti prediksi pola akses berbasis machine learning, dan integrasi dengan teknik manajemen memori lainnya.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…