Editorial Ilmu Komputer & AI
Evaluasi Kinerja RED-ONION: Sistem Transfer Disk-ke-Disk Berkecepatan Tinggi
Masalah inti
Instrumen eksperimen modern menghasilkan data lebih cepat daripada kemampuan antarmuka transfer file serbaguna untuk memindahkannya, sehingga pengiriman ke infrastruktur komputasi menjadi hambatan dalam proses penelitian. Di banyak universitas dan lembaga penelitian, instrumen yang menghasilkan data penelitian dan sistem high-performance computing (HPC) yang menganalisisnya terpisah secara geografis maupun organisasi, karena masing-masing menuntut keahlian dan lingkungan instalasi tersendiri. Menghubungkan keduanya secara mulus menjadi tantangan mendesak bagi sains yang digerakkan data.
Artikel ini menyajikan RED-ONION, sistem transfer disk-ke-disk berkecepatan tinggi yang menghubungkan fasilitas penelitian, di kampus maupun di luar kampus, ke pusat komputasi. Sistem ini menggabungkan data transfer node (DTN), jaringan khusus berbandwidth tinggi, sistem file paralel all-flash, dan perangkat lunak transfer multi-thread yang memparalelkan transmisi jaringan dan akses penyimpanan. Desain ini menargetkan laju kabel di sepanjang seluruh jalur—dari pembacaan pada penyimpanan pengirim hingga penulisan pada penyimpanan penerima—dan untuk satu file antara sepasang node, bukan hanya secara
Inovasi
Prototipe yang diterapkan melalui jalur transpacific 100 Gbps antara Atlanta dan Tokyo dengan RTT 150 ms mencapai transfer satu file 1 TB pada 90 Gbps. Ini mengirimkan satu terabyte dalam sekitar 95 detik. Throughput yang dicapai mewakili 90% dari laju kabel 100 Gbps, menunjukkan bahwa optimasi end-to-end pada perangkat lunak transfer, sistem operasi, dan penyimpanan efektif bahkan melalui jalur berlatensi tinggi dan berbandwidth tinggi.
Hasil kuantitatif utama dirangkum di bawah ini:
| Metrik | Nilai |
|--------|-------|
| Kapasitas jaringan | 100 Gbps |
| Round-trip time (RTT) | 150 ms |
| Ukuran file | 1 TB |
| Throughput yang dicapai | 90 Gbps |
| Waktu transfer | ~95 s |
| Utilisasi laju kabel | 90% |
Hasil ini berlaku untuk satu file antara sepasang node, bukan agregat pada banyak file atau node. Ini hasil yang lebih kuat karena menunjukkan bahwa satu aliran dapat menjenuhkan tautan, yang penting bagi aplikasi yang perlu memindahkan file besar secara cepat. Waktu transfer sekitar 95 detik untuk 1 TB berarti memindahkan dataset sebesar ini menjadi langkah rutin, dan pusat komputasi dapat melayani instrumen seolah-olah keduanya berada di lokasi yang sama.
Throughput yang di
Mengapa penting
Hasil RED-ONION menunjukkan bahwa transfer disk-ke-disk pada kecepatan mendekati laju kabel dapat dicapai melalui jaringan jarak jauh berbandwidth tinggi ketika seluruh jalur dioptimalkan. Pencapaian 90 Gbps melalui tautan 100 Gbps dengan RTT 150 ms mewakili utilisasi laju kabel 90% untuk satu file antara sepasang node. Ini signifikan karena banyak alat transfer yang ada hanya mencapai throughput agregat tinggi saat menggunakan banyak aliran paralel atau banyak file, tetapi kesulitan menjenuhkan tautan dengan satu aliran melalui jalur berlatensi tinggi.
Faktor pemungkin utamanya adalah kombinasi data transfer node, jaringan khusus berbandwidth tinggi, sistem file paralel all-flash, dan perangkat lunak transfer multi-thread. Perangkat lunak multi-thread memparalelkan transmisi jaringan dan akses penyimpanan, yang penting untuk menyembunyikan RTT 150 ms dan menjaga pipa jaringan tetap penuh. Sistem file paralel all-flash menyediakan bandwidth penyimpanan untuk memasok jaringan, dan jaringan khusus memastikan tidak ada lalu lintas pesaing. Optimasi end-to-end pada perangkat lunak, OS, dan penyimpanan diperlukan karena hambatan pada tahap mana pun akan membatasi throughput keseluruhan.
Implikasinya bagi sains yang digerakkan data sangat besar. Di banyak universitas dan lembaga penelitian, instrumen dan sistem HPC terpisah secara geografis dan organisasi. RED-ONION menghubungkan keduanya secara mulus, memungkinkan pusat komputasi melayani instrumen seolah-olah keduanya berada di lokasi yang sama. Memindahkan dataset 1 TB menjadi langkah rutin, yang mengubah alur kerja peneliti: mereka dapat menghasilkan data di instrumen, mentransfernya ke pusat komputasi dalam sekitar 95 detik, dan menganalisisnya di sana tanpa khawatir transfer menjadi hambatan.
Batasan penelitian ini mencakup evaluasi yang hanya pada prototipe dan hanya untuk satu ukuran file (1 TB) serta satu jalur (Atlanta–Tokyo, 100 Gbps, RTT 150 ms). Penelitian selanjutnya dapat mengeksplorasi ukuran file lain, beberapa transfer bersamaan, kondisi jaringan yang berbeda, dan integrasi dengan alat transfer data yang ada. Kandidat taksonomi untuk pekerjaan ini mencakup Architecture, Cybersecurity, Network, dan Cryptography, meskipun fokus utamanya adalah jaringan dan arsitektur.
Sebagai kesimpulan, RED-ONION menunjukkan bahwa dengan optimasi end-to-end, transfer disk-ke-disk dapat mencapai 90% laju kabel melalui jalur transpacific 100 Gbps dengan RTT 150 ms, mengirimkan satu terabyte dalam sekitar 95 detik. Ini menjadikan transfer data skala besar sebagai langkah rutin dan memungkinkan pusat komputasi melayani instrumen seolah-olah keduanya berada di lokasi yang sama.
Siapa yang sebaiknya membaca
Membuka konten member…