WiCi: Infrastruktur Komputasi GPU Nirkabel

Aplikasi inferensi large language model (LLM) semakin diminati, dan permintaan akan inferensi tumbuh secara eksponensial. Terutama, penggunaan GPU untuk inferensi semakin melampaui penggunaan untuk pelatihan. Namun, karena penalti mobilitas, inferensi di sisi edge gagal memberikan performa yang memuaskan. Akibatnya, sebagian besar penyedia layanan inferensi saat ini bergantung pada inferensi berbasis cloud, yang menimbulkan biaya besar dan tidak berkelanjutan bagi perusahaan, dan biaya tersebut bahkan meningkat dalam paradigma agentic.

Didorong oleh kesenjangan ini, para penulis menetapkan tujuan yang jelas: mengaktifkan kemampuan komputasi yang kuat setara dengan GPU kelas server pada perangkat seluler. Mereka mengusulkan **Wireless GPU Computing Infrastructure (WiCi)**. Melalui WiCi, perangkat seluler dapat mengakses GPU kelas server secara nirkabel, menjalankan tugas inferensi pada klien seluler sambil mengalihkan komputasi terkait GPU ke GPU terdekat melalui WiFi. WiCi memperkenalkan serangkaian desain untuk memastikan infrastruktur dapat diskalakan di berbagai aplikasi, kompatibel dengan berbagai perangkat seluler, dan mampu memberikan performa yang sebanding dengan menjalank

Para penulis menguji WiCi dari perangkat seluler dan melaporkan peningkatan substansial dibandingkan inferensi seluler lokal. Secara spesifik, WiCi dapat mengurangi waktu ke token pertama hingga **90%**, meningkatkan laju token sekitar **39x** dibandingkan inferensi lokal pada perangkat seluler untuk model yang sama, dan mendukung model yang jauh lebih besar. Selain itu, WiCi mencapai hingga hampir **80%** performa asli GPU kelas server di berbagai aplikasi.

Hasil ini menunjukkan bahwa offloading nirkabel dapat menjembatani sebagian besar kesenjangan performa antara perangkat seluler dan GPU kelas server. Keuntungan yang dilaporkan mencakup responsivitas (waktu ke token pertama) dan throughput berkelanjutan (laju token), sekaligus memperluas ukuran model yang layak pada klien seluler.