ETCInfer: Penjadwal Pendinginan Bersama yang Sadar Termal dan Hemat Energi untuk Inferensi LLM di Pusat Data AI

Inferensi large language model (LLM) di pusat data AI menggabungkan dua loop kendali yang biasanya terpisah: penyajian GPU dan pendinginan fasilitas. Menaikkan setpoint suhu lingkungan mengurangi energi pendinginan dan jejak karbon, tetapi juga menyusutkan ruang termal, memicu throttling GPU, dan dapat menyebabkan pelanggaran Service-Level-Objective (SLO). Makalah ini mempelajari kendali pendinginan–komputasi bersama untuk inferensi LLM, dengan tujuan meminimalkan energi GPU-plus-pendinginan per pekerjaan sambil memenuhi batasan keamanan termal dan SLO latensi.

Penulis mengidentifikasi trade-off mendasar: pendinginan agresif membuang energi, sedangkan pendinginan yang tidak memadai menurunkan kinerja dan melanggar target latensi. Penjadwal yang ada umumnya memperlakukan pendinginan dan komputasi sebagai sistem independen, sehingga melewatkan peluang optimasi lintas lapisan. ETCInfer mengatasi celah ini dengan merancang bersama pemilihan setpoint Computer Room Air Conditioner (CRAC) pra-pekerjaan dengan adaptasi frekuensi per-GPU dan ukuran micro-batch selama eksekusi.

Evaluasi pada simulasi jejak nyata dan eksperimen validasi menunjukkan bahwa ETCInfer menurunkan total energi pekerjaan hingga 33,1%, paparan throttling termal hingga 92,9%, dan menjaga tingkat pelanggaran SLO di bawah 0,7% bahkan pada suhu lingkungan hingga $48^{\circ }\mathrm{C}$. Hasil ini menunjukkan bahwa kendali pendinginan–komputasi bersama dapat mencapai penghematan energi yang substansial tanpa mengorbankan jaminan latensi.

Eksperimen membandingkan ETCInfer dengan penjadwal baseline yang entah menetapkan setpoint CRAC tetap atau hanya mengadaptasi parameter GPU. Pengurangan energi berasal dari daya pendinginan yang lebih rendah (karena setpoint lebih tinggi) dan throttling GPU yang berkurang (karena penyesuaian frekuensi dan micro-batch yang proaktif). Metrik paparan throttling termal, yang mengukur fraksi waktu GPU beroperasi di atas suhu aman, turun drastis, menandakan keamanan termal yang lebih baik.