Editorial Ilmu Komputer & AI
Open AccessOA2026
SpliTEE: Meningkatkan Inferensi LLM pada Perangkat Keras Tepercaya dengan Outsourcing GPU Berdiferensial Privasi
Arsitektur inferensi terpisah yang memakai differential privacy untuk melindungi representasi antara saat mengalihdayakan komputasi LLM ke GPU tak tepercaya, mencapai percepatan hampir 2x dibandingkan inferensi TEE hanya CPU.
Shashie Dilhara Batan Arachchige; Robin Carpentier; Hassan Jameel Asghar; Dali Kaafarยท 2026ยท DOI 10.48550/arXiv.2609.15039
Masalah inti
Large language model (LLM) makin banyak digunakan sebagai layanan jarak jauh, tetapi prompt pengguna sering memuat informasi sensitif. Trusted execution environment (TEE) menawarkan solusi dengan mengisolasi komputasi dari penyedia layanan, namun TEE saat ini berbasis CPU dan jauh lebih lambat daripada GPU yang dioptimalkan untuk inferensi LLM. Tramer dan Boneh (2019) mengusulkan Slalom, yang memecah inferensi neural network antara TEE dan GPU tak tepercaya, dengan mengenkripsi input antara yang dikirim ke GPU. Namun, enkripsi menimbulkan overhead kuantisasi dan membatasi presisi. Penelitian ini memperluas inferensi terpisah ke LLM dan mengganti enkripsi dengan differential privacy (DP) untuk melindungi representasi antara. Penulis terlebih dahulu menunjukkan perlunya masking dengan memperlihatkan serangan rekonstruksi prompt yang memulihkan prompt dari representasi antara dengan akurasi hampir 80%. Mereka kemudian memberikan analisis sensitivitas global atas fungsi-fungsi kunci LLM untuk membatasi skala noise DP yang dibutuhkan. Berbeda dari enkripsi, DP menghindari kuantisasi sehingga LLM tetap berada di domain floating-point. Arsitektur ini diimplementasikan memakai Intel TDX da
Inovasi
Evaluasi eksperimental menunjukkan bahwa SpliTEE mencapai hampir dua kali kecepatan inferensi berbasis CPU sepenuhnya di dalam Intel TDX. Dibandingkan dengan Slalom berbasis enkripsi, SpliTEE 5-15 detik lebih cepat sambil mencapai akurasi yang lebih tinggi. Percepatan ini disebabkan oleh penghindaran kuantisasi dan pengaktifan operasi floating-point pada GPU. Peningkatan akurasi berasal dari mekanisme DP yang mempertahankan presisi numerik model, sedangkan pendekatan berbasis enkripsi sering memerlukan kuantisasi ke aritmetika fixed-point. Penulis juga menunjukkan bahwa rekonstruksi prompt, bahkan dengan pengetahuan tentang mekanisme DP, tidak dapat memulihkan informasi lebih banyak daripada yang terkandung dalam prompt tak terkait. Ini memberikan jaminan privasi yang kuat: representasi yang ditutupi tidak mengungkapkan lebih banyak tentang prompt asli daripada yang akan diungkapkan oleh prompt acak. Serangan rekonstruksi prompt, yang mencapai akurasi hampir 80% pada representasi tanpa masking, gagal memulihkan informasi bermakna dari representasi yang ditutupi DP. Batas galat floating-point yang diturunkan dalam metodologi divalidasi secara empiris, menunjukkan bahwa galat tetap d
Large language model (LLM) makin banyak digunakan sebagai layanan jarak jauh, tetapi prompt pengguna sering memuat informasi sensitif. Trusted execution environment (TEE) menawarkan solusi dengan mengisolasi komputasi dari penyedia layanan, namun TEE saat ini berbasis CPU dan jauh lebih lambat daripada GPU yang dioptimalkan untuk inferensi LLM. Tramer dan Boneh (2019) mengusulkan Slalom, yang memecah inferensi neural network antara TEE dan GPU tak tepercaya, dengan mengenkripsi input antara yang dikirim ke GPU. Namun, enkripsi menimbulkan overhead kuantisasi dan membatasi presisi. Penelitian ini memperluas inferensi terpisah ke LLM dan mengganti enkripsi dengan differential privacy (DP) untuk melindungi representasi antara. Penulis terlebih dahulu menunjukkan perlunya masking dengan memperlihatkan serangan rekonstruksi prompt yang memulihkan prompt dari representasi antara dengan akurasi hampir 80%. Mereka kemudian memberikan analisis sensitivitas global atas fungsi-fungsi kunci LLM untuk membatasi skala noise DP yang dibutuhkan. Berbeda dari enkripsi, DP menghindari kuantisasi sehingga LLM tetap berada di domain floating-point. Arsitektur ini diimplementasikan memakai Intel TDX dan dievaluasi dengan Llama-3.2-3B dan Qwen3-4B.
Arsitektur yang diusulkan, SpliTEE, memecah inferensi LLM antara TEE (berbasis CPU) dan GPU tak tepercaya. TEE menyimpan bobot model dan menjalankan operasi sensitif, sementara GPU menangani perkalian matriks yang intensif komputasi. Aktivasi antara yang dikirim ke GPU ditutupi memakai differential privacy. Secara spesifik, TEE menambahkan noise terkalibrasi ke representasi antara sebelum mengalihdayakannya. Skala noise ditentukan oleh analisis sensitivitas global atas fungsi-fungsi LLM, yang membatasi perubahan maksimum pada output akibat satu perubahan input. Analisis ini krusial untuk memastikan jaminan DP tetap berlaku. Penulis menurunkan batas atas galat floating-point yang ditimbulkan oleh masking dan pembatalan noise di TEE sebagai fungsi dari parameter privasi . Mekanisme DP yang dipakai kemungkinan adalah mekanisme Gaussian, di mana noise
ditambahkan, dengan dikalibrasi terhadap sensitivitas dan :
untuk -DP. Arsitektur ini diimplementasikan memakai Intel TDX, sebuah TEE berbasis CPU, dan dievaluasi pada dua LLM: Llama-3.2-3B dan Qwen3-4B. Eksekusi terpisah dibandingkan dengan inferensi berbasis CPU sepenuhnya di dalam TDX dan Slalom berbasis enkripsi.
Mengapa penting
Wawasan kunci SpliTEE adalah bahwa differential privacy dapat secara efektif menggantikan enkripsi dalam arsitektur inferensi terpisah untuk LLM, menawarkan trade-off yang lebih baik antara privasi, kinerja, dan akurasi. Dengan menghindari kuantisasi, DP memungkinkan LLM beroperasi di domain floating-point aslinya, yang krusial untuk mempertahankan akurasi. Analisis sensitivitas global menyediakan cara berprinsip untuk mengkalibrasi skala noise, memastikan jaminan privasi terpenuhi tanpa noise berlebihan yang akan menurunkan utilitas. Batas atas galat floating-point yang diturunkan sebagai fungsi dari menawarkan pemahaman teoretis tentang trade-off privasi-utilitas. Implementasi pada Intel TDX menunjukkan kelayakan praktis, dengan percepatan signifikan dibandingkan inferensi TEE hanya CPU. Perbandingan dengan Slalom menyoroti keunggulan DP dibandingkan enkripsi: eksekusi lebih cepat dan akurasi lebih tinggi. Namun, pendekatan ini memiliki batasan. Jaminan DP bersifat probabilistik dan bergantung pada pilihan dan . Analisis sensitivitas mungkin konservatif, sehingga menghasilkan noise lebih banyak daripada yang diperlukan. Penelitian selanjutnya dapat mengeksplorasi batas sensitivitas yang lebih ketat, kalibrasi noise adaptif, dan perluasan ke TEE serta arsitektur LLM lain. Hasil serangan rekonstruksi prompt menegaskan pentingnya masking pada representasi antara, dan mekanisme DP memberikan pertahanan yang tangguh bahkan terhadap penyerang yang mengetahui mekanismenya. Secara keseluruhan, SpliTEE merupakan langkah signifikan menuju inferensi LLM yang praktis dan menjaga privasi pada perangkat keras tepercaya dengan outsourcing GPU.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten memberโฆ