Audit Privasi Konformal: Serangan Re-identifikasi Terkalibrasi dengan Jaminan Statistik

Kerangka kerja bebas distribusi untuk mensertifikasi risiko re-identifikasi tingkat dokumen terhadap penyerang yang diperkuat LLM

Shuo Huang; Gholamreza Haffari; Xingliang Yuan; Ting Yu; Lizhen Qu· 2026· DOI 10.48550/arXiv.2609.21340

Masalah inti

Kebocoran identitas empiris dari teks yang dirilis semakin banyak didorong oleh penyerang yang menggabungkan large language model (LLM) dengan pengetahuan tambahan untuk menautkan dokumen ke individu. Audit yang ada umumnya melaporkan tingkat keberhasilan untuk pipeline serangan tertentu tetapi tidak memiliki jaminan statistik sampel terbatas, sementara perlindungan pada waktu pelatihan seperti differential privacy sulit diterjemahkan menjadi keputusan pada waktu rilis untuk dokumen bahasa alami individual. Kesenjangan ini memotivasi kerangka kalibrasi bebas distribusi yang memberikan sertifikat statistik atas risiko re-identifikasi untuk setiap dokumen yang dirilis terhadap penyerang yang diperkuat LLM. Penulis memperkenalkan Conformal Privacy Auditing (CPA), yang menghasilkan himpunan ambiguitas konformal berisi kandidat identitas yang dijamin memuat identitas sebenarnya dengan tingkat keyakinan yang dipilih pengguna di bawah asumsi exchangeability, bersama proksi kebocoran yang dapat diinterpretasikan yang diturunkan dari ukuran himpunan. CPA mendukung penyerang dengan akses logit maupun penyerang yang hanya bisa melakukan sampling, sehingga memungkinkan audit model open-source

Pada berbagai tolok ukur rilis dan konfigurasi penyerang, CPA mencapai cakupan terkalibrasi, artinya cakupan empiris himpunan ambiguitas sangat mendekati tingkat keyakinan nominal 1 - α . Penulis melaporkan bahwa CPA mengungkap pergeseran tajam dalam identifiabilitas tersertifikasi ketika pengetahuan tambahan, augmentasi LLM, dan mekanisme rilis bervariasi. Misalnya, peningkatan jumlah pengetahuan tambahan yang tersedia bagi penyerang secara signifikan memperkecil ukuran rata-rata himpunan ambiguitas, yang menunjukkan risiko re-identifikasi yang lebih tinggi. Demikian pula, augmentasi LLM—di mana penyerang menggunakan LLM untuk memperkuat penautan—menghasilkan himpunan yang lebih kecil dibandingkan serangan baseline. Kerangka ini juga mengungkap perbedaan antar mekanisme rilis: dokumen yang dirilis dengan perlindungan privasi lebih kuat menghasilkan himpunan ambiguitas yang lebih besar, mencerminkan identifiabilitas tersertifikasi yang lebih rendah. Hasil-hasil ini memberikan dasar yang berlandaskan statistik untuk melaporkan dan membandingkan risiko penautan pada waktu rilis di berbagai konfigurasi penyerang, dataset, dan mekanisme rilis.

Kebocoran identitas empiris dari teks yang dirilis semakin banyak didorong oleh penyerang yang menggabungkan large language model (LLM) dengan pengetahuan tambahan untuk menautkan dokumen ke individu. Audit yang ada umumnya melaporkan tingkat keberhasilan untuk pipeline serangan tertentu tetapi tidak memiliki jaminan statistik sampel terbatas, sementara perlindungan pada waktu pelatihan seperti differential privacy sulit diterjemahkan menjadi keputusan pada waktu rilis untuk dokumen bahasa alami individual. Kesenjangan ini memotivasi kerangka kalibrasi bebas distribusi yang memberikan sertifikat statistik atas risiko re-identifikasi untuk setiap dokumen yang dirilis terhadap penyerang yang diperkuat LLM. Penulis memperkenalkan Conformal Privacy Auditing (CPA), yang menghasilkan himpunan ambiguitas konformal berisi kandidat identitas yang dijamin memuat identitas sebenarnya dengan tingkat keyakinan yang dipilih pengguna di bawah asumsi exchangeability, bersama proksi kebocoran yang dapat diinterpretasikan yang diturunkan dari ukuran himpunan. CPA mendukung penyerang dengan akses logit maupun penyerang yang hanya bisa melakukan sampling, sehingga memungkinkan audit model open-source dan model API proprietary dalam satu kerangka kerja terpadu.

CPA bekerja dengan mengalibrasi conformal predictor pada sekumpulan dokumen dengan identitas yang diketahui, menggunakan skor nonconformity yang mengukur seberapa baik suatu kandidat identitas menjelaskan dokumen di bawah penyerang yang diperkuat LLM. Dengan tingkat keyakinan 1 - α yang dipilih pengguna, himpunan ambiguitas konformal C (x) untuk dokumen baru x dibangun sebagai:

Kerangka CPA menjawab kesenjangan kritis dalam audit privasi dengan menawarkan jaminan statistik sampel terbatas untuk risiko re-identifikasi pada dokumen bahasa alami. Berbeda dari differential privacy, yang memberikan jaminan pada waktu pelatihan yang sering kali terlalu konservatif atau sulit diinterpretasikan untuk rilis individual, CPA memberikan sertifikat pada waktu rilis yang dapat langsung diinterpretasikan melalui ukuran himpunan ambiguitas. Sifat bebas distribusi dari conformal prediction memastikan validitas di bawah asumsi minimal (exchangeability), sehingga CPA dapat diterapkan pada berbagai model dan dataset. Namun, jaminan cakupan bersifat marginal terhadap keacakan pada titik kalibrasi dan uji, dan mungkin tidak berlaku secara kondisional pada dokumen tertentu. Pekerjaan selanjutnya dapat mengeksplorasi cakupan kondisional dan memperluas CPA ke data terstruktur atau rilis multimodal. Dukungan terpadu untuk penyerang dengan akses logit dan hanya sampling membuat CPA praktis untuk mengaudit model open-source maupun proprietary, sehingga memudahkan komunikasi risiko yang transparan. Secara keseluruhan, CPA menyediakan alat audit privasi yang rigorus dan fleksibel pada era penyerang yang diperkuat LLM.

Praktisi dan peneliti ilmu komputer

Membuka konten member…