Open AccessOA PDF
WoE Wrote It? Watermarking Mixture-of-Experts LLMs for Black-Box Text Provenance
Jona te Lintelo; Lichao Wu; Stjepan Picek
- Ringkasan
- WoE menyematkan sinyal provenans langsung ke dalam kosakata expert terpilih pada LLM Mixture-of-Experts sparse, mencapai rata-rata true positive rate 90,1% pada false positive rate 1% di delapan model. Berbeda dari sampler saat inferensi, …
- Metode
- WoE memanfaatkan struktur routing pada lapisan MoE sparse. Dalam blok transformer MoE standar, router $g$ memilih top-$k$ expert untuk setiap token $x$: $$y = \sum_{i \in \mathcal…
- Hasil
- Di antara delapan model MoE yang dievaluasi, WoE berhasil mendeteksi watermark dari teks yang dicurigai dengan **rata-rata true positive rate 90,1% pada false positive rate 1%**, mencapai **hingga 94…