本文研究噪声保护下的文本嵌入向量反演攻击及其隐私风险。稠密文本嵌入因语义丰富且紧凑,被广泛用于数据挖掘、检索和下游机器学习系统,但近期的嵌入反演攻击表明,攻击者可以从嵌入向量中恢复原始文本的大量敏感信息。常见的防御手段是向嵌入向量添加高斯噪声后发布,该方法简单有效且对下游任务效用影响较小。然而,噪声保护的嵌入在面临明确考虑扰动过程的自适应攻击者时是否足够安全仍不明确。本文在攻击者仅能观测到带噪声嵌入、无法获得干净嵌入目标的设置下,研究文本嵌入反演问题。作者首先分析了现有生成式反演方法在此设置下失败的原因,识别出一种“双重噪声陷阱”,该陷阱从根本上阻碍了标准生成式反演模型实现高质量重建。为解决这一挑战,作者提出 DAEI(Denoising-Aware Embedding Inversion),一种去噪感知的嵌入反演流水线,结合残差去噪自编码器与生成式文本反演,其中去噪器采用 Stein 无偏风险估计以无监督方式训练,从而仅从带噪声观测中实现去噪。大量实验表明,与现有生成式反演基线相比,DAEI 在 BLEU 上实现了约 154% 的相对提升,在 token 级 F1 和 ROUGE-L 上提升 32% 至 60%。DAEI 的出色反演性能挑战了“简单高斯扰动足以防止嵌入表示泄露敏感信息”的普遍假设。
💡 推荐理由: 该研究揭示了对嵌入向量添加高斯噪声这一常见防御手段在自适应攻击者面前可能并不充分,对依赖嵌入向量发布的数据共享场景提出了重要隐私警示,安全从业者需重新评估现有防护策略的强度。
🎯 建议动作: 研究跟进