#embedding-inversion

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Yubo Wang, Shujie Cui, James Bailey, Hongzhi Yin, Wenyu Liang, Min Tang, Shiyue Qin, Weiqing Wang

本文研究噪声保护下的文本嵌入向量反演攻击及其隐私风险。稠密文本嵌入因语义丰富且紧凑,被广泛用于数据挖掘、检索和下游机器学习系统,但近期的嵌入反演攻击表明,攻击者可以从嵌入向量中恢复原始文本的大量敏感信息。常见的防御手段是向嵌入向量添加高斯噪声后发布,该方法简单有效且对下游任务效用影响较小。然而,噪声保护的嵌入在面临明确考虑扰动过程的自适应攻击者时是否足够安全仍不明确。本文在攻击者仅能观测到带噪声嵌入、无法获得干净嵌入目标的设置下,研究文本嵌入反演问题。作者首先分析了现有生成式反演方法在此设置下失败的原因,识别出一种“双重噪声陷阱”,该陷阱从根本上阻碍了标准生成式反演模型实现高质量重建。为解决这一挑战,作者提出 DAEI(Denoising-Aware Embedding Inversion),一种去噪感知的嵌入反演流水线,结合残差去噪自编码器与生成式文本反演,其中去噪器采用 Stein 无偏风险估计以无监督方式训练,从而仅从带噪声观测中实现去噪。大量实验表明,与现有生成式反演基线相比,DAEI 在 BLEU 上实现了约 154% 的相对提升,在 token 级 F1 和 ROUGE-L 上提升 32% 至 60%。DAEI 的出色反演性能挑战了“简单高斯扰动足以防止嵌入表示泄露敏感信息”的普遍假设。

💡 推荐理由: 该研究揭示了对嵌入向量添加高斯噪声这一常见防御手段在自适应攻击者面前可能并不充分,对依赖嵌入向量发布的数据共享场景提出了重要隐私警示,安全从业者需重新评估现有防护策略的强度。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhicong Huang, Cheng Hong, Tao Wei

本文针对云端语言模型服务中基于混淆的隐私防御提出了一项有效的嵌入反转攻击。当前,云语言模型服务在处理包含敏感信息的提示时,通常采用混淆技术(如ObfusLM、SentinelLMs、TextObfuscator和DPNR)在传输前转换提示表示,作为加密方案的轻量级替代。然而,作者通过提出DeepInvert攻击证明了这类防御提供的保护远低于此前认知。DeepInvert是一种半监督嵌入反转攻击,能够从混淆后的表示中恢复原始token,且准确率显著优于既有方法。其核心洞察在于,尽管未标记的混淆嵌入经过了扰动,仍保留了可利用的语义结构。DeepInvert结合了在带标签影子数据上的监督训练与在未标记目标嵌入上的新型无监督一致性目标,通过混合训练流程交替优化。此外,攻击还具备防御感知的适应能力,可扩展到多种混淆机制,覆盖基于编码器和自回归的语言模型架构。在九种防御、五个任务和四种模型架构上的实验表明,DeepInvert在大多数防御下均优于现有攻击。以ObfusLM为例,DeepInvert的Top-1 token恢复率达到73.5%,而此前最优方法仅为26.2%。研究结果揭示了一种任务相关的两难局面:能够在效用上保留足够信号的混淆方案,同时也会保留足以被反转利用的结构;而能够抵抗反转的方案,其效用则大幅下降。仅在简单分类任务中,部分基于差分隐私的防御能够同时维持隐私与效用。作者呼吁安全社区重新评估这一防御类别,并指出混淆并非可靠的隐私保护机制。

💡 推荐理由: 云LLM服务常依赖混淆保护用户提示隐私,但DeepInvert证明这类防御可被高效攻破,意味着敏感信息泄露风险被严重低估。安全从业者不应再盲目信任此类轻量级防御,需重新评估隐私保护架构。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Sergey Kurilenko

本文研究了一种混合隐私保护的语义搜索方案,旨在解决稠密向量嵌入在向量数据库泄露时面临的嵌入-反演攻击(即从向量重构原始文本)问题。传统的防御手段存在两个极端:完全同态加密虽然安全性强,但在百万级文档规模下延迟过高;而添加隐私噪声会在保护效果显现之前就严重破坏排序质量。本文提出一种利用静态集合与动态查询之间不对称性的中间路线:集合端采用几何保护,每个向量通过SVD截断到低维子空间,并经过只有集合所有者知道的秘密正交变换旋转;查询端采用密码学保护,使用CKKS同态加密对查询进行重排序,使得诚实且好奇的服务器无法看到查询或分数。CKKS参数通过离线小规模基准测试确定。理论方面,论文证明了任何局限于所保护子空间的攻击者的重构误差下界。实验在百万文档和五种编码器上进行,方案在亚秒级延迟下保持了排序质量(对于强编码器甚至略有提升,起到了线性降噪器的作用),并且现成的反演攻击在保护空间内退化为噪声水平。进一步,论文测试了更强的攻击者:已知明文攻击者可以通过正交Procrustes方法从约等于保留维度的泄露对中恢复旋转;公开的乘积量化码保留了大部最近邻结构;随机投影、校准噪声和BEIR基线表明,截断是一个依赖于编码器的精度代价,而非免费的降噪器。最后,论文明确了限制:查询机密性由密码学保证,但文档保护是经验性的混淆层(SVD截断加秘密旋转),而非密码学原语,并对每项主张划定了威胁模型边界。

💡 推荐理由: 向量数据库泄露导致语义嵌入反演攻击是RAG系统的核心风险。本文提出的混合方案首次在亚秒级延迟下实现了百万级文档的实用隐私保护,为业界提供了一种可落地的折中思路。

🎯 建议动作: 研究跟进,评估该方案在自身向量数据库场景下的可行性与精度损失。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)