#embedding-inversion

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Yubo Wang, Shujie Cui, James Bailey, Hongzhi Yin, Wenyu Liang, Min Tang, Shiyue Qin, Weiqing Wang

本文研究噪声保护下的文本嵌入反演攻击问题。文本嵌入被广泛用于数据挖掘、检索和机器学习系统,但近期的嵌入反演攻击表明,攻击者可以从嵌入向量中重建原始文本的敏感信息,造成严重隐私泄露。一种常见的防御手段是向嵌入向量中添加高斯噪声以扰动输出,该方法简单有效,且对下游任务的效用影响较小。然而,这种噪声保护机制是否足以抵御自适应攻击者仍然未知。作者首先分析了现有生成式反演方法在噪声保护场景下失败的原因,提出了“双重噪声陷阱”的概念,指出标准生成式反演模型因无法同时处理嵌入噪声和重建噪声而难以高质量重构文本。为解决该问题,论文提出了DAEI(Denoising-Aware Embedding Inversion)流水线,结合残差去噪自编码器与生成式文本反演。其中,去噪器采用Stein无偏风险估计以无监督方式训练,仅凭噪声观测即可学习去噪。实验表明,与现有生成式基线相比,DAEI在BLEU上实现了约154%的相对提升,在token级F1和ROUGE-L上提升32%至60%。该结果表明,简单的高斯扰动不足以有效防止嵌入表示中的敏感信息泄露,对现有隐私保护假设提出了挑战。

💡 推荐理由: 该研究揭示了简单高斯噪声防护的局限性,提醒蓝队和安全工程师在依赖嵌入扰动保护隐私时需保持警惕,并考虑更强的防护措施。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhicong Huang, Cheng Hong, Tao Wei

本文针对云端语言模型服务中基于混淆的隐私防御提出了一项有效的嵌入反转攻击。当前,云语言模型服务在处理包含敏感信息的提示时,通常采用混淆技术(如ObfusLM、SentinelLMs、TextObfuscator和DPNR)在传输前转换提示表示,作为加密方案的轻量级替代。然而,作者通过提出DeepInvert攻击证明了这类防御提供的保护远低于此前认知。DeepInvert是一种半监督嵌入反转攻击,能够从混淆后的表示中恢复原始token,且准确率显著优于既有方法。其核心洞察在于,尽管未标记的混淆嵌入经过了扰动,仍保留了可利用的语义结构。DeepInvert结合了在带标签影子数据上的监督训练与在未标记目标嵌入上的新型无监督一致性目标,通过混合训练流程交替优化。此外,攻击还具备防御感知的适应能力,可扩展到多种混淆机制,覆盖基于编码器和自回归的语言模型架构。在九种防御、五个任务和四种模型架构上的实验表明,DeepInvert在大多数防御下均优于现有攻击。以ObfusLM为例,DeepInvert的Top-1 token恢复率达到73.5%,而此前最优方法仅为26.2%。研究结果揭示了一种任务相关的两难局面:能够在效用上保留足够信号的混淆方案,同时也会保留足以被反转利用的结构;而能够抵抗反转的方案,其效用则大幅下降。仅在简单分类任务中,部分基于差分隐私的防御能够同时维持隐私与效用。作者呼吁安全社区重新评估这一防御类别,并指出混淆并非可靠的隐私保护机制。

💡 推荐理由: 云LLM服务常依赖混淆保护用户提示隐私,但DeepInvert证明这类防御可被高效攻破,意味着敏感信息泄露风险被严重低估。安全从业者不应再盲目信任此类轻量级防御,需重新评估隐私保护架构。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Sergey Kurilenko

本文研究了一种混合隐私保护的语义搜索方案,旨在解决稠密向量嵌入在向量数据库泄露时面临的嵌入-反演攻击(即从向量重构原始文本)问题。传统的防御手段存在两个极端:完全同态加密虽然安全性强,但在百万级文档规模下延迟过高;而添加隐私噪声会在保护效果显现之前就严重破坏排序质量。本文提出一种利用静态集合与动态查询之间不对称性的中间路线:集合端采用几何保护,每个向量通过SVD截断到低维子空间,并经过只有集合所有者知道的秘密正交变换旋转;查询端采用密码学保护,使用CKKS同态加密对查询进行重排序,使得诚实且好奇的服务器无法看到查询或分数。CKKS参数通过离线小规模基准测试确定。理论方面,论文证明了任何局限于所保护子空间的攻击者的重构误差下界。实验在百万文档和五种编码器上进行,方案在亚秒级延迟下保持了排序质量(对于强编码器甚至略有提升,起到了线性降噪器的作用),并且现成的反演攻击在保护空间内退化为噪声水平。进一步,论文测试了更强的攻击者:已知明文攻击者可以通过正交Procrustes方法从约等于保留维度的泄露对中恢复旋转;公开的乘积量化码保留了大部最近邻结构;随机投影、校准噪声和BEIR基线表明,截断是一个依赖于编码器的精度代价,而非免费的降噪器。最后,论文明确了限制:查询机密性由密码学保证,但文档保护是经验性的混淆层(SVD截断加秘密旋转),而非密码学原语,并对每项主张划定了威胁模型边界。

💡 推荐理由: 向量数据库泄露导致语义嵌入反演攻击是RAG系统的核心风险。本文提出的混合方案首次在亚秒级延迟下实现了百万级文档的实用隐私保护,为业界提供了一种可落地的折中思路。

🎯 建议动作: 研究跟进,评估该方案在自身向量数据库场景下的可行性与精度损失。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)