#rag-security

共收录 5 条相关安全情报。

← 返回所有主题
INFO
PAPER 2026-07-01

Embedding Inference Attack

推荐 5.5
Conf: 50%
👥 作者: Cedric Fitiavana Raelijohn, Sébastien Gambs, Jean-Francois Rajotte

该论文关注现代信息检索(IR)系统中嵌入模型的安全隐患。嵌入模型通常作为API端点隐藏在系统后端,但已有研究表明密集IR系统可能遭受嵌入反转攻击(即从检索结果反推输入文本或嵌入向量)。然而,此类攻击通常假设攻击者已知嵌入模型的具体细节(白盒场景)。本文首次提出一种在黑盒场景下的嵌入推理攻击(Embedding Inference Attack, EIA),该攻击仅观察到检索结果的文档集合(无序、无排名、无相似度分数),旨在识别系统背后使用的是哪一种嵌入模型。论文的核心方法是构造一组区分性查询:对于候选的已知嵌入模型集合,通过分析检索结果集合的差异,推断出实际使用的模型。实验表明,即使系统引入了重排序器(reranker)作为防御,部分查询仍能保持区分性。该攻击进一步在真实的检索增强生成(RAG)系统中得到验证——通过巧妙构造的查询,可以绕过大语言模型(LLM)对非标准输入形式的拒绝响应,成功实施模型推理。此外,论文探讨了防御策略,如设置相似度阈值来过滤部分检索结果,并评估了有效性。本研究的贡献在于:揭示了嵌入模型被黑盒推断的风险,提出了低成本的攻击方法,并验证了在RAG系统等实际场景中的可行性,为后续安全设计提供了参考。适合关注LLM/IR系统安全的研究人员、蓝队工程师以及RAG系统开发人员阅读。

💡 推荐理由: 该攻击暴露了嵌入模型在API场景下的指纹识别风险,可能成为其他高级攻击(如模型窃取、对抗样本)的前置步骤,对RAG系统和私有嵌入服务构成潜在威胁。

🎯 建议动作: 研究跟进,评估自身RAG系统或嵌入API对模型推理攻击的抵抗力

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Tsun On Kwok, Xi Yang, Ki Sen Hung, Chang Liu, Yangqiu Song

该论文提出了 SentinelRAG,一种用于保护专有 RAG(检索增强生成)数据库版权的数字水印框架。现有水印方法存在两个主要问题:一是通过在真实实体之间注入虚假关系来污染知识库,从而引入错误信息;二是嵌入的脆弱词汇模式容易被对抗性改写删除。SentinelRAG 的核心思想是在 RAG 数据库中嵌入风格一致但虚构的知识条目。这些虚构知识描述的是不存在的实体,合法用户查询时几乎不会被检索到,但数据所有者可以通过仅自己知道的特定目标探针可靠地触发检测。实验在四个文档数量从 2.9k 到 8.8M 不等的数据集上进行,结果显示,在仅 0.1% 的注入率下,SentinelRAG 在所有测试配置中均实现了统计显著的检测(p < 10^-5)。与现有技术相比,该方法显著降低了误检率,同时几乎不影响合法用户的查询。该工作为保护知识产权提供了一种新的思路,尤其适用于使用外部数据库的 LLM 应用场景。

💡 推荐理由: 该研究为保护企业级RAG数据库知识产权提供了新方案,能够有效检测未经授权的数据分发,对AI数据资产管理具有实际意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chengliang Liu, Liangbo Ning, Yujuan Ding, Wenqi Fan

该论文研究了检索增强生成(RAG)增强的大型语言模型(LLM)系统面临的推理成本攻击(ICA)问题。RAG系统通过多阶段流水线动态检索并合成外部知识,虽然提升了性能,但也带来了高昂的推理成本。现有ICA攻击通常假设可以直接操纵提示,这在实践中难以实现。作者认为,通过投毒外部知识库(如互联网上的网页知识)是一种更可行且更具威胁的攻击方式。为此,他们提出了一种新的攻击范式——检索增强推理成本攻击(RA-ICA),通过向外部知识语料库注入恶意文档来大幅增加RAG系统的推理计算成本。为实现该攻击,设计了CREEP(Computational Resource Exhaustion via External Poisoning)框架,该框架利用LLM代理自动生成既在语义上与查询相关、又能导致推理阶段token消耗异常增加的恶意文档。为了提升攻击效果,还提出了一种新的强化学习算法MA-GRPO(Memory-Augmented Group Relative Policy Optimization),通过从历史最优对抗文档的动态记忆中学习来微调攻击代理。在三个真实数据集上的大量实验表明,RA-ICA能够将token消耗提升高达13.12倍,成功率超过90%,同时不损害生成答案的完整性。该研究揭示了RAG系统在推理成本方面的新安全漏洞,对部署RAG服务的组织具有重要警示意义。

💡 推荐理由: 该研究揭示了RAG系统在推理成本方面存在严重安全漏洞,攻击者可通过投毒知识库以极低成本大幅增加服务提供方的计算开销,可能导致服务降级或经济损失,对依赖RAG的LLM应用构成实际威胁。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 8.5
Conf: 50%
👥 作者: Ziyuan Chen, Yueming Lyu, Yi Liu, Weixiang Han, Jing Dong, Caifeng Shan, Tieniu Tan

该论文针对检索增强生成(RAG)系统在动态网络搜索场景中易受对抗性攻击的问题,提出了一种名为RADAR的动态防御框架。现有静态防御方法难以应对不断演变的攻击模式,且在动态环境中存储成本过高。RADAR将可靠的上下文选择建模为基于图的能量最小化问题,并通过最大流最小割定理精确求解。框架引入贝叶斯记忆节点,递归更新信念状态而非存储原始历史文档,从而在抵御攻击的稳定性与适应真实知识变化之间取得平衡。实验在作者构建的动态数据集上进行,结果表明,与基线方法相比,RADAR在鲁棒性和响应质量上均表现更优,且存储开销极小。该工作主要贡献在于:1)首次将RAG的上下文选择形式化为能量最小化问题;2)提出动态信念更新机制,避免历史文档的冗余存储;3)设计动态评估数据集,更贴近实际应用场景。适合从事LLM安全、对抗性机器学习的从业者阅读。

💡 推荐理由: RAG系统已广泛应用于问答、搜索等场景,但其对检索内容的依赖使其易受检索投毒攻击。RADAR提供了一种低开销的动态防御方案,有助于提升RAG在实际部署中的安全性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 10.5
Conf: 50%
👥 作者: Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Han Qiu

本文针对检索增强生成(RAG)系统中的数据泄漏风险展开系统研究。RAG技术通过让大语言模型(LLM)利用外部知识库来提升回答质量,但同时也将宝贵的RAG数据库暴露于泄漏攻击之下。随着RAG系统日益复杂,LLM的指令遵循能力不断增强,现有研究缺乏对RAG泄漏风险的系统评估。为此,作者提出了LeakDojo——一个可配置的基准测试框架,用于在受控环境下评估RAG泄漏风险。利用LeakDojo,他们在14种LLM、4个数据集及多种RAG系统上对6种现有攻击进行了基准测试。主要发现包括:(1)查询生成和对抗指令对泄漏具有独立贡献,整体泄漏近似为两者的乘积;(2)更强的指令遵循能力与更高的泄漏风险相关;(3)提升RAG的忠实度反而可能引入更大的泄漏风险。这些发现为理解和缓解实际RAG泄漏提供了可操作的见解。代码已开源。

💡 推荐理由: RAG系统在企业级LLM应用中广泛部署,其数据库常包含敏感知识,泄漏后果严重。本文首次系统量化了泄漏风险因子,为安全评估提供了标准化框架,对防御者调整RAG配置具有直接指导意义。

🎯 建议动作: 研究跟进:阅读论文源码并评估自身RAG系统的泄漏风险,考虑应用文中发现的乘积近似关系设计防护。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)