#retrieval-augmented-generation

共收录 10 条相关安全情报。

← 返回所有主题
👥 作者: Tianhao Chen, Yuhan Wei, Weifei Jin, Zhengyuan Jiang, Yuepeng Hu, Neil Zhenqiang Gong

本文关注检索增强生成(RAG)系统中的语料投毒威胁:由于 RAG 会把外部语料检索后拼接进 LLM 上下文,攻击者只需向知识库注入少量文档,就可能操纵模型对特定问题的回答。此前针对开放域问答的多段落投毒研究,普遍把同一个目标论断反复写入风格相近的文档里,结果是这些毒化段落在词汇与语义上高度相关,在嵌入空间中形成密集簇,相似度过滤、聚类检测以及冲突感知的防御能够据此联合识别并把它们一起压制。作者提出 DnD(Divide and Doubt)攻击,基于两条设计原则来规避这类防御:第一,把对目标答案的支持分散到一批行文风格、体裁、表述方式差异很大的段落中,使毒化文档的表征在嵌入空间中彼此分散,破坏基于相似性或聚类的聚合检测;第二,额外加入一段对“参考答案”所依赖证据提出质疑的内容,当检索器同时召回多篇毒化段落时,这种制造怀疑的文本会削弱模型对原始正确证据的信任,进一步推动其采纳攻击者设定的目标答案。作者在两个开放域问答数据集、三种主流 LLM 以及九种不同的 RAG 配置上开展系统评估,覆盖检索器的黑盒与白盒两种访问假设。实验表明,DnD 在绝大多数配置下达到或超过此前方法的攻击效果,并且在面对聚类感知与冲突感知防御时增益最为明显,说明现有 RAG 防御对“风格多样性投毒”与“证据可信度操纵”的组合缺乏有效的对抗手段。核心贡献在于提出了分散支持与制造怀疑相结合的投毒范式,并系统量化了它对当前 RAG 防御体系的有效性,为后续鲁棒性研究指明了新的盲区。

💡 推荐理由: RAG 已被广泛用于企业知识库、客服、搜索问答等场景,语料投毒可直接污染大模型输出且无需接触模型权重。DnD 证明聚类与冲突感知这两类主流防御存在系统性盲区,意味着依赖单一相似度检测的入库审核并不足以保障 RAG 可信度,安全团队需要重新评估语料信任边界与检测策略。

🎯 建议动作: 研究跟进:将该论文的评估方法与结论纳入内部 RAG 安全评估基线,并针对多样性投毒与证据质疑类文本补充检测规则。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yueyang Quan, Anjun Gao, Yufei Xia, Minghong Fang, Zhuqing Liu

检索增强生成(RAG)通过引入外部文档来提升大语言模型的事实性,但同时也引入了新的安全攻击面:恶意攻击者可以向知识库注入经过精心构造的对抗性文档,这些文档一旦被检索并进入上下文窗口,就可能引导模型输出特定的错误答案。现有的后检索防御手段,例如指令跟随、依赖参数化知识或基于文本一致性的校验,均存在被自适应攻击者模仿或针对优化的风险。本文提出 RAGSentinel——一种无需训练、无需标签的防御方法,适用于黑盒 RAG 系统。RAGSentinel 利用一个代理编码器来度量在给定查询条件下,检索文档所引发的隐藏状态偏移;通过移除共享的主题方向,它将有毒文档视为几何离群点,并基于鲁棒多数共识将其过滤掉。作者从理论上证明了:在诚实多数假设和表示层分离条件下,RAGSentinel 能够精确恢复无毒的多数规模上下文。实验覆盖三个问答数据集、三个大语言模型家族以及多种投毒攻击方式,结果显示 RAGSentinel 始终能够保持较低的攻击成功率,同时不损害正常的回答准确率;即使面对对整体流程完全知情的自适应攻击,该防御仍然有效。本文的核心贡献在于提出了一种可认证的、几何共识驱动的 RAG 防御框架,显著提升了对检索投毒攻击的韧性,且不依赖特定的模型内部结构,具有良好的可迁移性。适合关注大模型安全、检索增强系统防护和对抗机器学习的研究者与安全工程师阅读。

💡 推荐理由: 针对 RAG 的检索投毒是当前 LLM 应用面临的重要威胁之一。RAGSentinel 提供了一种免训练、可认证的后检索防御思路,不依赖模型可解释性,能直接适配黑盒系统,对蓝队提升实际 RAG 管线的抗攻击能力有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yutong Cheng, Changze Li, Qian Cui, Wei Ding, Lingzhi Wang, Yan Chen, Peng Gao

该论文提出 CTIFoundry,一个面向智能体(agent)的网络安全威胁情报(CTI)语料库脚手架。研究背景是:CTI 的消费正从人类分析师转向 LLM 智能体,后者在查询时组合多步调查流程。虽然智能体侧的规划循环、工具协议、上下文管理已快速成熟,但语料库侧仍停留在传统 RAG 的“不透明分块+嵌入索引”阶段。作者认为制约智能体 CTI 调查的瓶颈并非模型能力,而是语料库的底层组织结构。CTIFoundry 在构建阶段将 CTI 语料库的潜在结构显式物化:在 CVE、CWE、CAPEC、ATT&CK 四个权威知识库上构建确定性本体图,官方交叉引用被转化为类型化、可遍历的边;构建 span 级报告层,将跨厂商、经别名消解的规范实体与携带溯源信息的分块关联;并提供混合密集+词法检索接口。在查询阶段,该结构通过七个类型化工具和三个过程性技能暴露给智能体,并挂载到开源智能体框架上。在公开的 CTIConnect 基准上,仅替换动作表面(action surface)就将相同框架的智能体在四种模型、两家提供商的组合上整体 F1 提升了 +0.19 至 +0.28;使用 CTIFoundry 的小模型甚至超过了使用平坦语料库的旗舰模型,且这种增益并非通过增加搜索开销获得——在两种 Claude 模型上,启用脚手架的智能体在工具调用约减半的情况下准确率反而更高。消融实验表明:类型化结构贡献了主要增益,过程性技能将结构转化为纪律性,二者组合呈超加性,因为技能只绑定到已存在的结构上。论文的核心贡献是论证了语料库脚手架(而非模型能力)是智能体 CTI 调查的瓶颈,并提供了一种可复现的实现方案。适合研究方向:LLM 智能体、威胁情报自动化、知识图谱增强检索、安全分析工具链的开发者与研究者阅读。

💡 推荐理由: 当前 SOC 正在用 LLM 智能体替代人工 CTI 分析,但多数方案只优化检索器而忽略语料库底层结构。CTIFoundry 证明用显式本体图+类型化工具可显著提升准确率并降低工具调用开销,为构建可靠的智能体威胁调查系统提供了可落地的设计范式。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chinmay Gondhalekar, Urjitkumar Patel

该论文研究检索增强生成(RAG)在安全运营中心(SOC)分析师面向上机助手(copilot)场景中的安全漏洞。作者发现并定义了一类名为 COMA(Compositional Misleading Attack)的攻击:即使每个检索到的文档都真实、无指令注入、无矛盾,且分布上看似良性,攻击者仍可通过多个文档的“组合”效应误导模型对漏洞的评估与修复建议。COMA 包含两种具体实现:action-corruption 将已正确诊断的漏洞引导至有缺陷的修复方案;verdict-flip 通过不可判定的可达性链扰动可利用性结论。实验表明,在合成数据集及真实 CVE(CVE-2021-33813)上,action-corruption 对所有五个测试模型(包括前沿推理模型)均能成功;verdict-flip 的成攻率随模型能力增强而下降,但从未完全消失。论文提出核心原理:攻击成功的关键在于消歧事实必须被模型“推断”而非直接“读取”。针对该问题,作者提出 Causal Counterfactual Defense(CCD)审计框架,逐一衡量每个检索文档的留一法因果影响,并标记影响力集中于低信任文档的答案。在四个良性多文档对照测试中,CCD 能精确定位攻击者控制的文档且无误报;对于自适应扩散影响力的攻击者,聚合变体仍可检测。作者公开了攻击种子与 CCD 参考实现,为安全 RAG 系统提供可复现的评估与防御基线。本文适合 LLM/RAG 安全研究者、SOC 自动化工具开发者及红蓝队成员阅读。

💡 推荐理由: RAG 系统在 SOC 中的普及使该攻击具有直接现实威胁:即使检索内容全部真实,攻击者仍能诱导安全助手下错误结论,可能导致真实漏洞未修复或修复不充分。CCD 防御提供可部署的审计思路,对构建可信安全 copilot 至关重要。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Sanjeda Akter, Ibne Farabi Shihab, Anuj Sharma

本文提出 Fed-SRC,一种面向联邦检索增强生成(Retrieval-Augmented Generation, RAG)的私有任意时间选择性风险认证框架。选择性风险证书的核心承诺是:所有被模型接受的输出都能满足预设的错误率目标。与以往依赖特定分数分布的方案不同,Fed-SRC 是分数不可知的,并集成差分隐私与自适应监控。各客户端仅发布经过高斯扰动后的分数直方图与损失直方图,避免直接暴露原始数据。方法上,作者利用记录索引和噪声方差索引两类鞅(martingale)联合约束目标风险对比和接受质量,覆盖所有已注册的阈值与轮次,从而支持可预测的参与者招募、退群、阈值选择和可选停止。此外,通过一个一阶全变差项将校准混合分布转移到声明的部署混合分布,使证书在分布偏移下依然有效。实验在多个数据集、隐私预算和策略组合下进行:未出现任何同时违反边界的情况。然而认证的实际效力高度依赖分数和总体分布——主要目标 r*=0.10 在全部设置中均未得到认证,RAGTruth 上 r*=0.20 也未认证;但在 HaluEval 问答任务中,200 次非私有试验全部成功认证,且留出风险低于目标。作为对照,天真地私有化非私有证书会在 146 至 198 次试验中违反边界,凸显了联合设计的必要性。此外,作者探索了私有投注资本启发式方法,但未证明其 e-process 有效性,该启发式在 epsilon<=4 时停止认证,而 Fed-SRC 仍能继续。代价方面,认证消耗的流事件数约为唯一校准项数量的 30 倍。总体而言,本文的贡献在于首次将私有、联邦、任意时间保证组合成统一的认证框架,而非单独改进对比统计量或接受下限。

💡 推荐理由: 该研究为联邦场景下部署 RAG 系统的风险控制提供了可验证的统计保证,使安全团队能够在保护数据隐私的同时,对模型输出的可靠性进行实时监控与认证,对构建可信 AI 基础设施具有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhiping Zhou, Xiaohong Li 0001, Ruitao Feng, Yao Zhang 0019, Yuekang Li, Wenbu Feng, Yunqian Wang, Yuqing Li

反编译是将机器码转换为人类可读格式的关键技术,在缺少源码时辅助分析与调试。然而,反编译结果存在保真度问题,影响可读性和准确性。现有方法如变量重命名和结构简化只能部分解决,尤其在复杂的闭源二进制场景下,缺乏有效的检测和校正。为此,我们提出 FidelityGPT,这是一个新型框架,通过系统地检测和纠正反编译代码与原始源码之间的差异,提升反编译代码的准确性和可读性。FidelityGPT 定义了针对闭源环境的失真提示模板,并结合了检索增强生成(RAG)和动态语义强度算法。该算法根据语义强度识别失真行,从数据库中检索相似代码。此外,还设计了变量依赖算法,通过分析冗余变量之间的依赖关系,将冗余变量名整合到提示上下文中,以克服长上下文输入的限制。这些技术综合使 FidelityGPT 成为首个能够有效解决基于 LLM 的反编译优化中失真问题的框架。我们在二进制相似性基准的 620 个函数对上评估了 FidelityGPT,实现了平均检测准确率 89% 和精确率 83%。与当前最先进的 DeGPT 模型(平均修复率 FR 83%,平均修正修复率 CFR 37%)相比,FidelityGPT 表现更优,平均 FR 达 94%,平均 CFR 达 64%,显著提高了准确性和可读性,突显了其在增强反编译方面的有效性,并有望推动逆向工程的发展。

💡 推荐理由: 反编译是恶意软件分析与二进制漏洞研究的关键步骤,FidelityGPT 通过提升反编译代码质量,能帮助安全分析师更准确、高效地理解二进制行为,降低逆向工程门槛。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Behrooz Razeghi, Parsa Rahimi

本文提出 ScoreShield,一种差分隐私(DP)机制,用于安全发布向量嵌入之间的余弦相似度分数,适用于生物识别、检索增强生成(RAG)等应用。现有方法简单添加独立同分布高斯噪声会导致严重失真且隐私预算随分数数量平方级增长。ScoreShield 采用“扰动-投影”方法:先向原始分数向量添加校准到全局敏感度的高斯噪声,再将结果投影到有效余弦对象的可行集上,满足 (ε,δ)-DP。文章提供了精确 Frobenius 度量投影的效用保证,并证明了用于大规模 Gram 矩阵发布的平均交替投影求解器的收敛性。针对记录级替换邻接下的全配对余弦 Gram 矩阵发布,精确投影将平方 Frobenius 风险从朴素高斯基线(Θ(n^3))降低到 O(n^2)。实验涵盖 RAG、人脸识别、语义检索、图像相似度和推荐系统任务,验证了 ScoreShield 在保持实用性的同时显著提升隐私保护。

💡 推荐理由: 当前许多系统通过 API 返回相似度分数,但此类输出可能泄露个体数据并引发成员推断攻击。ScoreShield 提供了理论严谨且实用的差分隐私解决方案,为 RAG、生物识别等高敏感应用提供了可落地的隐私保护手段。

🎯 建议动作: 研究跟进,评估 ScoreShield 在自身系统中的适用性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Syed Huma Shah

本文针对检索增强生成(RAG)系统中的缓存安全问题展开研究。现代RAG部署广泛使用缓存来降低token成本和时间至首token延迟(TTFT),其中前缀级KV复用已是标准做法,但输出级的语义答案缓存仍然脆弱:相似提示可能映射到不同正确答案,检索证据随语料更新而漂移,且存在对抗性碰撞攻击可劫持缓存响应。作者指出缓存答案复用的关键问题不在于如何更快复用,而在于何时复用是安全的。为此,他们提出GroundedCache——一种基于证据验证的缓存路由器,仅当四个廉价门控条件同时满足时才允许复用缓存答案:查询相似性、检索证据重叠、源版本有效性以及新检索证据对缓存答案的词汇(或基于评判器)支持。研究构建了一个六模态工作负载来压力测试缓存安全性而非仅关注命中率,并引入面向运营者的指标——不安全服务率(USR),即接收到错误缓存答案的查询比例。在2个数据集和12,000个真实LLM生成(使用vLLM和自动前缀缓存的Qwen2.5-7B-Instruct)上的实验表明,GroundedCache在HotpotQA的每个模态下将USR降至0.0%(而朴素缓存为15-35%),在mtRAG文档漂移下降至1.5%(对比51.5%),在对抗性模态下实现34倍减少,在其他mtRAG模态下减少3-10倍,同时端到端中位延迟保持在无缓存RAG基线的1.04-1.07倍。消融实验显示,词汇支持门控是两个数据集上的主要安全机制,其他门控以接近零成本提供深度防御。本文适用于RAG系统开发者、缓存设计者和安全研究者。

💡 推荐理由: 揭示了RAG中缓存答案复用的安全漏洞,提出一种轻量级验证机制,可显著降低不安全缓存服务率(USR),对保障RAG系统输出正确性至关重要。

🎯 建议动作: 研究跟进:评估将GroundedCache集成到现有RAG缓存栈的可行性。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Md Navid Bin Islam, Sajal Saha, Senior Member

该论文提出一个端到端统一框架,弥合了威胁检测与可操作响应之间的鸿沟。系统由两个紧密耦合的阶段组成:首先,一个由三个独立训练的二元深度神经网络(DNN)组成的集成模型对网络流量进行分类,区分良性、拒绝服务(DoS)和分布式拒绝服务(DDoS)攻击,在CICIDS2018数据集上达到99.84%的准确率,在UNSW-NB15数据集上达到95.30%的准确率。其次,一个检索增强生成(RAG)管道从排名前五的异常特征构建解释感知的提示,从权威来源的知识库中检索语义和词汇最相关的指导,并引导本地部署的语言模型合成结构化、引用依据的缓解报告。实验表明,RAG增强的缓解报告在所有自动评估指标上均优于普通的大语言模型输出。该框架旨在直接回答安全分析师最关心的问题:下一步该怎么做?

💡 推荐理由: 现有入侵检测系统多止步于告警,缺乏可操作建议。该框架将检测与自动缓解报告生成结合,有望提升安全运营效率,减少人工研判负担。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhijun Li, Minghui Xu, Huayi Qi, Wenxuan Yu, Tingchuang Zhang, Qiao Zhang, GuangYong Shang, Zhen Ma, Xiuzhen Cheng

检索增强生成(RAG)通过引入外部知识显著提升了大型语言模型(LLM)的能力,但其在云环境中的部署面临敏感数据的隐私泄露风险。现有隐私保护方案往往因噪声注入而牺牲检索质量,或仅提供部分加密。本文提出PRAG,一种端到端隐私保护RAG系统,在保持云托管RAG可扩展性的同时,实现文档和查询的端到端机密性。PRAG采用双模式架构:非交互式PRAG-I利用同态友好近似实现低延迟检索,而交互式PRAG-II借助客户端辅助达到与非隐私RAG相当的精度。为确保语义排序的鲁棒性,引入了操作误差估计(OEE)机制,以稳定对抗同态噪声的排序。在大型数据集上的实验表明,PRAG在保持端到端机密性的同时,实现了有竞争力的召回率(72.45%-74.45%)、实用的检索延迟以及对图重构攻击的强韧性。该工作证实了大规模安全高性能RAG的可行性。

💡 推荐理由: PRAG解决了云环境下RAG的隐私保护核心痛点,在不牺牲准确性和可扩展性的前提下实现了端到端机密性,为隐私敏感的LLM应用提供了实用方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)