#rag

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Chengcai Gao, Zhihong Sun, Xiaochuan Shi, Qiufeng Wang, Chao Liang

随着检索增强生成(RAG)的广泛应用,针对RAG系统的对抗性攻击日益增多。现有防御方法主要依赖语义分析或多轮投票,但存在高计算成本或在强投毒攻击下鲁棒性有限的缺陷。其根本局限在于仅关注语义内容相关性,而忽略了由排序结构定义的检索上下文。本文研究了中毒文档与良性文档在双向排序行为上的差异,发现一个关键的判别模式:中毒文档的反向排序与查询的正向排序之间存在显著更强的一致性。基于此,作者提出了BiRD——一种基于双向排序的防御机制。BiRD构建于双信号框架之上,利用正向排序评估语义内容相关性,利用反向排序量化排序上下文一致性。这种设计直接克服了先前方法的根本局限,在保证效率的同时实现了鲁棒性。在3个数据集、3种检索器、3种大语言模型以及2种攻击场景下的广泛评估验证了BiRD的有效性。值得注意的是,BiRD能将PoisonedRAG的攻击成功率降低最多54%,同时将任务准确率提升最多56%,且平均额外延迟低于1秒。

💡 推荐理由: 本文首次从排序结构的角度发现中毒文档与良性文档的差异性,并提出一种轻量级、即插即用的防御机制,显著优于现有方法,为RAG安全防护提供了全新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Osama Zafar, Alexander Nemecek, Yiqian Zhang, Wenbiao Li, Debargha Ganguly, Vikash Singh, Vipin Chaudhary, Erman Ayday

该论文针对检索增强生成(RAG)系统中的隐私泄露问题,指出传统PII过滤器容易忽略上下文数据泄露,例如通过非受管属性聚类可识别个人身份。作者提出了一种隐私政策执行(PPE)框架,采用双单类密度估计器,融合文本嵌入,并引入校准的拒绝区域以处理分布外输入。通过轴分层、多LLM合成数据流水线,在医学、金融和法律领域生成数据,发现传统高斯混合基线在边界安全压力测试中失败,因为它们关注语言风格而非内容。提出的T3+OCSVM检测器在安全和边界安全数据上训练,边界AUROC达到0.93以上,同时将误报率降低44-55个百分点,并保持毫秒级延迟。与有监督MLP分类器或14B参数LLM法官相比,该框架具有优越的操作适用性,前者拒绝率高,后者存在延迟和校准问题。该方法为任何合成数据训练的分类器提供了稳健的压力测试标准。

💡 推荐理由: RAG系统在敏感领域广泛应用,现有隐私保护手段无法处理上下文推断攻击,本工作首次提出针对性的轻量级隐私政策执行框架,具有高精度和低延迟,实用价值高。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Peiru Yang, Haoran Zheng, Tong Ju, Shiting Wang, Wanchun Ni, Jiajun Liu, Shangguang Wang, Yongfeng Huang, Tao Qi

本文研究了多模态检索增强生成(RAG)系统在医疗应用中的安全性,重点关注知识投毒攻击。现有攻击大多假设攻击者掌握用户查询的先验知识,这在真实场景中难以实现。为此,作者提出了M³Att攻击框架,仅需了解数据库的有限分布知识。核心思路是:向文本数据中注入隐蔽的虚假信息,同时利用配对的视觉数据作为与查询无关的触发器,以操纵检索概率。攻击者通过向视觉输入施加不可察觉的扰动来改变检索结果,并利用医疗诊断的固有模糊性设计隐蔽错误信息注入策略,使模型生成临床看似合理但错误的诊断,同时规避大语言模型(LLM)的自我纠正。在五个LLM和数据集上的实验表明,M³Att能持续产生合理但错误的输出。该研究揭示了医疗多模态RAG系统的脆弱性,为防御机制设计提供了参考。

💡 推荐理由: 医疗RAG系统依赖外部知识库,若被投毒可能导致错误诊断,威胁患者安全。本攻击不依赖用户查询先验,更贴近真实威胁,值得安全从业者关注。

🎯 建议动作: 研究跟进,评估内部医疗RAG系统对此类攻击的脆弱性,并探索输入过滤、异常检测等防御机制。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kennedy Edemacu, Mohammad Mahdi Shokri, Vinay M. Shashidhar, Jong Wook Kim

本文提出了一种名为PAS(Privacy Anchor Substitution)的结构化机制,用于在空间检索增强生成(RAG)系统中实现用户位置隐私保护。与传统的差分隐私方法直接扰动用户位置不同,PAS采用相对锚点编码来表示位置,该编码由锚点、方向箱和距离箱组成,能够无缝集成到现代RAG流程中。研究团队在一个合成城市数据集上评估了PAS,实验结果表明,PAS能够实现约370-400米的敌方位置误差,提供较强的粗粒度隐私保证,同时保留了基线检索性能的一半以上。尽管检索性能略有下降,但下游生成质量在PAS下保持相对稳健,说明大型语言模型能够补偿不完美的空间检索。进一步的经验分析显示,PAS的隐私-效用关系相对于隐私参数呈非单调特性,作者将其归因于锚点离散化带来的几何偏差,这使其与连续噪声机制(如地理不可区分性)不同。研究结论表明,结构化空间表示为RAG系统中基于位置的推理提供了一种实用的隐私保护方法。该工作对于关注LLM应用中隐私保护的研究人员和工程师具有参考价值。

💡 推荐理由: 该研究为空间RAG系统中的用户位置隐私保护提供了新的结构化方法,避免了传统差分隐私对检索效用的过度破坏,对构建隐私保护的地理位置感知AI服务具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Avital Shafran, Roei Schuster, Vitaly Shmatikov

本文研究检索增强生成(RAG)系统在面对不可信知识库时的一种新型拒绝服务攻击——阻塞攻击(jamming)。RAG 系统通过从知识库中检索相关文档,并利用大语言模型(LLM)生成答案。攻击者可以向知识库中添加一个称为“阻塞文档”(blocker document)的恶意文档,当特定查询触发检索时,该文档会被返回给 LLM,导致系统拒绝回答该查询,表现为缺乏相关信息或回答不安全。作者提出了几种生成阻塞文档的方法,其中一种基于黑盒优化,具有三个特点:(1)不依赖于指令注入;(2)不需要知道目标 RAG 系统使用的嵌入模型或 LLM;(3)不使用辅助 LLM。实验评估了多种嵌入和 LLM 上的阻塞攻击效果,并指出现有的 LLM 安全指标无法有效衡量此类漏洞。最后,论文讨论了可能的防御措施。本文适合 RAG 系统开发者、安全研究人员和 AI 应用安全工程师阅读。

💡 推荐理由: 揭示了 RAG 系统在应对不可信知识库时的安全盲区,攻击成本低且难以检测,对依赖外部检索的 AI 应用构成实际威胁。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhiping Zhou, Xiaohong Li 0001, Ruitao Feng, Yao Zhang 0019, Yuekang Li, Wenbu Feng, Yunqian Wang, Yuqing Li

反编译是将机器码转换为人类可读形式的关键技术,广泛应用于软件安全分析、漏洞挖掘和逆向工程。然而,现有反编译工具生成的代码常存在语义失真,导致可读性和准确性下降。传统方法如变量重命名或结构简化仅能提供局部改进,缺乏对复杂闭源二进制文件中语义错误的系统性检测与纠正能力。本文提出 FidelityGPT 框架,通过结合检索增强生成(RAG)与动态语义强度算法,实现反编译失真的自动检测与修复。FidelityGPT 的核心创新包括:针对闭源场景设计的失真感知提示模板、基于动态语义强度的失真行定位算法、以及通过变量依赖分析缓解长上下文限制的机制。实验基于二进制相似性基准测试中的 620 个函数对展开,结果表明 FidelityGPT 的平均检测准确率达 89%,精确率为 83%。与当前最先进的 DeGPT(修复率 83%,修正修复率 37%)相比,FidelityGPT 分别达到 94% 的修复率和 64% 的修正修复率,显著提升了反编译代码的准确性和可读性。该研究展示了大型语言模型结合检索增强在反编译与逆向工程领域的应用潜力,适用于需要处理复杂闭源二进制文件的安全分析场景。

💡 推荐理由: 反编译是安全分析的基础,FidelityGPT 显著提升了反编译代码的语义准确性,直接帮助安全分析师更高效地理解闭源二进制程序,降低误判风险。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jayson Ng, Amin Milani Fard

该论文针对大型语言模型(LLM)在恶意软件分析中的应用进行了实证研究,重点评估检索增强生成(RAG)技术对解释质量的影响。研究背景是:安全分析师常借助LLM来自动总结和解释恶意软件行为,而RAG被认为可以通过注入外部安全知识来提升解释质量。作者以VirusTotal报告作为结构化输入,在多个LLM上对比了有无RAG时的解释效果。实验发现,RAG在大多数情况下反而降低了解释质量,具体表现为:引入分散注意力的弱相关上下文、增加叙述噪声或生成泛泛的写实性描述。这表明,当结构化安全证据已经足够时,RAG会产生反效果。作者因此提出,恶意软件解释本质上是信号提取任务,而非知识检索问题,并基于此给出了安全开发工作流的设计建议。该研究挑战了RAG在安全关键型管道中的普遍适用性,为未来设计更可靠的LLM辅助分析工具提供了重要参考。

💡 推荐理由: 揭示RAG在恶意软件解释中可能降低质量,挑战了常见假设,提醒安全从业者谨慎应用RAG于分析管道。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)