#retrieval-augmented-generation

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Sanjeda Akter, Ibne Farabi Shihab, Anuj Sharma

本文提出 Fed-SRC,一种面向联邦检索增强生成(Retrieval-Augmented Generation, RAG)的私有任意时间选择性风险认证框架。选择性风险证书的核心承诺是:所有被模型接受的输出都能满足预设的错误率目标。与以往依赖特定分数分布的方案不同,Fed-SRC 是分数不可知的,并集成差分隐私与自适应监控。各客户端仅发布经过高斯扰动后的分数直方图与损失直方图,避免直接暴露原始数据。方法上,作者利用记录索引和噪声方差索引两类鞅(martingale)联合约束目标风险对比和接受质量,覆盖所有已注册的阈值与轮次,从而支持可预测的参与者招募、退群、阈值选择和可选停止。此外,通过一个一阶全变差项将校准混合分布转移到声明的部署混合分布,使证书在分布偏移下依然有效。实验在多个数据集、隐私预算和策略组合下进行:未出现任何同时违反边界的情况。然而认证的实际效力高度依赖分数和总体分布——主要目标 r*=0.10 在全部设置中均未得到认证,RAGTruth 上 r*=0.20 也未认证;但在 HaluEval 问答任务中,200 次非私有试验全部成功认证,且留出风险低于目标。作为对照,天真地私有化非私有证书会在 146 至 198 次试验中违反边界,凸显了联合设计的必要性。此外,作者探索了私有投注资本启发式方法,但未证明其 e-process 有效性,该启发式在 epsilon<=4 时停止认证,而 Fed-SRC 仍能继续。代价方面,认证消耗的流事件数约为唯一校准项数量的 30 倍。总体而言,本文的贡献在于首次将私有、联邦、任意时间保证组合成统一的认证框架,而非单独改进对比统计量或接受下限。

💡 推荐理由: 该研究为联邦场景下部署 RAG 系统的风险控制提供了可验证的统计保证,使安全团队能够在保护数据隐私的同时,对模型输出的可靠性进行实时监控与认证,对构建可信 AI 基础设施具有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhiping Zhou, Xiaohong Li 0001, Ruitao Feng, Yao Zhang 0019, Yuekang Li, Wenbu Feng, Yunqian Wang, Yuqing Li

反编译是将机器码转换为人类可读格式的关键技术,在缺少源码时辅助分析与调试。然而,反编译结果存在保真度问题,影响可读性和准确性。现有方法如变量重命名和结构简化只能部分解决,尤其在复杂的闭源二进制场景下,缺乏有效的检测和校正。为此,我们提出 FidelityGPT,这是一个新型框架,通过系统地检测和纠正反编译代码与原始源码之间的差异,提升反编译代码的准确性和可读性。FidelityGPT 定义了针对闭源环境的失真提示模板,并结合了检索增强生成(RAG)和动态语义强度算法。该算法根据语义强度识别失真行,从数据库中检索相似代码。此外,还设计了变量依赖算法,通过分析冗余变量之间的依赖关系,将冗余变量名整合到提示上下文中,以克服长上下文输入的限制。这些技术综合使 FidelityGPT 成为首个能够有效解决基于 LLM 的反编译优化中失真问题的框架。我们在二进制相似性基准的 620 个函数对上评估了 FidelityGPT,实现了平均检测准确率 89% 和精确率 83%。与当前最先进的 DeGPT 模型(平均修复率 FR 83%,平均修正修复率 CFR 37%)相比,FidelityGPT 表现更优,平均 FR 达 94%,平均 CFR 达 64%,显著提高了准确性和可读性,突显了其在增强反编译方面的有效性,并有望推动逆向工程的发展。

💡 推荐理由: 反编译是恶意软件分析与二进制漏洞研究的关键步骤,FidelityGPT 通过提升反编译代码质量,能帮助安全分析师更准确、高效地理解二进制行为,降低逆向工程门槛。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Behrooz Razeghi, Parsa Rahimi

本文提出 ScoreShield,一种差分隐私(DP)机制,用于安全发布向量嵌入之间的余弦相似度分数,适用于生物识别、检索增强生成(RAG)等应用。现有方法简单添加独立同分布高斯噪声会导致严重失真且隐私预算随分数数量平方级增长。ScoreShield 采用“扰动-投影”方法:先向原始分数向量添加校准到全局敏感度的高斯噪声,再将结果投影到有效余弦对象的可行集上,满足 (ε,δ)-DP。文章提供了精确 Frobenius 度量投影的效用保证,并证明了用于大规模 Gram 矩阵发布的平均交替投影求解器的收敛性。针对记录级替换邻接下的全配对余弦 Gram 矩阵发布,精确投影将平方 Frobenius 风险从朴素高斯基线(Θ(n^3))降低到 O(n^2)。实验涵盖 RAG、人脸识别、语义检索、图像相似度和推荐系统任务,验证了 ScoreShield 在保持实用性的同时显著提升隐私保护。

💡 推荐理由: 当前许多系统通过 API 返回相似度分数,但此类输出可能泄露个体数据并引发成员推断攻击。ScoreShield 提供了理论严谨且实用的差分隐私解决方案,为 RAG、生物识别等高敏感应用提供了可落地的隐私保护手段。

🎯 建议动作: 研究跟进,评估 ScoreShield 在自身系统中的适用性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Syed Huma Shah

本文针对检索增强生成(RAG)系统中的缓存安全问题展开研究。现代RAG部署广泛使用缓存来降低token成本和时间至首token延迟(TTFT),其中前缀级KV复用已是标准做法,但输出级的语义答案缓存仍然脆弱:相似提示可能映射到不同正确答案,检索证据随语料更新而漂移,且存在对抗性碰撞攻击可劫持缓存响应。作者指出缓存答案复用的关键问题不在于如何更快复用,而在于何时复用是安全的。为此,他们提出GroundedCache——一种基于证据验证的缓存路由器,仅当四个廉价门控条件同时满足时才允许复用缓存答案:查询相似性、检索证据重叠、源版本有效性以及新检索证据对缓存答案的词汇(或基于评判器)支持。研究构建了一个六模态工作负载来压力测试缓存安全性而非仅关注命中率,并引入面向运营者的指标——不安全服务率(USR),即接收到错误缓存答案的查询比例。在2个数据集和12,000个真实LLM生成(使用vLLM和自动前缀缓存的Qwen2.5-7B-Instruct)上的实验表明,GroundedCache在HotpotQA的每个模态下将USR降至0.0%(而朴素缓存为15-35%),在mtRAG文档漂移下降至1.5%(对比51.5%),在对抗性模态下实现34倍减少,在其他mtRAG模态下减少3-10倍,同时端到端中位延迟保持在无缓存RAG基线的1.04-1.07倍。消融实验显示,词汇支持门控是两个数据集上的主要安全机制,其他门控以接近零成本提供深度防御。本文适用于RAG系统开发者、缓存设计者和安全研究者。

💡 推荐理由: 揭示了RAG中缓存答案复用的安全漏洞,提出一种轻量级验证机制,可显著降低不安全缓存服务率(USR),对保障RAG系统输出正确性至关重要。

🎯 建议动作: 研究跟进:评估将GroundedCache集成到现有RAG缓存栈的可行性。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Md Navid Bin Islam, Sajal Saha, Senior Member

该论文提出一个端到端统一框架,弥合了威胁检测与可操作响应之间的鸿沟。系统由两个紧密耦合的阶段组成:首先,一个由三个独立训练的二元深度神经网络(DNN)组成的集成模型对网络流量进行分类,区分良性、拒绝服务(DoS)和分布式拒绝服务(DDoS)攻击,在CICIDS2018数据集上达到99.84%的准确率,在UNSW-NB15数据集上达到95.30%的准确率。其次,一个检索增强生成(RAG)管道从排名前五的异常特征构建解释感知的提示,从权威来源的知识库中检索语义和词汇最相关的指导,并引导本地部署的语言模型合成结构化、引用依据的缓解报告。实验表明,RAG增强的缓解报告在所有自动评估指标上均优于普通的大语言模型输出。该框架旨在直接回答安全分析师最关心的问题:下一步该怎么做?

💡 推荐理由: 现有入侵检测系统多止步于告警,缺乏可操作建议。该框架将检测与自动缓解报告生成结合,有望提升安全运营效率,减少人工研判负担。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhijun Li, Minghui Xu, Huayi Qi, Wenxuan Yu, Tingchuang Zhang, Qiao Zhang, GuangYong Shang, Zhen Ma, Xiuzhen Cheng

检索增强生成(RAG)通过引入外部知识显著提升了大型语言模型(LLM)的能力,但其在云环境中的部署面临敏感数据的隐私泄露风险。现有隐私保护方案往往因噪声注入而牺牲检索质量,或仅提供部分加密。本文提出PRAG,一种端到端隐私保护RAG系统,在保持云托管RAG可扩展性的同时,实现文档和查询的端到端机密性。PRAG采用双模式架构:非交互式PRAG-I利用同态友好近似实现低延迟检索,而交互式PRAG-II借助客户端辅助达到与非隐私RAG相当的精度。为确保语义排序的鲁棒性,引入了操作误差估计(OEE)机制,以稳定对抗同态噪声的排序。在大型数据集上的实验表明,PRAG在保持端到端机密性的同时,实现了有竞争力的召回率(72.45%-74.45%)、实用的检索延迟以及对图重构攻击的强韧性。该工作证实了大规模安全高性能RAG的可行性。

💡 推荐理由: PRAG解决了云环境下RAG的隐私保护核心痛点,在不牺牲准确性和可扩展性的前提下实现了端到端机密性,为隐私敏感的LLM应用提供了实用方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)