#retrieval-augmented

共收录 5 条相关安全情报。

← 返回所有主题
👥 作者: Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng 0005, Hanqing Guo

本文研究了检索增强式文生音乐(Retrieval-Augmented Text-to-Music, TTM)系统面临的一种新型数据投毒攻击。此类系统在用户提示词不明确时,会从音乐描述数据库中检索相关文字描述(caption)来增强提示,再交由生成模型创作音乐。这种架构引入了对音乐知识数据库的完整性依赖:数据库中的描述信息可能被恶意利用。作者提出一种名为“音乐描述投毒攻击”(caption poisoning attack)的方法,攻击者只需向数据库中注入少量经过精心构造的音乐描述,即可在不修改用户提示词、检索器或生成模型的情况下,使系统检索到恶意描述,从而令提示增强与后续音乐生成结果偏离用户原本意图,转向攻击者预设的目标方向。为实施该攻击,作者设计了一种双层描述投毒策略:第一层保留高层的检索锚点,确保恶意描述在检索阶段有机会被命中;第二层注入低层的声学描述符,用以操控提示增强过程,引导下游音乐生成朝向攻击者选择的意图。实验基于MusicCaps知识数据库、CLAP检索器与MusicGen生成流水线开展,结果表明,投毒后的生成结果在语义和声学特征上显著接近攻击者目标,同时又能与用户原始查询保持相当程度的一致性,说明攻击具备隐蔽性。该成果揭示了检索增强式创意AI系统面临的实际安全与完整性问题,提示此类系统的数据来源可信度至关重要。适合AI安全研究者、音乐生成系统开发者及关注数据供应链安全的下游应用方阅读。演示见项目主页。

💡 推荐理由: 该研究揭示了检索增强生成(RAG)架构在创意AI领域的新攻击面,数据库投毒可能导致用户被静默导向攻击者意图,影响内容生成服务的可信度与用户体验,值得AI平台与安全人员警惕。

🎯 建议动作: 研究跟进:建议相关系统评估数据源完整性保护与异常描述检测机制。

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Hamza Ouarrad, Mohammad Abboush, Andreas Rausch

硬件在环(HiL)验证是汽车软件系统开发中的关键环节,会产生大量多元时间序列数据。人工分析耗时且通常仅能实现异常检测和故障分类,难以进行根本原因分析。深度学习方法在故障检测和分类上虽表现优异,但面临两个主要局限:一是当故障位置、系统或操作条件变化时需要重新训练;二是倾向于将故障定位建模为分类任务,未显式利用故障位置、传感器与下游子系统效应之间的空间和功能关系,导致泛化能力不足且缺乏可解释性。针对这些问题,本文提出一种知识图谱引导的检索增强大语言模型框架(KG-guided RAG-LLM),用于汽车HiL数据的根因分析(RCA)和故障定位。该框架首先将原始时间序列记录转换为紧凑的诊断证据,然后利用传感器到位置及其传播关系的知识图谱进行信息增强,并检索相似历史案例为最终推理提供支撑。大语言模型在此框架中充当决策和解释层,而不是直接的时间序列分类器,从而输出排序的故障位置预测,并生成可解释的RCA说明。实验在两个汽车HiL案例上进行:ASM汽油发动机系统和电动汽车系统。最佳配置的Top-1准确率分别为90%和94%,记录级聚合方法在评估子集上达到完美的文件级故障定位。结果表明,知识图谱引导的RAG-LLM推理能够显著提升根因分析的可解释性和泛化能力,为汽车软件验证中的智能诊断提供了新思路。

💡 推荐理由: 该研究展示了知识图谱与检索增强LLM结合的可解释推理在工程诊断中的价值,其方法可迁移至安全日志分析、故障根因定位等场景,为安全团队利用LLM辅助复杂系统排查提供参考,增强决策可解释性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Martin Mocko, Daniela Chudá

该论文针对二进制程序聚类任务,首次系统性地研究了自监督学习(SSL)和表格表示学习(TRL)方法在该场景下的表现。恶意软件聚类是网络安全中威胁发现和家族演化分析的关键步骤,但以往SSL/TRL方法在此领域的研究几乎空白。作者在公开的Ember和Bodmas数据集上进行了两阶段实验:第一阶段,将视觉领域的主流SSL模型(BYOL、SimSiam、Barlow Twins、VICReg)改造为适用于表格数据,并采用监督式样本对生成方式,构建了性能上限基准,发现BYOL和SimSiam能达到与全监督模型相当的性能,而Barlow Twins和VICReg则明显不足。第二阶段,评估纯无监督的TRL方法,并与PCA、Autoencoder、UMAP等强基线对比,结果表明VIME在二进制程序聚类上达到了新的最优状态。基于这些发现,作者提出VIME-R,即VIME的检索增强扩展,用基于检索的增强替换随机边际分布损坏,以生成更具信息量的训练对。VIME-R在两个数据集上均进一步提升了VIME的性能,同质性指标(Homogeneity)提高了2.7%至5.8%。研究结论指出,检索增强的表格表示学习是提升自动化恶意软件分析能力的一个有前景的方向。代码将公开发布。该研究主要面向恶意软件分析、威胁情报和机器学习交叉领域的研究者与安全工程师,为二进制程序的无监督聚类提供了新的方法论和实证基准。

💡 推荐理由: 该研究为二进制程序聚类提供了首个SSL/TRL系统性基准,验证了检索增强方法可显著提升无监督恶意软件聚类效果,为蓝队自动化威胁分析提供了可落地的技术方向,有助于在不依赖标注样本的情况下发现新兴恶意软件家族。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammad Faizan, Dalal Alharthi

随着检索增强生成系统在问答任务中广泛应用,其提供的引用往往无法反映真实的信息来源影响。本文提出ProvenAI框架,将多跳问答中的透明度分解为三个独立可测量的层次:答案正确性(answer correctness)、引用保真度(citation fidelity)——衡量引用是否匹配基准支持证据,以及逐文档影响(per-document influence)——通过留一个资源出的干预实验评估每个文档对答案的实际贡献。针对HotpotQA distractor基准,ProvenAI构建包含七阶段流水线(数据标准化、检索索引、引用感知答案生成、归因审计、基于消融的影响估计、批量评估、交互检查)的系统,在509,300段落的经典语料库上评估了7,405个验证样本。系统达到53.53%的答案准确率和71.55%的平均引用保真度分数。通过一个工作示例,揭示了引用-影响差距:某被引用来源仅有微弱影响,而七个未引用来源却显著改变了输出。论文通过声明的忠实性条件形式化了表面代理与token级KL散度目标之间的关系,将框架扎根于因果中介分析和数据库来源理论,并讨论了三个测量层如何与自主科学发现中出现的加密来源架构组合。ProvenAI表明,检索增强问答中有意义的透明度要求将检索到的、引用到的和行为上有影响的证据作为三个独立、独立测量的层进行可追溯链接。

💡 推荐理由: 检索增强生成系统在安全情报分析中广泛应用,但其引用未必反映真实证据来源,可能导致误信或错误决策。ProvenAI提供的三层透明度框架可帮助安全工程师识别虚假引用和实际影响源,提升RAG系统输出的可信度。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Abdelrahman Abouelenein, Marwan Torki

该论文研究面向检索增强推理的差分隐私数据存储生成问题。现代设备端AI系统常依赖检索增强推理,需要共享或发布数据存储(datastore),但可能泄露个体隐私。差分隐私(DP)提供形式化保证,使个体贡献在对抗分析下不可区分。本文提出一种基于哈希的概率生成框架,用于创建和发布差分隐私数据存储。方法首先使用局部敏感哈希(LSH)将高维数据高效划分为多个桶(bucket),然后向每个桶的累积投票中添加校准的DP噪声,生成跨类别的概率分布。该方法适用于任何需要安全创建和发布键值数据存储的管道。在7个数据集上进行实验,样本量和类别数(2-14类)各异。在epsilon=5时,发布的DP数据存储在保持强隐私保护的同时,平均准确率仅下降2.6%。此外,对成员推断攻击的抵抗力进行基准测试,将攻击准确率降至53.60%。核心贡献包括:形式化定义差分隐私数据存储问题;提出实用的LSH+噪声注入框架;实验证明隐私与效用的平衡。适合隐私保护、检索增强系统、设备端AI的研究者和工程师阅读。

💡 推荐理由: 该研究解决了检索增强推理中数据存储共享的隐私泄露风险,提出的DP数据存储生成方法可平衡隐私与实用性,为设备端AI系统的安全部署提供关键技术支持。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)