CamoDocs: A Poisoning Attack Against Retrieval-Augmented Language Models Using Camouflaged Documents
检索增强生成(RAG)通过引入外部文档来增强大语言模型(LLM),但公共或用户可编辑的内容源为数据投毒攻击提供了可能。攻击者可以注入恶意文档,引导模型输出攻击者期望的答案。现有的投毒攻击通常依赖在恶意文档中包含目标查询(query incl
共收录 44 条相关情报。
← 返回所有主题检索增强生成(RAG)通过引入外部文档来增强大语言模型(LLM),但公共或用户可编辑的内容源为数据投毒攻击提供了可能。攻击者可以注入恶意文档,引导模型输出攻击者期望的答案。现有的投毒攻击通常依赖在恶意文档中包含目标查询(query incl
本文提出了一种名为 Narcissus 的实用后门攻击方法,属于干净标签(clean-label)后门攻击的新变体。传统后门攻击通过在训练集中注入带有触发器且标签被篡改的数据,使模型在推理阶段将含触发器输入误分类为攻击者指定类别。干净标签攻
这篇 arXiv 论文研究了工业控制系统(ICS)中基于机器学习的异常检测模型在训练数据被污染情况下的鲁棒性问题。研究背景是:现有研究大多假设异常检测器的训练数据是可信的,但在实际工业环境中,训练数据可能因日志被篡改、标注错误、历史数据库记
本文提出 MemCatalyst,一套面向视觉-语言模型(VLM)的数据投毒工具,旨在增强数据审计(尤其是成员推理攻击)的有效性。研究背景是:VLM 依赖海量互联网数据训练,数据持有人(如艺术家)迫切需要确认自己的数据是否被未经授权用于模型
该论文针对基于扩散模型的文生图模型,提出了一种名为 Nightshade 的提示词特异性投毒攻击方法。研究背景是:扩散模型通常在数十亿张图像上训练,传统的数据投毒攻击往往需要污染近 20% 的训练样本才能生效,因此被认为对这类模型几乎无效。
该论文提出了一类新型的数据投毒攻击,称为“子群体攻击”(Subpopulation Attack)。研究背景是机器学习模型在关键场景中部署时可能因训练数据被恶意篡改而在特定情况下产生错误预测。传统投毒攻击(如后门攻击)通常会在训练数据中植入
本文针对联邦学习(Federated Learning, FL)系统在计算机视觉任务中面临的数据投毒攻击威胁,提出了一种名为 STAR-FL 的新型防御框架。研究指出,现有防御技术仍面临两大关键挑战:一是难以准确区分良性模型更新与恶意模型更
本文研究数据高效后门攻击中的投毒样本选择问题。后门攻击通过污染训练数据,使模型在干净输入上保持正常精度,但在包含触发器(trigger)的输入上预测攻击者指定的目标类别。在极低投毒率(low poisoning rate)场景下,只有少数样
本论文提出了一类新的针对机器学习模型的主动推断攻击,称为“Truth Serum”。这类攻击的核心思想是:如果攻击者能够向训练数据集中投毒(即注入精心设计的恶意样本),那么训练出的模型将会泄露其他参与方(受害者)训练数据中的敏感隐私信息。这
该论文提出了一种针对检索增强生成(RAG)系统数据投毒攻击的分层防御框架 RAGuard。RAG 系统通过检索外部语料库来增强大语言模型(LLM)的回答,但这种依赖也引入了安全风险:攻击者可以向语料库中注入精心设计的恶意文本片段,从而操纵检
该论文提出了一种名为 Lilith 的黑盒后门攻击框架,首次系统研究“训练-推理触发器移位”下的后门泛化问题。现有后门攻击研究大多假设训练时使用的触发器与推理时完全一致,或仅考虑训练中已暴露的触发器变体、沿预定变换轴的扰动,而忽略了训练时学
本论文探讨了一种新型的科学欺诈攻击方式——间接数据投毒(Indirect Data Poisoning)。随着人工智能在科学研究中的广泛应用,自主研究代理(autonomous research agents)能够自动检索和处理公开数据集。
本文研究了联邦学习(FL)中的一种新型攻击:中央化“取走训练数据”(TATD)攻击。传统的TATD攻击利用深度模型的记忆能力存储并恢复训练数据,但在联邦学习环境中,多客户端平均聚合可能会覆盖编码后的数据,使得攻击难以实现。为此,作者提出了F
该论文研究了针对开源机器人视觉语言动作模型(VLA)的数据投毒攻击,特别是触发词(trigger-word)投毒。作者指出,当前开源机器人生态系统在社区贡献的数据集上存在信任假设,而攻击者可以通过注入少量中毒样本就能隐蔽地嵌入后门,使机器人
本文研究训练集攻击(如数据投毒)的目标识别问题。攻击者通过修改部分训练样本,使模型对特定测试样本产生错误预测。现有防御主要检测中毒样本,但难以定位攻击者试图破坏的具体目标。作者提出基于重归一化影响估计(Renormalized Influe
该论文针对在微调阶段对大型语言模型(LLM)进行数据投毒攻击的防御问题展开研究。在抽象文本摘要任务中,微调数据集通常较小,攻击者可通过操纵少量训练样本,使模型生成有偏见或有害的摘要,同时保持标准评估指标正常。论文提出了一种统一的防御框架,可
本文针对基于模型的学习代理(model-based learning agents)中世界模型(world model)的微调阶段面临的数据投毒攻击问题,提出了SWAAP(Stealthy World Model Manipulation
该论文研究了世界模型(world models)在机器人学习管道中的安全性问题。世界模型作为一种高效的数据生成和仿真工具,正被越来越多地集成到机器人训练流程中,但本文证明了世界模型引入了一种隐蔽且有效的数据投毒攻击入口。与传统的直接向训练数
本文提出了一种针对深度神经网络数据投毒攻击的取证溯源工具。在对抗性机器学习领域,新的防御措施常常被更强大的攻击迅速攻破,因此取证工具可以作为现有防御的有益补充,通过追溯成功攻击的根本原因,为未来防范类似攻击提供缓解路径。作者提出了一种新颖的
随着物联网和移动设备中海量数据的快速增长,分布式机器学习技术日益受到关注,联邦学习(FL)作为一种保护隐私的分布式学习框架,允许多方协作训练模型而无需共享原始数据。然而,FL容易受到数据投毒攻击,恶意客户端可能通过操控本地数据或模型更新来破