该论文针对 LLM 智能体面临的间接提示注入（indirect prompt injection）问题——即被检索回来的不可信文本被模型当作指令执行，从而导致工具调用被劫持——提出了一种推理时（inference-time）的模型内部防御方法 CounterSteer。与依赖外部检测器、输入过滤或额外分类模型的方案不同，CounterSteer 直接在残差流（residual stream）中构造一个方向向量来抑制「把工具结果当指令」这一行为。 方法层面：对每个模型，作者给出一个五步配方（five-step recipe）。其核心是用成对情节（paired episodes）做对比拟合，这些情节唯一的差别在于嵌入的指令是否被模型遵循；由此从残差流中拟合出一个方向向量。该方向并非无条件采纳，而是必须通过预先设定的因果门（causal gates）与能力门（capability gates）才会被保留，以确认它确实因果性地影响注入行为、同时不损害模型本身的能力。 部署层面：在 prefill 阶段，从每一个「工具结果」token 的激活中减去该方向。其特点在于编辑是常开的（always on），不存在可被攻击者规避的「是否检测到注入」的判定环节；无需微调、无需辅助模型、不增加额外 token，只要求白盒推理服务能力以及工具结果 span 的边界信息。 实验：在五个开放权重模型（8B–106B，覆盖五个厂商谱系）上，留出攻击的成功率从无防御时的 0.21–1.00 降至 0.00–0.17；AgentDojo 基准上的妥协率从 0.10–0.49 降至 0.006–0.079；在排版归一化后，良性任务效用保持在 93–100%，但当模型需要对被 steering 的内容进行推理时，会出现较大的、依赖具体任务的开销。针对基准级自适应攻击者，无防御时可达 0.67–0.73 的成功率，在两个评估最深入的模型上被压制至约四分之一。与作者测量的其他防御相比，在强模型上取得更低妥协率的方案，要么损失 22–89% 的良性效用，要么必须微调实际服务的权重。鲁棒性方面：通过已部署向量进行的白盒梯度攻击最多攻破 52 个情节中的 2 个；重放的 2052 次人类红队攻击无一成功。 局限与边界：CounterSteer 基本中和了「指令劫持」这一类攻击（黑盒框架搜索在 18 个开发样本中攻破 3 个），但对参数操纵（在看似合法的调用中由攻击者指定参数）只能部分抵抗（18 个中 13 个被攻破）。论文指出该决策在参数发出（argument emission）时刻线性可读，但在所检查的生成前位置不可读，且所测试的 prefill 或 decode 阶段的 steering 都无法消除它，因此需要额外引入参数来源（argument-provenance）控制。

该论文研究的是 LLM 邮件助手面临的一类现实威胁：间接提示注入。由于邮件助手会从不可信的邮件正文、引用内容或历史线程中检索文本并放入模型上下文，攻击者只需在邮件中埋入指令，就可能影响助手后续的工具调用行为（如发送、转发、读取、修改日程等）。作者指出，现有提示注入检测器大多把问题简化为「恶意文本二分类」，这忽略了有害的 Agent 行为往往是分阶段形成的——从恶意意图的引入、对上下文的改写、到最终具体工具调用参数的生成，每个阶段的可观测性和可预测性都不同，因此单一文本分类器既容易漏报（早期阶段文本看似无害）又容易误报（正常营销邮件、签名、引用也含大量指令式语言）。 为此，论文提出一个「攻击链建模」检测框架，其组成包括：(1) 文本级检测器，用于识别可疑注入文本；(2) 针对攻击链各阶段的分阶段验证器，分别判断当前样本处于哪一阶段；(3) 显式的规则化风险信号（如注入模式、可疑检索来源等特征）；(4) 用户意图与 Agent 动作一致性分析，即检查被检索邮件中的指令是否与用户原始请求存在冲突；(5) 逻辑回归决策策略，将上述多路信号融合为最终检测判定。为支撑该框架，作者从现有提示注入数据集中推导出攻击链阶段标签，并在多种评估设置下测试：随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移，以及多基准上的消融实验。 主要实验结论有三点：第一，随机训练/测试划分会显著高估模型在分布偏移下的鲁棒性，说明以往文献中高 F1 的检测结论存在评估偏差；第二，在攻击链中，偏后期的工具参数阶段比早期阶段更可预测，即靠近「动作落地」的信号更稳定；第三，在训练集中加入「形似攻击但实际良性」的困难负样本（如内容像指令的正常邮件），能在保持真实攻击检出能力的同时显著降低误报。在五个二分类基准上，该框架在严格阈值策略下取得平均 F1 = 0.406，而五个未额外训练的预训练检测器中最强者的 F1 仅为 0.216。作者强调，将攻击阶段预测与「用户请求 / 检索邮件指令冲突检查」结合，是提升邮件 Agent 注入检测效果的关键方向。

该论文针对大语言模型（LLM）智能体在间接提示注入攻击下的能力约束问题展开研究。攻击者可将恶意内容注入外部技能的输出，这些输出随后被放入智能体的执行上下文中，从而影响后续的敏感操作。现有防御手段主要分为两类：对不可信内容进行分类（如 Spotlighting）或对操作权限进行授权（如 CaMeL、AttriGuard），但并未直接解决“不可信数据一旦进入智能体状态，其未来的能力边界应如何动态收缩”这一核心问题。论文提出 SkillGuard，一种驻留在系统层（harness-level）的强制约束机制，将不可信数据的进入视为“污染”事件，并在此基础上限制智能体未来的调用能力，使其状态无法到达部署者定义的禁止状态。SkillGuard 依赖可靠的技能摘要与安全策略，构建“技能影响图”（Skill Impact Graph）来描述涉及安全关键的状态迁移；通过“可转向性签名”指定对技能参数的允许控制方式；并以内联引用监视器对每一次技能调用进行实时仲裁。一旦检测到污染，SkillGuard 不再调用辅助 LLM 进行推断，而是采用二元限制、分数限制或分数流限制策略，计算加权的能力削减方案。评估在 AgentDojo 的四个套件上开展，后端使用 Gemini 2.5 Flash 和 Llama3.3-70B，对比纯 LLM 无防御基线以及 Spotlighting、CaMeL、AttriGuard 三种不同系统层次的防御。实验还构造了一种组合式攻击基准，其中每个单一观察不足以触发目标违规，但组合后可达成攻击。结果显示，在 AgentDojo 的 Tool Knowledge 攻击下，SkillGuard 在两个后端上几乎完全消除了四个套件中的三个的攻击成功，Slack 套件上的攻击成功率分别降至 4.8% 和 14.3%。在组合式攻击下，SkillGuard 在 Llama 后端上优于所有基线，在 Gemini 上匹配最强基线并保持更高良性效用。与二元限制相比，分数流限制在同等的攻击成功率下保留了显著更多的可用能力。此外，SkillGuard 在两个场景中均不增加模型调用次数或 token 开销。该工作适合关注 LLM 智能体安全、AI 系统防御机制以及安全策略自动化的研究者与工程人员阅读。

本文研究工具型 LLM 代理在面对间接提示注入攻击时的防御失效问题。所谓间接提示注入，是指代理在读取攻击者控制的网页内容时，这些内容可能诱使代理泄露其持有的机密信息。作者在安全合成实验室环境中（包含金丝雀机密、模拟工具以及匹配的干净/投毒指标）发现了“框架缺口”（framing gap）：在六个模型上，十种显式注入类别均被拒绝（gpt-4o 拒绝率为 0%），但将相同的泄露行为重新包装为必须的完整性签名、配置字段或外观可信的“受信任”主机时，gpt-4o 的失败率从 0% 升至 100%。该攻击成本低廉，其成本分为三个层级：对已知机制进行改写是微不足道的（3 种措辞下成功率为 96%）；在已知有效模板内交换字段也较为廉价（成功率最高 60%）；而围绕新机制创作全新页面则很困难（0/130）——因此可复用的资产是模板，而非机制。消融实验表明，该机制是指令/数据混淆，而非对齐被破坏：移除保密策略后，基础攻击仍为 0%，仅将重框攻击的成功率从 31.9% 移至 38.1%。能弥合该缺口的是与负载无关的检查：目标允许列表（当目标被封闭时为 0%）和隔离能力的规划器/读取器分离（0%）。在行动模型上添加“任何形式”的广泛策略条款也能将其降至 0%，但该策略脆弱（删除兜底条款后重新开放至 48.8%）。已发布的微调防御（SecAlign, CCS 2025）无法在工具代理上关闭该缺口（32.5%，经阳性对照验证），通道分离也不行（38.8%）；输出规范化守卫无法抵御保留编码（ROT13，100%）。鲁棒性来自于约束目标或隔离能力，而非行动模型识别攻击本身。

本文对DeepSeek Harness (DSH) 这一大语言模型智能体框架进行了系统性的间接提示注入安全评估。研究团队使用自研的AI-Infra-Guard (A.I.G) 工具链构建测试用例，通过受控污点注入、执行DSH、采集执行轨迹并判定结果的方式，对DSH在多种间接内容通道下的安全性进行了大规模量化测试。实验覆盖了14,560次受控执行，涉及16种间接内容通道、文本与文件两种载体模式、35种载荷目标、一个未修改的基线以及12种攻击方法。实验设计保留了DSH的智能体循环、工具注册表、模型适配器和会话事件路径，并将源工具与敏感接收器设置为本地夹具，从而在不产生外部副作用的前提下记录所有尝试性操作。每个执行轨迹均通过确定性规则裁判（RuleJudge）和基于语义的LLM裁判（LLMJudge）进行双重评估。最强的攻击成功率表现为：在文本模式下，伪造完成攻击在LLMJudge下的成功率为17.0%；在文件模式下，隐藏Unicode攻击在RuleJudge下的成功率为25.5%；在文件模式下，技能通道攻击在RuleJudge下的成功率为16.0%。此外，LLMJudge相比RuleJudge更倾向于判定部分合规（7.3%对比2.0%）。论文进一步分析了这些结果与DSH对工具结果、附加上下文和工具调用策略钩子的处理方式之间的关联，并提出了应在不可信内容与敏感操作之间部署的防护控制措施。该研究对于理解LLM智能体框架的间接提示注入风险具有重要价值，代码已开源在GitHub上。适合大语言模型应用开发者、安全研究人员及蓝队成员阅读。

该论文聚焦于大型语言模型（LLM）在代理（agent）场景下所面临的间接提示注入（Indirect Prompt Injection, IPI）攻击。现代LLM具备出色的指令跟随能力，常被用作自主完成复杂任务的代理，但这也使其易受嵌入在文本中的恶意指令攻击。核心防御任务是将给定文本分割为良性句子与恶意句子，然而现有检测器大多缺乏查询感知（query-relative）的段级检测能力，也未能针对代理执行中可现实化的自适应逃逸攻击进行加固。作者首先提出一种同时利用上下文与查询信息的恶意句子分类方法，实现对每个句子是良性或恶意的鲁棒判定。随后，为提升分类器抵抗逃逸攻击的能力，设计了两种对抗训练（AT）方案：第一种是特征空间对抗训练，通过投影梯度法在嵌入空间中近似逃逸样例；第二种是在训练循环中利用LLM进行改写以模拟现实中可行的逃逸攻击。两种方案均包含参数化设计，可在实用性与攻击鲁棒性之间进行平滑折衷。大量实验基于间接提示注入基准，结果表明所提方法在静态攻击下优于现有IPI防御基线；在面对自适应攻击时，AT变体能够显著提升效用并降低攻击成功率，或两者兼得。研究还发现最佳AT参数可能高度依赖具体应用域，因此实际部署时针对不同领域的检测器调参可能是必要的。代码已开源。该工作为LLM代理的恶意指令检测提供了更可靠且可防御自适应攻击的解决方案。

本文提出 DE-FIVE，一种无需重新训练的全新框架，用于检测针对视觉语言模型（VLM）的恶意图像提示。VLM 结合视觉和文本模态，但视觉模态的引入扩大了攻击面，例如对抗扰动和间接提示注入攻击，这些攻击通过精心构造的恶意图像提示诱导模型产生意外输出。现有防御方法通常需要大量数据集重新训练或部署额外复杂分类器，且缺乏专门针对间接提示注入的防御机制。DE-FIVE 利用傅里叶域特征和视觉编码器的隐藏状态表示（图像向量嵌入）实现混合检测策略：黑盒检测器基于傅里叶域特征，白盒检测器利用少量恶意样本导出的图像向量嵌入。实验结果表明，DE-FIVE 在检测恶意图像提示方面持续优于现有最先进基线。主要贡献包括：提出一种无训练、高效的检测框架；融合傅里叶特征和嵌入特征；设计黑盒和白盒双检测器；在标准数据集上验证有效性。本文适合从事 VLM 安全、对抗攻击防御和提示注入检测的研究人员阅读。

该论文聚焦于大型语言模型（LLM）驱动的智能体面临的主要安全威胁——间接提示注入（IPI），即攻击者通过外部内容（如网页、文档）向智能体植入恶意指令。现有防御措施可分为三类：基于提示的（通过提示工程阻止智能体执行恶意指令）、基于检测的（识别并过滤恶意指令）和系统级的（利用控制流和数据隔离等系统手段）。然而，常见的防御评估基准（如AgentDojo）是静态的，仅使用固定分布的IPI攻击，无法有效评估防御面对自适应攻击的鲁棒性。为此，作者提出了AutoDojo，一个对AgentDojo的自适应扩展框架，能够针对给定防御优化IPI攻击。AutoDojo采用迭代优化方法，利用前沿LLM生成并改进注入文本，以绕过目标防御。在三个任务套件和五个目标模型上，作者对多种先进IPI防御进行了评估，发现两个关键结论：第一，许多防御仅提供有限的保护——一种廉价的、黑盒的自适应攻击（使用前沿LLM迭代优化注入）能够将攻击成功率（ASR）提升至远超静态注入的水平。例如，针对一个能将静态ASR降至0%的过滤器，AutoDojo实现了28%的整体ASR，在action-open任务上甚至达到64%。第二，对于基于提示和基于过滤器的防御，在“action-open”任务（即用户请求将操作本身委托给攻击者控制的内容）上的ASR显著高于精确指定的任务。这是一个结构性限制：在这类任务中，注入可以伪装成普通数据而非显式指令，从而绕过依赖检测指令类文本的防御。AutoDojo公开发布在GitHub上，为评估和提升LLM Agent防御的鲁棒性提供了有效工具。