#agentdojo

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Mark Russinovich

该论文针对 LLM 智能体面临的间接提示注入(indirect prompt injection)问题——即被检索回来的不可信文本被模型当作指令执行,从而导致工具调用被劫持——提出了一种推理时(inference-time)的模型内部防御方法 CounterSteer。与依赖外部检测器、输入过滤或额外分类模型的方案不同,CounterSteer 直接在残差流(residual stream)中构造一个方向向量来抑制「把工具结果当指令」这一行为。 方法层面:对每个模型,作者给出一个五步配方(five-step recipe)。其核心是用成对情节(paired episodes)做对比拟合,这些情节唯一的差别在于嵌入的指令是否被模型遵循;由此从残差流中拟合出一个方向向量。该方向并非无条件采纳,而是必须通过预先设定的因果门(causal gates)与能力门(capability gates)才会被保留,以确认它确实因果性地影响注入行为、同时不损害模型本身的能力。 部署层面:在 prefill 阶段,从每一个「工具结果」token 的激活中减去该方向。其特点在于编辑是常开的(always on),不存在可被攻击者规避的「是否检测到注入」的判定环节;无需微调、无需辅助模型、不增加额外 token,只要求白盒推理服务能力以及工具结果 span 的边界信息。 实验:在五个开放权重模型(8B–106B,覆盖五个厂商谱系)上,留出攻击的成功率从无防御时的 0.21–1.00 降至 0.00–0.17;AgentDojo 基准上的妥协率从 0.10–0.49 降至 0.006–0.079;在排版归一化后,良性任务效用保持在 93–100%,但当模型需要对被 steering 的内容进行推理时,会出现较大的、依赖具体任务的开销。针对基准级自适应攻击者,无防御时可达 0.67–0.73 的成功率,在两个评估最深入的模型上被压制至约四分之一。与作者测量的其他防御相比,在强模型上取得更低妥协率的方案,要么损失 22–89% 的良性效用,要么必须微调实际服务的权重。鲁棒性方面:通过已部署向量进行的白盒梯度攻击最多攻破 52 个情节中的 2 个;重放的 2052 次人类红队攻击无一成功。 局限与边界:CounterSteer 基本中和了「指令劫持」这一类攻击(黑盒框架搜索在 18 个开发样本中攻破 3 个),但对参数操纵(在看似合法的调用中由攻击者指定参数)只能部分抵抗(18 个中 13 个被攻破)。论文指出该决策在参数发出(argument emission)时刻线性可读,但在所检查的生成前位置不可读,且所测试的 prefill 或 decode 阶段的 steering 都无法消除它,因此需要额外引入参数来源(argument-provenance)控制。

💡 推荐理由: 间接提示注入是当前智能体落地的头号风险面,而主流防御多依赖外挂检测器、可被对抗绕过。该工作证明可在模型内部以常开的方向消减(steering)方式大幅压低攻击成功率,同时保持 93–100% 良性效用,且无需微调与辅助模型,为白盒部署者提供了可落地的新防御路径,也明确了「参数操纵」这一尚未覆盖的残余风险。

🎯 建议动作: 研究跟进并纳入内部评估:先在沙箱环境中复现成对情节拟合与门控流程,评估其在自身模型与工具调用链路上的效用/安全权衡

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)