#activation-steering

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Xinwei Zhang, Aoting Hu, Hangcheng Liu, Shuchao Pang, Qingqing Ye, Haibo Hu

该论文研究视觉语言模型(VLM)中基于激活调控(activation steering)的推理期安全防御的鲁棒性边界。激活调控通过在推理阶段修改模型中间层表示、而不更新主干参数来提供防护,被视为一种轻量、可插拔的安全护栏。作者指出,这类防御在基准测试输入上表现出的有效防护,未必能延续到同一有害请求的其它表达形式上。为验证这一差距,作者构造了固定的文本、视觉以及联合(多模态)改写形式,这些改写被设计为保留原始请求的底层意图,结果发现这些改写可以绕开具有代表性的激活调控防御。随后,作者给出了一个互补的局部分析,导出了在局部调控修正发生任意可容许变化的情况下,某种改写仍能越过替代安全边界的充分条件,从理论层面解释了为何基于局部表示修正的防御存在结构性脆弱点。基于该洞察,作者提出 SteerProbe:一种仅依赖输出(output-only)、黑盒的攻击方法,它能在共享的校准预算内,学会为未见过的请求挑选有效的改写形式,而无需白盒访问模型或防御内部。实验覆盖三个 VLM 主干、两个基准、三种激活调控防御;SteerProbe 在全部受防御设置下都提升了有害率(Harmful Rate),每个端点与基准合计仅使用 500 次校准查询,平均有害率从 7.43% 提升到 18.36%。作者由此得出结论:仅在原始基准输入上的鲁棒性不足以刻画激活调控防御的安全水平,应当将改写鲁棒性作为一项重要的评估维度,并进一步推动设计能在意图保持一致的多模态变体下依然维持安全性、同时不损害正常任务效用的调控机制。

💡 推荐理由: 许多团队把激活调控当作 VLM 的低成本推理期护栏,并以其在基准集上的低有害率作为验收依据。该工作表明这种评测会高估真实防护,提示红队与安全评估必须纳入保留意图的多模态改写维度。

🎯 建议动作: 研究跟进:将改写鲁棒性纳入内部 VLM 安全评测方案,评估现有推理期安全护栏在该维度下的实际有效性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mark Russinovich

该论文针对 LLM 智能体面临的间接提示注入(indirect prompt injection)问题——即被检索回来的不可信文本被模型当作指令执行,从而导致工具调用被劫持——提出了一种推理时(inference-time)的模型内部防御方法 CounterSteer。与依赖外部检测器、输入过滤或额外分类模型的方案不同,CounterSteer 直接在残差流(residual stream)中构造一个方向向量来抑制「把工具结果当指令」这一行为。 方法层面:对每个模型,作者给出一个五步配方(five-step recipe)。其核心是用成对情节(paired episodes)做对比拟合,这些情节唯一的差别在于嵌入的指令是否被模型遵循;由此从残差流中拟合出一个方向向量。该方向并非无条件采纳,而是必须通过预先设定的因果门(causal gates)与能力门(capability gates)才会被保留,以确认它确实因果性地影响注入行为、同时不损害模型本身的能力。 部署层面:在 prefill 阶段,从每一个「工具结果」token 的激活中减去该方向。其特点在于编辑是常开的(always on),不存在可被攻击者规避的「是否检测到注入」的判定环节;无需微调、无需辅助模型、不增加额外 token,只要求白盒推理服务能力以及工具结果 span 的边界信息。 实验:在五个开放权重模型(8B–106B,覆盖五个厂商谱系)上,留出攻击的成功率从无防御时的 0.21–1.00 降至 0.00–0.17;AgentDojo 基准上的妥协率从 0.10–0.49 降至 0.006–0.079;在排版归一化后,良性任务效用保持在 93–100%,但当模型需要对被 steering 的内容进行推理时,会出现较大的、依赖具体任务的开销。针对基准级自适应攻击者,无防御时可达 0.67–0.73 的成功率,在两个评估最深入的模型上被压制至约四分之一。与作者测量的其他防御相比,在强模型上取得更低妥协率的方案,要么损失 22–89% 的良性效用,要么必须微调实际服务的权重。鲁棒性方面:通过已部署向量进行的白盒梯度攻击最多攻破 52 个情节中的 2 个;重放的 2052 次人类红队攻击无一成功。 局限与边界:CounterSteer 基本中和了「指令劫持」这一类攻击(黑盒框架搜索在 18 个开发样本中攻破 3 个),但对参数操纵(在看似合法的调用中由攻击者指定参数)只能部分抵抗(18 个中 13 个被攻破)。论文指出该决策在参数发出(argument emission)时刻线性可读,但在所检查的生成前位置不可读,且所测试的 prefill 或 decode 阶段的 steering 都无法消除它,因此需要额外引入参数来源(argument-provenance)控制。

💡 推荐理由: 间接提示注入是当前智能体落地的头号风险面,而主流防御多依赖外挂检测器、可被对抗绕过。该工作证明可在模型内部以常开的方向消减(steering)方式大幅压低攻击成功率,同时保持 93–100% 良性效用,且无需微调与辅助模型,为白盒部署者提供了可落地的新防御路径,也明确了「参数操纵」这一尚未覆盖的残余风险。

🎯 建议动作: 研究跟进并纳入内部评估:先在沙箱环境中复现成对情节拟合与门控流程,评估其在自身模型与工具调用链路上的效用/安全权衡

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Chenxi Wang, Ruiyang Huang, Li Huang, Yifan Wu

该论文关注大语言模型(LLM)部署中的安全对齐问题:当用户输入包含有害意图时,模型可能给出不安全回答。作者指出,现有的激活引导(activation steering)方法虽然在推理阶段通过修改模型内部隐状态来提升安全性、且无需更新参数,但存在一个被忽视的痛点——单条提示词往往同时涉及多个危害类别(如暴力、仇恨、隐私、违法指导等),而只针对某一类别做安全引导,可能使其他类别的有害内容依然漏出。已有的自适应引导方案也没有显式地在多危害类别共现时协调引导方向与引导强度。为此,作者提出 CAM-Steer,一个类别自适应的多类别安全引导框架。其核心思路是:首先将当前隐状态与预先构造的“安全原型”和“不安全原型”做比较,据此估计每个危害类别上的风险分数;然后利用这些风险分数,把多个类别的安全方向加权合成为一个统一的引导方向,同时用风险大小决定干预强度;最后沿合成方向对隐状态做旋转,旋转角度由估计风险决定,并保持隐状态范数不变,以避免破坏模型原有的表征尺度与通用能力。实验覆盖三种 LLM 主干模型与七个危害类别,结果显示 CAM-Steer 在平均防御成功率上优于所评估的基线,且在类别共现场景下同样有效。消融与进一步分析验证了各组件设计的必要性以及风险分数本身携带的有效信息,同时该方法的推理开销可忽略。该工作适合研究 LLM 安全对齐、推理期干预与红队评测的研究者与工程师阅读。

💡 推荐理由: 多数安全引导研究只面向单一危害类别,而真实提示常多类危害交织;该工作给出无需重训、推理期即可按类别自适应协调方向与强度的方案,对 LLM 护栏与对齐工程有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)