#inference-time-intervention

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Chenxi Wang, Ruiyang Huang, Li Huang, Yifan Wu

该论文关注大语言模型(LLM)部署中的安全对齐问题:当用户输入包含有害意图时,模型可能给出不安全回答。作者指出,现有的激活引导(activation steering)方法虽然在推理阶段通过修改模型内部隐状态来提升安全性、且无需更新参数,但存在一个被忽视的痛点——单条提示词往往同时涉及多个危害类别(如暴力、仇恨、隐私、违法指导等),而只针对某一类别做安全引导,可能使其他类别的有害内容依然漏出。已有的自适应引导方案也没有显式地在多危害类别共现时协调引导方向与引导强度。为此,作者提出 CAM-Steer,一个类别自适应的多类别安全引导框架。其核心思路是:首先将当前隐状态与预先构造的“安全原型”和“不安全原型”做比较,据此估计每个危害类别上的风险分数;然后利用这些风险分数,把多个类别的安全方向加权合成为一个统一的引导方向,同时用风险大小决定干预强度;最后沿合成方向对隐状态做旋转,旋转角度由估计风险决定,并保持隐状态范数不变,以避免破坏模型原有的表征尺度与通用能力。实验覆盖三种 LLM 主干模型与七个危害类别,结果显示 CAM-Steer 在平均防御成功率上优于所评估的基线,且在类别共现场景下同样有效。消融与进一步分析验证了各组件设计的必要性以及风险分数本身携带的有效信息,同时该方法的推理开销可忽略。该工作适合研究 LLM 安全对齐、推理期干预与红队评测的研究者与工程师阅读。

💡 推荐理由: 多数安全引导研究只面向单一危害类别,而真实提示常多类危害交织;该工作给出无需重训、推理期即可按类别自适应协调方向与强度的方案,对 LLM 护栏与对齐工程有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiaoyun Xu, Lichao Wu, Jona te Lintelo, Siyu Zhang, Stjepan Picek

大型语言模型(LLM)在生成代码时频繁引入可利用的安全缺陷。现有防御方法通常依赖繁重的微调或外部知识检索,带来显著的计算开销和冗余代码示例导致的数据偏差。本文提出一种相反观点:预训练语料库中已包含丰富的安全知识,缺陷在于激活不足——缺乏明确、简洁的提示时,模型倾向于遵循训练分布中的常见模式,抑制了安全相关表征。为此,作者提出 SPARK,一个无需重新训练的推理时安全皮套,包含两个组件:组件 I 为每个编码任务检索相关的通用弱点枚举(CWE)条目,并将简短的结构化提示附加到 prompt 中,仅此即可激活模型已有的安全表征;组件 II 在每一步解码时向 logits 添加预计算的 token 偏置——该偏置通过对安全方向向量(平均安全隐藏状态与平均不安全隐藏状态之差)投影到语言模型头部获得,离线计算一次,推理时每生成一个 token 仅需一次向量加法。SPARK 在 C++、Java 和 Python 上对 9 个开源模型进行评测,与 7 个基线(包括微调和检索增强方法)对比,在所有设置中匹配或超越最佳基线,同时保持 HumanEval 代码功能正确性。此外,还在黑盒环境下对 7 个最强闭源模型(包括 Claude、DeepSeek 和 GPT)测试组件 I,证实了不安全代码生成的瓶颈以及本方法带来的改进。该工作表明,通过轻量级推理时干预激活 LLM 内生的安全知识,可以高效提升代码安全性,为安全代码生成提供了新范式。

💡 推荐理由: 本工作揭示了LLM安全代码生成的核心瓶颈在于知识激活而非知识缺失,提出的轻量推理时方法无需重训练即可显著提升代码安全性,对安全开发流程和LLM安全研究具有重要启发。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)