该论文针对当前大模型安全对齐流水线的一个结构性缺陷:训练与评估只评判模型的最终答案,因此无法区分「真正稳健的拒答」与两类不良捷径——(1) 对良性请求的一律拒答(过度拒答),(2) 理由写得漂亮、看似安全但并未真正约束答案的「不忠实安全解释」。作者提出 AUDITPLAN,一种单模型「先承诺、后回答」(plan-then-answer)的对齐范式:模型在给出答案前,先输出一份紧凑的结构化安全计划,计划中包含威胁标签、意图采取的动作以及显式约束条件;答案必须以该计划为条件生成。计划在部署时对终端用户不可见,但格式规整、可被机器自动校验,从而提供可审计性。训练上分为两个阶段:先做监督微调(SFT)让模型学会产出结构化安全计划,再进行强化学习,并使用 FAITHGATE 这一奖励门控目标——只有当安全计划本身正确时,才把答案层面的奖励发放给模型。这一机制惩罚了「表面安全但不忠实」的行为,促使计划与答案之间形成更紧的耦合关系。实验在多个 Qwen 骨干模型上进行:在 Qwen2.5-3B-Instruct 上,FAITHGATE 将攻击成功率(ASR)从 24.0% 降至 11.6%,安全理由不忠实率(LSR)从 1.0% 降至 0.36%,过度拒答率从 11.0% 降至 2.0%,优于仅基于答案的强化学习、自由形式解释以及加权求和式结构化奖励等基线;Qwen2.5-1.5B-Instruct 上呈现相同趋势。作者还在更大模型 Qwen-3-4B-Instruct 和 Qwen2.5-7B-Instruct 上做了验证性实验,趋势保持一致,说明显式的内部承诺(先写计划再作答)能够让安全对齐同时变得更忠实、更稳健、更可审计。该工作适合研究 LLM 安全对齐、模型审计与合规评估的读者。
💡 推荐理由: 它把「可审计性」直接做进对齐训练目标:模型先输出可机器校验的安全计划再作答,并用奖励门控强制计划与答案一致。对需要向合规/审计方证明模型为何拒答或为何放行的团队,这提供了一条可复用的工程思路,同时显著缓解过度拒答。
🎯 建议动作: 研究跟进