本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2-0425-1B-Instruct为案例，揭示了拒绝几何本质上是拒绝训练的直接产物。具体而言，拒绝训练时模型对拒绝完成序列第一个token的损失所产生的梯度更新，其聚合方向就构成了后续的拒绝方向，并形成了拒绝子空间。通过分析不同拒绝数据集的训练动态，作者发现重复的拒绝开头（例如固定的“抱歉，我无法...”）会导致梯度和特征表示在低维子空间中高度集中，进而使拒绝向量变得脆弱，容易被消融攻击消除。进一步，通过冻结模型上的受控实验和合成微调，作者证明了“硬化杠杆”的存在：在训练中引入多样化的拒绝前缀，能够提高梯度和激活变化的稳定秩（stable rank），使拒绝特征分布到更高维的空间内，从而显著削弱单一方向消融攻击的有效性。这项研究从机制上解释了安全对齐模型中低维拒绝子空间的来源，并为训练更鲁棒的拒绝行为提供了新的原则性思路，即通过设计多样化的拒绝模板来提升安全特征的维度和鲁棒性。

本文研究了大语言模型（LLM）内部如何识别恶意代码的机制。尽管LLM在代码补全、漏洞检测等软件工程任务中表现优异，但其识别恶意或漏洞代码的内部工作机制仍不透明。作者采用机械可解释性方法，对三个指令微调的LLM（Llama3.1-8B-Instruct、Mistral-v0.3-7B-Instruct和Qwen2.5-7B-Instruct）进行了分析，利用PyPI Malregistry中的1500个恶意包和1500个良性包进行探测。实验首先通过线性探针定位前馈网络（FFN）中与恶意代码检测相关的神经元，然后通过因果干预（放大或抑制这些神经元）验证其作用。结果表明，放大促进恶意检测的神经元并抑制抑制性神经元可以提高分类准确率，而反向操作则会导致预测向单一类别崩溃，但该效果强烈依赖于具体模型。不同模型的护栏检测机制存在差异，其恶意代码检测行为在FFN层中的编码方式各不相同。该研究揭示了LLM编码恶意编程概念的方式，为神经元层级编辑、选择性遗忘和安全对齐等更可靠的防御机制奠定了基础。适合对LLM安全、可解释性和代码安全感兴趣的研究者阅读。

大型语言模型（LLM）尽管能力强大，但仍极易受到对抗性提示和越狱攻击。现有研究主要通过输入-输出行为或归因方法分析这些失败，对对抗性扰动如何改变模型内部推理机制的洞察有限，导致对不安全或错误行为背后的机制理解不足。本文提出了一种基于内部计算图的机制性可解释性框架，用于诊断LLM的脆弱性。该框架将特定提示的推理过程表示为潜藏特征之间的结构化因果交互，称为内部计算图。通过构建并对齐干净提示和攻击提示的计算图，揭示对抗性攻击会系统地转变内部推理，包括抑制安全相关组件、出现攻击特有特征以及重定向计算路径。基于此表示，作者提出了一个统一框架，该框架能够：（i）将计算分解为不变、抑制和涌现结构；（ii）识别与失败模式相关的重复脆弱性模式；（iii）对节点、路径和子图进行因果干预，直接评估它们对攻击成功的贡献。这使得从描述性归因过渡到对模型失败的因果诊断成为可能。在多个开源LLM及多种对抗和越狱基准上的实验表明，内部计算图的结构偏差与不安全行为强相关。此外，对识别的脆弱性模式进行有针对性的干预可提高模型鲁棒性，从而将内部计算图确立为理解、诊断和缓解LLM脆弱性的原则性基础。

本文采用机械可解释性方法深入分析大语言模型（LLM）检测软件漏洞的内部计算机制。研究以Gemma-2-2b模型为对象，使用Circuit Tracer工具追踪其在分类472个C/C++代码样本（含漏洞与安全代码）时激活的计算路径。令人惊讶的是，分析发现模型并非直接识别漏洞特征，而是主要依赖一组“安全检测器”——特定注意力头能识别安全编码模式。当这些安全检测器未激活时，模型将代码判定为有漏洞。关键神经组件包括：早期层（L5、L7）中专注于安全模式的注意力头，以及第7层多层感知器（MLP）中编码漏洞相关特征的神经元。消融实验证实了这些组件的因果作用：移除第11层导致漏洞检测准确率从100%骤降至6%，仅移除第7层中的20个神经元便使准确率降低50%。研究进一步揭示，LLM漏洞检测仅使用约16%的模型容量即可形成稀疏、可解释的电路。这一发现为漏洞检测系统提供了电路级别的解释，并可指导针对性的性能改进。论文成果有助于理解LLM在安全任务中的推理过程，推动更透明、可审计的AI安全检测工具的发展。