该论文关注神经网络“机制编辑”的可验证性，即通过消融、权重编辑或激活引导，从模型中移除某一有害能力（或技能），同时尽量保留其他有用能力。现有做法通常只靠测试集验证编辑效果，但有限测试无法覆盖连续、无穷的输入空间，因此无法保证在所有输入区域都成功移除且不破坏保留能力。作者将可解释性与形式化验证结合，不再只认证“模型某电路计算什么”或“解释是否忠实”，而是认证编辑的行为效果：对于给定连续嵌入空间区域内的每一个输入，证明禁用某电路确实移除了目标技能，并同时可证明另一项技能被保留；这相当于信息流安全意义上的特征非干扰保证。方法上，作者从玩具级 ReLU 网络逐步扩展到标准 softmax+LayerNorm Transformer，利用可靠的边界传播替代精确求解器，使可处理的输入扰动维度提升约 9 倍。论文还给出一个重要的负面结论：任何有限、确定性的黑盒测试都无法证明能力已被移除，并构造了一个能通过穷举测试、却在一个可任意缩小的“幸存者口袋”上被证明失败的编辑实例。其保证适用于小型标准架构网络，并且与所有移除声明一样，前提是目标技能存在可判定的规格；现实世界中的危害可能并不满足这一前提。

该论文研究的是提示注入（prompt injection）攻击成功时，大语言模型内部究竟在何处「做出违反系统角色设定的决定」这一机制性可解释性问题。作者指出，既有工作大多停留在量化攻击成功率（即模型有多频繁地服从对抗性指令），而忽视了决策发生的位置，因此提出用「逐层因果激活修补（layer-by-layer causal activation patching）」来定位模型内部的合规决策点。实验覆盖 5 个模型，参数规模从 4B 到 32B。研究得到一个清晰的双重分离结论：一方面，攻击相关信息从第一层起就可以被线性解码出来，说明模型在很早期就已经「感知」到注入内容；另一方面，这种早期表征对最终行为的因果影响力却几乎可以忽略，真正对输出行为具有决定性因果杠杆的是一个位于网络后三分之一处的深层瓶颈层。对该瓶颈层进行激活修补，可在 77% 至 92% 的案例中逆转模型的合规行为（即让模型重新拒绝违规指令），说明该层是合规决策的关键枢纽。进一步分析表明，这一合规机制占据一个紧凑的线性子空间：在 4B 与 14B 模型中秩仅为 8，扩展到 32B 时升至秩 64，并且在不同模型家族之间表现出架构上的稳定性，暗示这不是某个模型的偶发特性。作者还做了一个功能性验证：这个因果峰值层同时也是检测提示注入攻击的表征最优位置，其检测性能优于早期层分类器，而后者在 leetspeak 之类的表层混淆下会明显退化。因果杠杆与检测性能在同一层位置上的对齐，构成了相互印证的证据，说明该深层瓶颈捕获的是与决策真正相关的计算，而非干预手段造成的伪影。论文适合从事 LLM 安全、可解释性、对齐与防护检测（如提示注入分类器、运行时干预）方向的研究者与安全工程师阅读。

本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2-0425-1B-Instruct为案例，揭示了拒绝几何本质上是拒绝训练的直接产物。具体而言，拒绝训练时模型对拒绝完成序列第一个token的损失所产生的梯度更新，其聚合方向就构成了后续的拒绝方向，并形成了拒绝子空间。通过分析不同拒绝数据集的训练动态，作者发现重复的拒绝开头（例如固定的“抱歉，我无法...”）会导致梯度和特征表示在低维子空间中高度集中，进而使拒绝向量变得脆弱，容易被消融攻击消除。进一步，通过冻结模型上的受控实验和合成微调，作者证明了“硬化杠杆”的存在：在训练中引入多样化的拒绝前缀，能够提高梯度和激活变化的稳定秩（stable rank），使拒绝特征分布到更高维的空间内，从而显著削弱单一方向消融攻击的有效性。这项研究从机制上解释了安全对齐模型中低维拒绝子空间的来源，并为训练更鲁棒的拒绝行为提供了新的原则性思路，即通过设计多样化的拒绝模板来提升安全特征的维度和鲁棒性。

本文研究了大语言模型（LLM）内部如何识别恶意代码的机制。尽管LLM在代码补全、漏洞检测等软件工程任务中表现优异，但其识别恶意或漏洞代码的内部工作机制仍不透明。作者采用机械可解释性方法，对三个指令微调的LLM（Llama3.1-8B-Instruct、Mistral-v0.3-7B-Instruct和Qwen2.5-7B-Instruct）进行了分析，利用PyPI Malregistry中的1500个恶意包和1500个良性包进行探测。实验首先通过线性探针定位前馈网络（FFN）中与恶意代码检测相关的神经元，然后通过因果干预（放大或抑制这些神经元）验证其作用。结果表明，放大促进恶意检测的神经元并抑制抑制性神经元可以提高分类准确率，而反向操作则会导致预测向单一类别崩溃，但该效果强烈依赖于具体模型。不同模型的护栏检测机制存在差异，其恶意代码检测行为在FFN层中的编码方式各不相同。该研究揭示了LLM编码恶意编程概念的方式，为神经元层级编辑、选择性遗忘和安全对齐等更可靠的防御机制奠定了基础。适合对LLM安全、可解释性和代码安全感兴趣的研究者阅读。

大型语言模型（LLM）尽管能力强大，但仍极易受到对抗性提示和越狱攻击。现有研究主要通过输入-输出行为或归因方法分析这些失败，对对抗性扰动如何改变模型内部推理机制的洞察有限，导致对不安全或错误行为背后的机制理解不足。本文提出了一种基于内部计算图的机制性可解释性框架，用于诊断LLM的脆弱性。该框架将特定提示的推理过程表示为潜藏特征之间的结构化因果交互，称为内部计算图。通过构建并对齐干净提示和攻击提示的计算图，揭示对抗性攻击会系统地转变内部推理，包括抑制安全相关组件、出现攻击特有特征以及重定向计算路径。基于此表示，作者提出了一个统一框架，该框架能够：（i）将计算分解为不变、抑制和涌现结构；（ii）识别与失败模式相关的重复脆弱性模式；（iii）对节点、路径和子图进行因果干预，直接评估它们对攻击成功的贡献。这使得从描述性归因过渡到对模型失败的因果诊断成为可能。在多个开源LLM及多种对抗和越狱基准上的实验表明，内部计算图的结构偏差与不安全行为强相关。此外，对识别的脆弱性模式进行有针对性的干预可提高模型鲁棒性，从而将内部计算图确立为理解、诊断和缓解LLM脆弱性的原则性基础。

本文采用机械可解释性方法深入分析大语言模型（LLM）检测软件漏洞的内部计算机制。研究以Gemma-2-2b模型为对象，使用Circuit Tracer工具追踪其在分类472个C/C++代码样本（含漏洞与安全代码）时激活的计算路径。令人惊讶的是，分析发现模型并非直接识别漏洞特征，而是主要依赖一组“安全检测器”——特定注意力头能识别安全编码模式。当这些安全检测器未激活时，模型将代码判定为有漏洞。关键神经组件包括：早期层（L5、L7）中专注于安全模式的注意力头，以及第7层多层感知器（MLP）中编码漏洞相关特征的神经元。消融实验证实了这些组件的因果作用：移除第11层导致漏洞检测准确率从100%骤降至6%，仅移除第7层中的20个神经元便使准确率降低50%。研究进一步揭示，LLM漏洞检测仅使用约16%的模型容量即可形成稀疏、可解释的电路。这一发现为漏洞检测系统提供了电路级别的解释，并可指导针对性的性能改进。论文成果有助于理解LLM在安全任务中的推理过程，推动更透明、可审计的AI安全检测工具的发展。