Certified Mechanistic Edits: Behavioral Guarantees for Skill Removal and Preservation
该论文关注神经网络“机制编辑”的可验证性，即通过消融、权重编辑或激活引导，从模型中移除某一有害能力（或技能），同时尽量保留其他有用能力。现有做法通常只靠测试集验证编辑效果，但有限测试无法覆盖连续、无穷的输入空间，因此无法保证在所有输入区域都
#mechanistic-interpretability
共收录 6 条相关情报。
← 返回所有主题Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance
该论文研究的是提示注入（prompt injection）攻击成功时，大语言模型内部究竟在何处「做出违反系统角色设定的决定」这一机制性可解释性问题。作者指出，既有工作大多停留在量化攻击成功率（即模型有多频繁地服从对抗性指令），而忽视了决策发
Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks
本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2
Which Neurons Detect Malicious Code? A Probing Study of LLM Security Knowledge
本文研究了大语言模型（LLM）内部如何识别恶意代码的机制。尽管LLM在代码补全、漏洞检测等软件工程任务中表现优异，但其识别恶意或漏洞代码的内部工作机制仍不透明。作者采用机械可解释性方法，对三个指令微调的LLM（Llama3.1-8B-Ins
Mechanistic Interpretability of LLM Jailbreaks via Internal Attribution Graphs
大型语言模型（LLM）尽管能力强大，但仍极易受到对抗性提示和越狱攻击。现有研究主要通过输入-输出行为或归因方法分析这些失败，对对抗性扰动如何改变模型内部推理机制的洞察有限，导致对不安全或错误行为背后的机制理解不足。本文提出了一种基于内部计算
Dissecting the Black Box: Circuit-Level Analysis of LLM Vulnerability Detection
本文采用机械可解释性方法深入分析大语言模型（LLM）检测软件漏洞的内部计算机制。研究以Gemma-2-2b模型为对象，使用Circuit Tracer工具追踪其在分类472个C/C++代码样本（含漏洞与安全代码）时激活的计算路径。令人惊讶的