Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents
该论文挑战了当前 LLM 智能体安全的一个默认假设:工具调用型智能体的安全性常被视为模型本身的属性。作者用全精度、可控的实验证明,安全性实际上是「模型 + 解码与渲染链路(chat template 渲染、工具调用解析器)」的联合属性,且这
共收录 10 条相关情报。
← 返回所有主题该论文挑战了当前 LLM 智能体安全的一个默认假设:工具调用型智能体的安全性常被视为模型本身的属性。作者用全精度、可控的实验证明,安全性实际上是「模型 + 解码与渲染链路(chat template 渲染、工具调用解析器)」的联合属性,且这
【研究背景】前沿语言模型近年的能力跃升常被归因于推理能力的提升,但在闭源系统中,原始思维链(CoT)轨迹被隐藏,外界无法验证这一说法,也无法审计模型真实的推理过程。【核心问题】如何在不获取模型内部权重或私有日志的前提下,把闭源模型隐藏的中间
该论文指出现有 LLM 后门研究普遍采用「触发充分」(trigger-sufficient)的建模范式:只要触发器出现,无论被触发的提示上下文如何,模型都会输出攻击者预设的目标响应。作者认为这种建模方式存在根本缺陷——因为目标响应与上下文无
该论文研究了一个此前被忽视的安全问题:能否通过黑盒API交互,从前沿专有大型推理模型(LRM)中近乎逐字地提取隐藏的思维链(Chain-of-Thought, CoT)。隐藏CoT被视为模型的核心资产,尤其是商业模型内部的推理过程,过去普遍
该论文研究链式思维(Chain-of-Thought, CoT)监控在AI安全栈中的局限性。CoT监控假设模型的推理轨迹能够反映其真实行为,但作者通过模型投毒的手段挑战了这一假设。他们证明,攻击者可以在推理模型中植入后门,使模型执行攻击者指
该论文针对链式思维(Chain-of-Thought, CoT)监控的鲁棒性展开研究。CoT监控旨在通过检查智能体的推理过程来识别奖励黑客行为(reward hacking),因为这类攻击在动作层面可能表现正常,仅在推理中暴露意图。然而作者
本文聚焦安全运营中心(SOC)中普遍存在的告警疲劳问题:每日产生的检测告警数量远超分析师可处理范围。以往研究通常直接提示或微调大语言模型(LLM)输出三分类标签(良性/恶意/待查),但未训练模型对检测是否构成真实威胁进行推理。作者提出一种基
本文针对大型语言模型(LLM)在数学链式思维(Chain of Thought, CoT)推理评估中的一个关键缺陷提出解决方案。当前评估方法通常仅检查最终答案与参考答案是否一致,但这种方法存在一个'推理-答案一致性差距':一个无效的推理链可
该论文提出了一种针对视觉语言模型(VLM)的新型后门攻击框架ReShift,其核心创新在于实现推理层面的后门注入,而非传统的输出层操纵。现有后门攻击方法往往在推理链中留下不一致或可检测的痕迹,容易被现有防御机制发现。ReShift通过“顿悟
本文研究链式思维(CoT)答案劫持的检测与诊断方法。答案劫持是指模型在推理过程中看似合理的推理步骤最终导向错误答案的安全漏洞。作者首先构建了一个受控的数值代理场景:在GSM8K和MATH-500数据集上,对Qwen2.5-7B和Llama3