#reasoning-model

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Lukáš Brůna, Robert Bridges, Adam Ek

该论文研究的是推理型大模型(Reasoning LLM)的“输出前缀攻击”。由于 LLM 本质上是自回归地消费并生成单一文本序列,只要能够在模型响应的起始位置插入一段文本(即输出前缀/prefill),其后所有 token 都会以这段内容为条件生成。作者指出这种输出前缀攻击是一种成本极低的黑盒提示注入手段,此前研究已证明它可稳定越狱非推理模型。而推理模型在给出最终答案前会先生成一段中间草稿(scratchpad / reasoning channel),部分厂商 API 允许调用方写入或编辑该推理通道,于是形成了“推理注入”这一新的攻击面。本文是首个系统化、受控的研究:把 scratchpad 推理通道单独隔离出来,作为一个独立的输出前缀攻击向量加以考察,并且首次在同一实验框架下,对“仅推理注入”“仅输出前缀注入”“推理注入+输出前缀注入”三类攻击,在暴露推理通道与隐藏推理通道的模型之间做横向对比。方法上采用 3 种前缀类型 × 2 种推理注入的析因实验设计,共 1,800 个取自 AdvBench 的测试用例,攻击对象为三款 2026 年代的前沿模型:Gemini 3 Flash Preview、DeepSeek V4 Flash 与 Claude Haiku 4.5。核心发现有三点:第一,单独注入恶意推理内容几乎是惰性的,攻击成功率接近 0%;第二,同样的推理内容只要再搭配一个平凡(trivial)的输出前缀,部分模型的攻击成功率可飙升至最高 99%,说明真正起决定作用的是“推理通道 + 输出通道”的联合操控;第三,在此类攻击中,上下文相关(contextual)前缀的效果优于静态前缀,且模型之间的易感性差异明显,取决于具体模型。论文的贡献在于把此前零散的越狱观察收敛为一个可控的实验范式,明确了推理通道本身既是风险点、又不能单独构成威胁,从而为推理模型的安全评测与 API 设计提供了量化依据。适合从事 LLM 安全评测、红队与模型 API 防护的研究者与工程师阅读。

💡 推荐理由: 许多推理模型 API 允许外部写入 reasoning/prefix 内容,这使黑盒提示注入门槛极低。论文量化出:仅注入推理几乎无效,但推理+一个简单输出前缀可让 ASR 最高达 99%,说明暴露推理通道会显著放大越狱风险,需重新审视 API 设计与安全评测基线。

🎯 建议动作: 研究跟进,并将该类输出前缀/推理通道注入场景纳入内部 LLM 安全评测与 API 权限收敛评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)