#chat-template

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Yan Zhan, Yunze Song, Mengkai Hou, Wanting Zhang, Shaobo Liu, Zhijun Gao

该论文研究 LLM 智能体场景下的提示注入(prompt injection)问题,聚焦一个以往被忽视的细节:当注入指令被模型自身的聊天模板标记(如 <|im_start|> 这类保留控制标记)包裹时,攻击效果会显著增强。核心观察是,同一段伪造的模板标记文本在分词层面存在两种等价表示——既可以被编码为单个保留控制 token,也可以被编码为若干普通子词(subword)token 序列,两者解码后的文本完全相同。由于分词在服务端执行,选择哪一种表示由防御方而非攻击者决定,作者据此设计了受控对照实验,用来量化注入指令的"权威性"有多少来自保留 token 的学习表示。实验显示:在保持文本不变并控制额外 token 影响的前提下,把伪造标记改为子词编码,可使 InjecAgent 基准上的攻击成功率在四个开源权重模型家族中的三个下降 39 至 66 个百分点,且这一差距在 AgentDojo 的多轮智能体任务中同样成立。Qwen3-8B 上差距仅 8 个百分点,原因是在缺少保留 id 时模型仍能通过推理从文本识别伪造轮次;抑制其推理块后差距扩大到 50 个百分点。进一步分析表明,权威性集中在标记位置上的单一学习向量:标记处子词向量的均值无法复现该效果;在 Llama-3.1 上,使用最近邻普通 token 的向量即可恢复攻击;自适应攻击者在四个家族中的三个能够搜索到可用的非保留标记嵌入近邻。此外,在所有测试的基础模型与指令微调配对中,指令微调都强化了模型对保留标记的偏好。论文最后指出标准缓解措施的局限:将特殊 token 编码为普通子词的 tokenizer 选项只对配置中声明为特殊的 token 生效,因此在 67 个不同 tokenizer 配置中的 33 个(覆盖 Hugging Face 下载量前 400 聊天模型中的 255 个)仍保留工具协议 token 的保留表示,而智能体正是通过这些 token 读取不可信的工具输出,攻击差距在该通道上依旧存在。

💡 推荐理由: 提示注入防御长期停留在文本层面过滤,本文证明"字节相同的文本"因 token 表示不同而具有不同权威性:服务端分词本身就是一道可用的防线,同时也暴露出 tokenizer 配置中工具协议 token 未被声明为特殊 token 的普遍盲区。

🎯 建议动作: 纳入内部评估:审计部署模型的 tokenizer 配置,并在 InjecAgent / AgentDojo 类评测中复现保留 token 与子词编码的对照实验

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)