#llm-monitoring

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Muhammad Usama, Khair Un Nisa, Summer Yeoreum Jung

该论文挑战了当前 LLM 智能体安全的一个默认假设:工具调用型智能体的安全性常被视为模型本身的属性。作者用全精度、可控的实验证明,安全性实际上是「模型 + 解码与渲染链路(chat template 渲染、工具调用解析器)」的联合属性,且这两半都能被不可信输入直接攻击。实验对象是公开的 gpt-oss-20b 推理模型及其官方工具沙箱:在用户消息末尾追加一段该模型自身的「通道控制 token」字符串后,分词器/模板会把这轮推理渲染成「已经结束」的状态,于是模型不再输出任何思维链(chain-of-thought),而是直接进入工具调用。在模型本就能完成的 40 个任务上,推理通道的平均长度从 52.5 个 token 降为 0,且每一次试验中 http.post 工具调用仍然照常触发;也就是说外部行为完全保留,只有可被审计的推理痕迹被抹去。审计层面同样被击穿:规则型监控器和跨模型族(cross-family)LLM 监控器在所有「正常」试验中都能检出该不安全请求,但在所有被伪造的试验中全部漏检;在明显恶意的请求上,该攻击把模型 39.6% 的拒答转化为已完成的敏感数据外泄(exfiltration)。论文还揭示了第二半问题——同一份贪心解码输出是否真正触发工具调用,取决于 harness 的解析器而非模型:容忍截断的正则会在缺少结束 token 时仍然发起调用,严格解析器则直接丢弃;为 Gemma 智能体发布的两个解析器在完全相同的生成结果上给出相反结论(24 次全部触发 vs 一次都不触发)。作者进一步证明该抑制可以间接投递,并在另外两个推理模型上刻画其对 chat template 的依赖。防御方面评估了输入清洗、解析器加固与「空推理检测」三类措施:flagging 缺失推理轨迹能抓住基础攻击,但无法应对自适应的「良性诱饵」。全部测量使用公开模型的贪心解码,代码与逐次试验日志已开源。

💡 推荐理由: 它说明以思维链作为可监控性(monitorability)与人类监督基石的方案可被输入层控制 token 直接静音,而工具调用照常执行;由此产生的盲区同时影响蓝队审计、LLM 监控器与自动化响应,且解析器实现差异本身就是可被利用的决策点,必须把模型与 harness 作为一个整体来评估和加固。

🎯 建议动作: 研究跟进:复现并纳入内部智能体平台的红队用例,同步整改 chat template 输入清洗、工具调用解析器严格化与空推理告警策略。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)