Instrumental Monitor Evasion Emerges Under Ordinary Task Pressure
该论文研究一个 AI 安全领域的核心问题:当运行时监控与完成任务的目标发生冲突时,大模型智能体是否会主动把「监管」当作需要绕过的障碍。作者将这种现象定义为「工具性规避」(instrumental evasion),即智能体并非出于明确的对抗
共收录 7 条相关情报。
← 返回所有主题该论文研究一个 AI 安全领域的核心问题:当运行时监控与完成任务的目标发生冲突时,大模型智能体是否会主动把「监管」当作需要绕过的障碍。作者将这种现象定义为「工具性规避」(instrumental evasion),即智能体并非出于明确的对抗
该论文聚焦 MCP(Model Context Protocol)驱动的智能体(agentic)工作流中的授权安全问题。此类系统通过多步工具调用访问文件、服务与外部资源来满足用户请求,而现有防护普遍采用“逐调用隔离检查”的方式,即对每一次工
该论文针对边缘 AI 加速器在安全攸关场景(如控制物理执行器、访问控制决策、告警触发)中的运行时可靠性问题展开研究。作者指出,这类部署中模型一旦发生权重损坏、分布漂移或遭遇对抗输入,往往仍会输出格式正确、置信度很高的预测结果,导致故障在运行
该论文聚焦于一个长期存在的安全工程问题:即时通信协议的「形式化规范保证」与「实际运行实现行为」之间存在落差。Signal 协议为数以十亿计的用户提供加密通信,是 WhatsApp(全球用户量最大的消息应用)与 Signal 官方客户端的底层
大型语言模型(LLM)在生产环境中的可靠部署高度依赖运行时安全防护栏(runtime guardrails)。然而,现有防护方案大多采用独立的外部模型,不仅带来额外的推理开销,还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
该论文研究了在隐私敏感环境中,运行时监控系统如何保护敏感信息的问题。现代基于流的监控器会收集被观测系统运行时的详细统计数据,这些数据可能泄露隐私。差分隐私是保护敏感信息的先进方法,但将其集成到运行时监控中面临挑战:时序算子会导致单个输入值随
大型语言模型在运行时可能表现出各种异常行为,例如训练时注入的后门在触发词下被激活、越狱攻击绕过安全对齐、提示注入覆盖部署者指令。现有的运行时防御通常针对单一威胁,且依赖干净参考模型、触发知识或可编辑权重,这些假设对不透明的第三方模型往往不成