#contextual-security

共收录 1 条相关安全情报。

← 返回所有主题
推荐 3.5
Conf: 50%
👥 作者: Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Chenguang Wang, Dawn Song

本文对当前基于内容(action content)定义代理安全的范式提出了尖锐批评。作者指出,仅凭指令或动作的字面内容来判断是否恶意,在本质上是一种系统性错误,因为相同的内容在不同上下文中可能具有完全不同的含义。例如,“删除用户数据”这一命令,既可能是合法管理操作,也可能是针对生产系统的间接提示注入攻击,仅凭内容无法区分,而授权上下文(authorization context)才是关键。为了纠正这一问题,作者提出了一个全面的上下文安全框架,该框架包含四个需要联合满足并在代理执行轨迹中持续评估的属性:源授权(Source Authorization,验证命令来源是否被授权)、任务对齐(Task Alignment,明确代理的目标任务)、动作对齐(Action Alignment,判断每个动作是否服务于目标任务)、数据隔离(Data Isolation,控制跨权限边界的信息流)。在此框架下,间接提示注入被重新定义为源授权违规,而非内容异常;而现有的快照式基准测试(如AgentDojo和WASP)在结构上无法评估数据隔离属性。作者进一步将现有防御措施按它们实际近似的属性进行重新分类,并论证了上下文重新框架如何改变防御的有效性、评估的有用性以及攻击模式的可见性。本文的核心贡献在于提供了一个理论严谨且可操作的安全定义,为代理系统的安全研究提供了新的基础,尤其适用于大型语言模型(LLM)驱动的代理。适合AI安全研究人员、代理系统开发者以及安全评估设计者阅读。

💡 推荐理由: 该论文颠覆了当前代理安全基于内容的主流范式,提出了上下文安全框架,从根本上重新定义了威胁模型和防御方向,对现有安全评估和防御体系提出了深刻挑战,为构建更有效的代理安全方案提供了理论基石。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)