#evaluation-maturity

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Heewon Baek, Alsharif Abuadbba, Kristen Moore, Hyoungshick Kim, Surya Nepal

该论文聚焦 agentic AI 带来的安全边界扩张问题。传统 LLM 安全主要关注生成内容本身,而具备自主性的智能体还要维护持久状态、执行自主动作、调用外部工具,并与人类及其他智能体交互,这使得威胁面从"输出内容"延伸到"状态—动作—工具—协作"全链路。作者指出,现有威胁分类多只强调单一维度,例如仅按攻击入口或仅按受害组件划分,导致入口点、受影响组件与最终安全后果之间的关联被割裂;同时,业界已知的威胁图谱与实证研究实际覆盖的范围也存在明显偏差。为系统化地解决这一问题,作者对 2022 至 2026 年间发表的 66 项研究进行结构化综述,提出跨维度表示 T={S, B, P, A},将受影响的系统或功能面(Surface)、交互或信任边界(Boundary)、被违反的安全属性(Property)以及被实证考察的架构(Architecture)四个维度关联起来,从而把"谁被攻击、跨越了什么信任边界、破坏了什么安全属性、在何种架构下被验证"串联成可比较的坐标。在此基础上,作者进一步分析 22 项有工件支撑的红队研究和 11 个代表性安全基准,刻画当前实证覆盖的分布与评估成熟度。主要发现是:证据高度集中在提示/推理层攻击、记忆攻击和工具介导攻击,且绝大多数在单智能体设定下完成;相比之下,持久化威胁、人—智能体交互威胁、复杂多智能体协同威胁、系统性威胁和长时程威胁获得的覆盖明显不足。作者特别声明,这些结论描述的是所选语料库,而非推断整个实证研究领域都存在空白。论文还归纳出制约该领域发展的四类瓶颈:评测指标异构导致结果难以横向对比、对自适应防御的评估不足、架构维度分布不均衡、以及对执行状态捕获不完整,这些因素共同削弱了研究的可比性与可复现性。最终,作者提出 13 个开放研究问题,指引未来走向更系统化、架构感知且可复现的 agentic AI 安全评估。该工作适合 agentic AI 安全研究者、红队与评测基准设计者、以及负责企业级 AI 智能体安全架构的工程师阅读。

💡 推荐理由: 智能体安全威胁面远超传统 LLM,而现有评测与分类碎片化、指标异构、架构覆盖不均,导致防御方难以判断自身暴露面。该文提供跨维度坐标系与成熟度评估,可用于自查 agent 部署的攻击面、信任边界与安全属性缺口,并为采购基准与红队立项提供依据。

🎯 建议动作: 研究跟进:将 T={S,B,P,A} 框架纳入内部 agent 威胁建模模板,并结合 13 个开放问题规划评测能力建设。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)