Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry
本文研究了自治AI代理(Agent)技能注册机制中的语义供应链攻击。AI代理通过Agent Skills(模块化文件系统包)扩展能力,其中SKILL.md文件描述了技能的使用条件和方式。这种设计虽然实现了可扩展的能力扩展,但引入了语义供应链
共收录 1542 条相关情报。
← 返回所有主题本文研究了自治AI代理(Agent)技能注册机制中的语义供应链攻击。AI代理通过Agent Skills(模块化文件系统包)扩展能力,其中SKILL.md文件描述了技能的使用条件和方式。这种设计虽然实现了可扩展的能力扩展,但引入了语义供应链
随着模型上下文协议(MCP)在AI代理中的广泛采用,如何确保工具调用通过有意义的用户同意来保障安全成为关键挑战。现有方法要么采用粗粒度的“始终允许”开关,要么依赖不透明的LLM决策,既无法检测危险的调用参数,又容易导致用户同意疲劳。本文提出
该论文针对大型语言模型(LLM)生成代码中可能引入安全漏洞的问题,提出了一种基于自然语言的规约与验证方法。传统形式化验证需要严格的规约语言,而现有利用LLM生成规约的方法效果有限。作者另辟蹊径,探索让LLM同时承担规约生成和组合验证的任务,
该论文研究了自动化平台(如GitHub Actions和n8n)中集成的大语言模型(LLM)智能代理工作流的安全风险。随着这些平台越来越多地采用所谓的“代理工作流”(agentic workflows),即让LLM代理执行代码审查、数据同步
本文研究了大语言模型(LLM)的安全对齐问题。传统的对齐算法通常需要基于偏好对进行后训练,虽然广泛用于设置安全护栏并与人类偏好对齐,但计算开销大,且对于最新的智能体攻击(agentic attacks)的拒绝能力不足。为此,作者提出了一种基
本文针对SQL注入(SQLi)攻击这一长期位列OWASP Top 10的安全威胁,探索利用大型语言模型(LLM)自动化生成对抗性SQL注入测试载荷的方法。作者提出了两种新型基于LLM的系统:RADAGAS(基于检索增强生成的对抗性SQLi生
该论文提出了ExploitGym,一个用于评估AI代理漏洞利用能力的大规模、多样化、逼真的基准测试平台。随着AI代理能力的快速提升,其可能显著重塑网络安全格局,因此需要严格的评估。漏洞利用是将一个尚未成为攻击的漏洞转化为具体安全影响(如未授
该论文对当前主流AI代理(AI agent)的“即时合成”(on-the-fly)范式提出了批评,认为该范式绕过了软件工程(SE)中严谨的迭代设计、测试、对抗评估、分阶段部署等流程,导致AI代理在实际高风险场景中可能输出不稳定的原型系统,而
该论文研究了前沿语言模型在写作任务中是否能够保守秘密。作者给每个模型一个秘密词,要求模型在写故事时不要泄露该词,然后使用另一个模型通过二分类测试来判断故事是否包含该秘密。尽管秘密词从未以字面形式出现在输出中,但所有五个测试的前沿模型都以显著
LITMUS 是一个针对基于 LLM 的自主智能体在真实操作系统环境中的行为安全性的基准测试平台。现有基准大多仅在语义层评估安全性,忽略了物理层的危害,并且测试用例之间缺乏隔离,导致污染问题。LITMUS 通过语义-物理双重验证机制和 OS
随着大型语言模型(LLM)被部署为具备访问工具、数据库和外部服务能力的自主智能体(Agent),不同行业从业者缺乏系统的方法来评估已知威胁类别如何在特定智能体部署中转化为具体风险。本文提出MATRA,一个针对智能体AI系统的实用威胁建模框架
本文针对网络犯罪中日益突出的社会工程攻击问题,提出利用博弈论模型优化防御资源的分配策略。研究背景指出,尽管技术防御不断进步,但攻击者更多利用人为因素,通过欺骗员工获取敏感信息或资产。作者借鉴犯罪学中的日常活动理论(RAT),将犯罪事件描述为
该论文提出了一种名为“Acceptance Cards”的评估标准,用于验证安全微调防御声明的有效性。当前,许多安全微调防御方法仅通过持出集(held-out gap)的减少来证明其有效性,但作者指出,这种减少可能源于采样噪声、主体伪影、能
本文是一篇系统性的双向文献综述(SoK),旨在梳理人工智能(AI)与分布式账本技术(DLT)融合的研究现状。现有研究往往聚焦于特定应用领域或仅考察单向集成,缺乏对两者架构层面互动的全面理解。作者对2020至2025年间发表的同行评审研究进行
该论文针对大型语言模型(LLM)驱动的应用中自然语言接口带来的SQL注入风险,提出了一种多层级安全框架。随着LLM被广泛用于将用户自然语言查询自动转换为SQL语句(Prompt-to-SQL),传统的SQL注入攻击方式得以进化:攻击者可以构
该论文提出了一种名为 Agentic Fuzzing(代理式模糊测试)的新型漏洞发现方法,旨在解决现有模糊测试器和静态分析工具在成熟代码库中难以发现逻辑缺陷的问题。传统方法通常依赖于简单的执行反馈或模式匹配,但逻辑缺陷往往需要多步推理,且在
该论文针对虚拟化混淆(virtualization-based obfuscation)产生的二进制代码分析难题,提出了一种基于大语言模型(LLM)的结构化分析方法。虚拟化混淆会将原始代码转换为极其庞大且结构复杂的中间表示,导致传统LLM因
本文提出Nautilus Compass,一个面向生产环境LLM coding agent的黑盒人格漂移检测与记忆层系统。研究背景:LLM agent在长时间会话中会出现人格漂移,例如遗忘用户指定的约束、重复已被用户指出的错误、虚构先前的协
本文首次对智能体AI生态系统中的工具克隆现象进行了大规模测量研究。随着大型语言模型(LLM)智能体通过公共市场获取外部工具(如模型上下文协议(MCP)工具和Skills工具),工具数量激增,但其中大量工具可能源自克隆、轻度修改或共享模板,导
该论文系统分析了支持工具的AI代理在云托管环境中面临的安全风险。随着AI代理被部署为服务,它们通常通过特权执行环境中的工具执行副作用操作,实现强大的自动化能力。然而,这种特权环境也引入了新的攻击面。作者首先构建了风险分类学,将风险归纳为特权