#llm-agents

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Qikai Wang, Yongzhao Zhang, Zhiwei Chen, Yimiao Sun, Jiguo Yu, Xiaosong Zhang

本文研究了大语言模型(LLM)代理系统中的技能选择阶段的安全性。技能选择是决定用户请求由哪一个已安装技能来处理的关键环节。现有攻击手段主要依赖显式提示注入或指令级转向,这些方法容易暴露出可识别的操纵特征。针对这一空白,作者发现了一种新的隐式攻击面:即使单个用户提示和技能描述看起来都完全良性,攻击者仍可通过精心设计二者之间的语义关联,使模型倾向于选择攻击者指定的技能。基于此,提出了'基于语义匹配的隐式技能选择操纵'(ISM)方法。ISM通过联合改造目标技能的元数据和可复用的提示模板,在完全不包含显式选择指令的情况下,实现对技能选择过程的隐蔽操纵。具体而言,ISM采用三阶段策略:拓宽语义覆盖范围、增强目标技能的区分度、保持提示自然措辞以避免异常。在四个任务领域和八个不同选择器模型上的实验表明,ISM能将平均目标选择率(TSR)从15.2%提高至63.5%。在受控对比实验中,其TSR达到73.5%,仅比显式转向方法低9.8个百分点。更重要的是,人机审查实验显示,人类审查者仅在2.9%的判断中拦截了ISM的攻击,而显式转向的拦截率为91.4%;五个LLM检测器对ISM的平均放行率高达82.9%,对显式转向仅为37.4%。此外,ISM在PPL-W、Llama Prompt Guard 2和PIGuard等防御措施下依然有效。这一研究揭示了一种难以察觉的、针对技能选择环节的新型攻击方式,对LLM代理的实际部署安全构成了严峻威胁,也为防御方提出了新的技术挑战。

💡 推荐理由: 技能选择是LLM代理工作流中的关键信任边界。ISM表明攻击者无需依赖显式注入,仅通过调整技能元数据与提示的语义关系即可实现隐蔽操纵,现有检测手段和人类审查均难以识别。这会给依赖多个技能的自动化代理带来严重安全隐患,防御方需意识到这类隐式语义攻击的存在。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Ping He, Yuexiang Xie, Yaliang Li, Shouling Ji

随着大型语言模型(LLM)智能体的快速发展,其已被广泛应用于各类真实世界任务。为了标准化LLM智能体与外部环境之间的交互,模型上下文协议(MCP)工具应运而生,并成为事实上的标准,被广泛集成到这些系统中。然而,MCP工具的使用也引入了新的安全风险,因为LLM智能体可能被诱导执行恶意或未经授权的操作。尽管已有工作提出了针对LLM智能体工具使用的防御措施,但大多数方法依赖静态分析(即检查提示词和生成的输出),这限制了防御的有效性和鲁棒性。为了克服这些局限,本文提出了MTGuard,一种基于混合分析的防御框架,通过生命周期感知的静态-动态协同分析来保护LLM智能体中MCP工具的安全使用。广泛的评估表明,MTGuard能够有效缓解不同LLM智能体上多种类别的有害工具使用,同时保持良性用户任务的性能。该研究的核心贡献包括:提出了首个结合静态与动态分析的MCP工具安全防御框架;引入生命周期感知的概念,覆盖工具调用的完整过程;通过实验证明了其在多个智能体上的有效性和通用性。该论文适合LLM安全研究人员、智能体平台开发者以及关注AI供应链安全的安全工程师阅读。

💡 推荐理由: MCP已成为LLM智能体与外部工具交互的标准,但其安全风险尚未得到充分解决。MTGuard提出的混合分析思路突破了传统静态检测的局限,为蓝队防护AI智能体提供了新的技术参考。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tarek Elsayed, Shiping Yang, Eunsong Koh, Sanika Goyal, Vincent Huang, Paul Ngo, Nathan Young, Mohammad Omidvar Tehrani, Alvyn Kang, Arnell Kang, Zeyu Chen, Angélica Moreira, Xuan Feng, Angel X. Chang, Nick Sumner, Steven Y. Ko

本文提出RustMizan,一个针对Rust语言漏洞分析的可编译、污染感知的基准测试框架。现有漏洞分析基准通常依赖小型不可编译的代码片段,仅关注二分类(是否有漏洞),且未考虑公开数据集可能已包含在模型训练语料中带来的数据污染风险。RustMizan通过三个设计解决这些不足:1)提供在crate、文件和函数级别的可编译代码变体,并附带二进制漏洞检测、CWE分类以及函数级与行级定位的注释;2)引入配对突变框架,通过生成语义保持的代码突变体来测试模型对训练数据污染的敏感性和鲁棒性;3)在agentic设置下(具备命令行访问权限)对四个前沿模型进行评估。实验结果表明,二进制漏洞分类准确率在56-65%区间,但行级定位F1分数仅约20%,而对抗性线索导致行级F1下降约27%。该框架为评估LLM驱动的安全代理在真实Rust代码上的漏洞分析能力提供了标准化测试床,尤其关注数据污染对性能评估的影响。适合安全研究人员和AI安全从业者阅读。

💡 推荐理由: RustMizan是首个专门针对Rust语言、考虑数据污染的可编译漏洞分析基准,有助于准确评估LLM agent在真实场景中的漏洞检测与定位能力,避免因训练数据重叠导致的性能高估。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

该论文系统性地研究了基于大语言模型(LLM)的智能体中的内存中毒攻击。内存作为智能体核心组件,允许其在多次交互中积累知识以提升性能,但同时也引入了风险:一次对抗性内存写入即可长期影响智能体行为。作者首先识别了四种内存写入通道(如用户输入、工具调用输出、系统提示修改、外部数据源),并分析了模型能力、系统提示设计以及智能体系统架构中存在的九种结构性漏洞,这些漏洞使得上述通道可被利用。基于这些漏洞,论文提出了包含六类内存中毒攻击的分类法,包括直接注入、间接注入、持久化污染、检索操纵、上下文污染和混合攻击。此外,作者设计了MPBench基准测试框架,用于评估内存中毒攻击的效果,实验表明更激进地写入和检索内存的智能体更容易被利用。研究还发现现有提示注入防御手段无法覆盖内存中毒攻击。该工作为理解和防御AI智能体中的内存中毒攻击奠定了基础,适合安全研究员和AI系统开发人员阅读。

💡 推荐理由: 随着AI Agent的广泛应用,内存中毒攻击可能导致其行为长期被恶意控制,现有防御措施失效,威胁LLM应用的实际安全。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)