Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型(LLM)的能力,使其能够提供基于实时信息的响应。然而,将外部内容纳入生成流程会削弱模型原有的安全对齐机制,导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentRE
共收录 1 条相关情报。
← 返回所有主题本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型(LLM)的能力,使其能够提供基于实时信息的响应。然而,将外部内容纳入生成流程会削弱模型原有的安全对齐机制,导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentRE