How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs
该论文针对AI安全验证问题，提出了一种避免辩论（debate）的替代方案。传统辩论方法依赖两个能力对等的AI模型相互辩论以说服人类验证者，但这一假设在实践中可能不成立（如模型能力不均或双方均不诚实）。论文首次研究了面向AI安全场景的“单证明
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Securing Multi-Tool AI Agent Chains With Dynamic, Real-Time Compositional Policies
现代AI代理（如前沿编码代理）在运行时会将多个工具串联起来，形成一条工具链。这种链式调用产生了单工具护栏无法解决的安全问题：即使每个工具单独使用时都是安全的，但组合起来可能违反组织的安全策略。针对这一挑战，本文提出了动态安全控制组合器（DS
CONTRA: Red-Teaming Configurations of Personalizable Agents
近期开发的工具（如 OpenClaw）将基于 LLM 的智能体从简单的对话系统扩展为完全自主的智能体，允许用户通过修改内部文件和安装技能进行个性化配置。这种能力虽然提升了自动化的灵活性和任务多样性，但也带来了风险：恶意动作可能在不经明确指令
Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle
该论文聚焦于人工智能在安全生命周期中日益增强的自动化趋势，指出当前同一类生成式AI模型被用于编写代码、强化代码以及探测代码漏洞，使得构建者、防御者和攻击者三个角色逐渐融合。作者认为，这种将完全自动化视为目标的主流观点存在根本性缺陷。当构建、
Steerability via constraints: a substrate for scalable oversight of coding agents
该论文聚焦于编码代理（coding agents）的安全监督问题。随着LLM驱动的编码代理能力日益增强，人类审查成为瓶颈，无约束的代理会引入安全风险（如后门注入）、破坏代码库的可扩展性，并使人工代码审查成本急剧上升。作者提出一个核心论点：管
Cloak and Detonate: Scanner Evasion and Dynamic Detection of Agent Skill Malware
该论文针对LLM编码代理（coding agent）中第三方技能（skill）带来的软件供应链攻击面展开研究。代理技能从公共市场获取，并拥有与代理相同的权限，恶意技能可能窃取凭证、泄露源代码或安装后门。现有防御主要采用基于模式匹配或LLM作
HaloGuard 1.0: An Open Weights Constitutional Classifier for Multilingual AI Safety
本文提出了HaloGuard 1.0，一个开放权重的宪法分类器（constitutional classifier），用于大语言模型输入安全检测，特别针对多语言提示（prompt）的安全性。研究背景是现有开源安全模型通常体积庞大，在多语言场
kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail
大型语言模型（LLM）在部署时通常需要护栏（guardrails）来检测不安全、离题或对抗性提示。现有护栏大多依赖微调构建分类器，泛化能力差且推理延迟高。本文提出kNNGuard，一种无需训练的护栏，利用现成LLM的激活空间。它仅需50个安
ElephantAgent: Contextual State Continuity in Agentic Systems
本文提出了一种针对代理系统（Agentic Systems）上下文状态中毒攻击的防御协议——ElephantAgent。近年来，随着大语言模型（LLM）驱动的代理系统广泛调用外部工具并维护持久化记忆，攻击面也随之扩大。工具和记忆中毒攻击（T
AgentFlow: Building Agent Dependency Graphs for Static Analysis of Agent Programs
本文提出 AgentFlow，首个针对 LLM 代理程序的静态分析框架。LLM 代理程序通常基于代理框架开发，其行为不仅依赖传统控制流和数据流，还受代理依赖关系影响，如模型、提示、工具、记忆及多代理编排逻辑等。这些依赖关系往往通过框架语义（
Janus: a Playground for User-Involved Agentic Permission Management
本文提出了 Janus，一个用于实现和评估用户参与的代理权限管理设计的实验系统。Janus 包含两个组件：Janus-Core，一个模块化的代理系统，支持多种权限管理设计；Janus-Harness，一个自动化评估框架。基于一个概念模型，该
SessionBound: Turning Enterprise Task Approval into Budgeted Database Sessions
本文提出 SessionBound，一种将企业 AI 代理的任务审批转化为有预算、可审计的数据库会话的框架。随着 AI 代理在企业内部分析、审计、合规检查和运营调查中的广泛应用，传统的授权机制面临挑战：经理或数据所有者可能批准一个业务任务，
HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment
该论文研究了大型语言模型（LLM）在安全对齐后内部表示的安全方向问题。作者首先证实了之前的工作：对齐的LLM在提示侧（prompt-side）的残差流中编码了“有害性”（harmfulness）和“拒绝”（refusal）两个可分离的方向。
Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety
本论文提出了一种名为“认知防火墙”（Cognitive Firewall）的主动式运行时监督框架，旨在增强大型语言模型（LLM）的安全性。当前主流的运行时安全措施通常将用户提示或模型响应作为孤立消息进行评估，这导致它们难以检测跨多轮对话中积
Minos: A Multi-Agent Collaborative Framework for Provenance-Based Backward Tracking
本文提出了一种名为 Minos 的多智能体协作框架，用于基于溯源的后向追踪（provenance-based backward tracking），以应对高级持续性威胁（APT）等复杂攻击的取证分析需求。现有方法依赖低级统计特征和刚性遍历策
KidnapRAG: A Black-Box Attack for Hijacking Reasoning in Agentic Retrieval-Augmented Generation Systems
检索增强生成（RAG）系统容易受到投毒攻击，攻击者通过注入恶意文档来操纵模型输出。近期出现的智能体RAG（Agentic RAG）系统通过迭代执行检索与推理，能够忽略弱相关的投毒文档并保持由用户查询引发的推理链，从而对此类攻击表现出更强的鲁
(A)I Sees What You Don't: Exploiting New Attack Surfaces in Third-Party Mobile Agents
本文研究第三方移动代理（Agent）应用中的安全漏洞，重点关注基于视觉语言模型（VLM）的自动化手机交互代理。这些代理通过截图感知设备状态并依赖VLM推理执行动作，拥有高权限决策能力。与传统移动应用相比，代理与环境的交互方式引入了新的攻击面
CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs
本文提出一种针对大型语言模型（LLMs）的后门检测与触发器反演框架。现有后门检测方法主要针对图像等领域，对LLMs的适用性有限，因为LLMs的输入空间是离散的，且存在大量可能的触发器组合（token序列），同时需要黑名单过滤目标类常见tok
The Decomposition Is the Fingerprint: Per-Component Identity for Agent Skills
本文针对AI agent在执行时从市场或其他agent获取的技能（包含提示指令、可执行代码和工具声明）的身份标识问题。现有加密哈希（如SHA）对微小改动敏感，无法反映技能之间的相似性，不利于技能治理和注册。作者提出一种紧凑的局部敏感指纹方法
Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming
本论文提出了一个名为 AI-Infra-Guard 的开源框架，旨在解决 AI 智能体（Agent）安全评估中缺乏统一工具的问题。随着开源 AI 基础设施（如模型服务引擎、智能体平台、模型上下文协议 MCP 生态以及语言模型本身）的快速发展