Why Trust Your Agent? Empirical Security Gains from TRiSM-Guided Agentic Workflows in Healthcare
该论文聚焦于基于代理的AI系统（agent-based AI）在医疗报告生成应用中的安全风险与缓解措施。通过将AI代理暴露给多个工具和资源，LLM能够自动化复杂任务，但为了提升功能和准确性，代理常被授予超出普通用户的权限，这可能导致数据泄露
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
本文研究大语言模型在越狱攻击下的内部机制。作者发现攻击并未完全消除模型的安全特征，而是选择性抑制特定注意力头。通过分析，识别出两类功能分化的注意力头：早期层中的“对抗妥协头”（ACH），在攻击下被抑制；以及中间层的“安全对齐头”（SAH），
ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents
本文提出了 ToolPrivacyBench，一个用于评估使用工具的 LLM 智能体（Agent）在目的绑定隐私保护方面的基准。现有评估主要关注任务完成度和 API 正确性（如函数调用基准）或最终响应中的隐私泄露（如隐私判断基准），但忽略了
It Lied to a Doctor to Buy Poison Ingredients: Quantifying Real-World Misuse of Phone-use Agents
本文首次系统研究了Phone-use Agent（手机使用智能体）在实际手机和商业应用中被滥用的安全威胁。Phone-use Agent能够代表用户在真实移动设备上端到端执行复杂任务，其能力远超命令行智能体，因此一旦被恶意利用，危害更大。研
Agentic AI-Powered Re-Identification: An Emerging, Scalable Threat to Mobility Microdata Privacy
该论文研究了一种由智能体人工智能（Agentic AI）驱动的重识别攻击方法，对移动微数据隐私构成新兴的可扩展威胁。背景是商业数据经纪商广泛收集细粒度位置数据，尽管已有研究表明移动轨迹具有高度独特性，但过往重识别攻击需要分析师大量人工操作，
LLM agents security duality: a comprehensive survey of self-security and empowered cybersecurity
本文是一篇关于大语言模型（LLM）智能体安全双重性的全面综述，聚焦于两个核心领域：（1）LLM智能体自身面临的安全威胁及缓解策略（智能体自我安全），（2）LLM智能体在赋能网络安全生命周期中的作用（智能体赋能网络安全）。首先，论文系统梳理了
Room for Error: Large-Scale Simulation of Over-the-Air Acoustic Attacks
该论文针对语音控制系统面临的安全风险展开研究，指出当前对空中声学攻击（over-the-air acoustic attacks）的理解存在不足，主要原因在于研究社区难以将数字域对抗样本生成流程扩展至物理世界，导致关键的声学因素（如可探测性
When the Aggregator Cheats: Data-Free Backdoors in Federated LLM-based QA Systems
该论文研究联邦学习（FL）下基于大型语言模型（LLM）的问答（QA）系统中的后门攻击。在联邦学习中，多个客户端本地训练模型，然后由中央服务器聚合更新。传统后门攻击需要攻击者控制客户端或访问训练数据，但本文考虑一个更危险的场景：恶意聚合服务器
ShareLock: A Stealthy Multi-Tool Threshold Poisoning Attack Against MCP
随着大语言模型驱动的智能体快速发展，模型上下文协议（MCP）作为一种连接LLM与外部工具的开源协议，已成为现代智能体生态系统的基础。然而，MCP的广泛应用也带来了新的安全威胁，例如工具投毒攻击（TPA），即利用LLM与服务器之间的交互注入恶
Jailbreaking for the Average Jane: Choosing Optimal Jailbreaks via Bandit Algorithms for Automatically Enhanced Queries
本研究探讨了非专业恶意行为者是否能够利用广泛传播的越狱攻击手段，成功诱导大型语言模型（LLM）输出有害内容。为此，作者提出了一种基于多臂老虎机（multi-armed bandit）框架的新型攻击策略。该策略允许攻击者通过少量查询的噪声探索
Chai: Agentic Discovery of Cryptographic Misuse Vulnerabilities
本文提出 Chai，一个基于 AI 的漏洞发现系统，专门针对加密误用（cryptographic misuse）这类缺少传统插桩检测支持的漏洞类型。传统 AI 辅助漏洞发现主要依赖内存安全等具有明确插桩验证的漏洞类，而对于加密误用，由于缺乏
A Deterministic Control Plane for LLM Coding Agents
该论文研究了大语言模型（LLM）编码代理（coding agents）的配置管理问题。编码代理通常被授予广泛的文件系统和shell访问权限，但指导其行为的配置层（如规则文件、代理定义、IDE特定的markdown）却缺乏系统化管理。作者对1
MIRROR: Novelty-Constrained Memory-Guided MCTS Red-Teaming for Agentic RAG
本文提出了一种针对多模态智能体检索增强生成（RAG）系统的统一红队测试框架MIRROR。现有红队方法通常针对特定攻击面（如文本投毒、图像注入、直接查询、编排器工具操控），且常复用已知攻击模板，在文本投毒基准测试中重复率高达73-84%。MI
Autoformalization of Agent Instructions into Policy-as-Code
本文提出一种自动形式化（autoformalization）流水线，旨在将智能体指令转化为“策略即代码”（Policy-as-Code），以在高风险领域中实现正式的策略执行。现有方法主要分为两类：一是基于概率性护栏（如微调分类器、提示引导）
OBSan: An Out-Of-Bound Sanitizer to Harden DNN Executables.
本文针对深度学习编译器生成的DNN可执行文件缺乏安全保护的问题，提出了OBSan，一种用于检测DNN可执行文件中越界（Out-of-Bound, OOB）行为的快速消毒器。DNN涉及双向计算：前向传播（预测输出）和后向传播（梯度计算）。神经
VIGIL: Runtime Enforcement of Behavioral Specifications in AI Agent Skills
本文提出VIGIL，一个针对AI智能体系统的运行时执行强制框架。随着智能体系统越来越多地通过第三方技能（skills）执行操作，这些操作可能影响文件、通信渠道和网络物理设备，因此需要有效的安全监控。技能通常附带自然语言规范，定义访问权限、披
Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents
该论文聚焦于LLM Agent（大语言模型驱动的智能体）在面对间接提示注入攻击时的防御策略。近期（2024-2026）的研究趋势是从训练模型拒绝恶意指令转向在模型之外通过确定性策略实施安全防御，即带外防御（out-of-band defen
Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats
随着大型语言模型（LLM）在交互式应用中的广泛部署，它们面临来自对抗性交互的威胁，这些交互可能诱导模型输出有害、欺骗性或违反政策的内容。现有防御通常单独分析用户提示或生成输出，但许多真实世界的攻击利用了提示中表达的对抗意图与响应中呈现的可操
Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems
本文针对自主AI代理可能执行具有重大影响且不可逆的操作（如临床处方和软件部署）这一现实问题，提出了一种新的治理模型。核心思想是借鉴人类社会中机构管理强大自主行动者的方式：不监控其推理过程，而是在关键行动点要求独立认证的证据。作者将这种制度模
Data Facts: A Metadata Schema for Structured Data Exchange in the NANDini Multi-Agent Ecosystem
本文提出 Data Facts，一种轻量级 JSON 元数据模式，用于 NANDINI 多智能体生态系统中的结构化数据交换。NANDINI 旨在让智能体自主创建、处理和交换数据以驱动大规模决策，但现有协议（如 NANDA、A2A、MCP）仅