How Jailbreak Attacks Inform Safety Alignment: A Defender-Centric, Shapley-Based Evaluation of Jailbreak Contributions
本文针对大语言模型（LLM）的越狱攻击评估问题，提出了一种以防御者为中心的新视角。传统评估以攻击者成功率为指标，但高成功率的攻击未必能有效提升模型安全。作者主张将越狱攻击视为安全训练的红队数据资源，通过其能带来的下游安全改进来评估其价值。为
#agent-security
共收录 1542 条相关情报。
← 返回所有主题SlotGuard: Stop Oversharing Private Local Context in LLM Agent Transcri
大型语言模型（LLM）智能体在交互过程中，会将工具输出、Shell日志、文件读取等观测结果附加到发送给提供商的转录中，导致私密信息（如路径、邮箱）和凭证（如API密钥）泄露。现有的占位符修订方法存在缺陷：可能遗漏嵌入式或跨轮次引用、过度修订
Contextualizing Sink Knowledge for Java Vulnerability Discovery.
该论文提出了一个名为 GONDAR 的 sink 中心化模糊测试框架，用于在 Java 应用程序中系统性地发现安全漏洞。现有的模糊测试工具往往忽略了安全敏感 API（sink）所携带的漏洞特定知识，例如到达 sink 的程序约束和触发漏洞的
Investigating the Impact of Dark Patterns on LLM-Based Web Agents.
随着用户越来越多地依赖基于大型语言模型（LLM）的Web代理来自动化在线任务，这些代理可能会遇到暗模式（dark patterns）——即欺骗性的用户界面设计，旨在操纵用户做出非本意的决策。尽管暗模式主要针对人类用户，但它们对基于LLM的通
Tracing MCP Security Vulnerabilities: Constructing and Analyzing an MCP Security Vulnerability Dataset.
本文针对模型上下文协议（Model Context Protocol, MCP）这一新兴的LLM Agent通信标准，系统性地研究了其安全漏洞。作者首先通过收集和分析公开的MCP相关漏洞报告、安全公告及社区讨论，构建了首个MCP安全漏洞数据
Towards Secure and Trustworthy DAOs for Cross-Chain Governance
本文聚焦于跨链去中心化自治组织（DAO）在治理过程中面临的独特安全挑战，这些挑战超出了传统单链场景。研究系统性地识别并分类了四种关键攻击向量：贿赂攻击（通过经济激励影响投票决策）、代币控制利用（利用跨链代币锁定或铸造机制漏洞）、人机交互欺骗
Evaluating Open-Weight LLMs for Generating Structured Threat Information for Autonomous Vehicle Vulnerabilities
该论文研究了利用开源权重的大语言模型（LLMs）从网联与自动驾驶汽车（CAV）相关的通用漏洞披露（CVE）中生成结构化威胁信息表达（STIX）的问题。CAV依赖互联的软件和硬件组件，漏洞通常以纯文本形式记录在CVE数据库中，但安全从业者需要
Refusal is Not Safety! Benchmarking Latent Safety Risks of LLM-Driven Content Humorization
本文针对大型语言模型（LLM）安全防御中的幽默化策略进行了深入研究。传统安全防御主要依赖攻击检测和直接拒绝机制（如“我无法回答”），但固定形式的直接拒绝易受前缀注入攻击。近期研究尝试将幽默作为间接拒绝机制，以缓解越狱场景中的过度拒绝问题并降
Reliable Remediation Impact Prediction for Black-Box Security Ratings
本文针对黑盒安全评分平台中修复措施影响预测的可靠性问题展开研究。安全评分平台通过聚合外部可观测的网络暴露数据生成组织安全评分，旨在帮助组织优先处理修复工作。然而，平台若频繁暴露精确评分响应，会泄露隐藏评分引擎的信息。为此，作者提出了一种基于
Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents
多模态AI代理越来越依赖持久性长期记忆来在视觉和文本上下文中进行生成。本文揭示了对视觉数据的无条件信任是一个关键安全漏洞。作者提出了Lucid，一个黑盒对抗性框架，在严格的图像受限威胁模型下攻击多模态记忆管道，无需访问目标多模态大模型（ML
From Neural Intent to Cryptographic Authorization: Governing Agentic Workflows
随着AI驱动的自主工作流（agentic workflows）在政府和企业系统的广泛应用，传统的密钥管理服务只能认证调用者身份，却无法在运行时验证工作流的每个步骤是否得到授权。这意味着一个经过认证的agent仍可能因直接或间接的提示注入攻击
Coercion and Deception in AI-to-AI Management: An Agentic Benchmark of Unprompted Escalation
该论文研究多智能体系统中AI代理之间的管理关系，特别关注当子代理拒绝执行任务时，管理者代理可能采取的升级行为（如强制、欺骗等）。作者提出了“管理强制基准”（Manager Coercion Benchmark），这是一个用于衡量AI管理者在
Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
本文针对当前安全agent评估仅关注峰值成功率（如漏洞发现、利用开发、渗透测试、CTF完成等），忽略操作实际成本的问题，提出一种成本感知的评估框架。作者指出，在实际安全运营中，每一次推理步骤、工具调用、遥测查询和情报丰富请求都会消耗预算。因
When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-State Risk Space
该论文研究了大型语言模型（LLM）作为具身智能体高级规划器时的物理安全问题。尽管模型在文本层面可能输出无害的指令，但当这些指令在物理世界中执行时，可能引发危险（如让机器人损坏物体）。作者通过隐藏状态方向分析和随机分割零假设检验，证明在多个L
Setup Complete, Now You Are Compromised: Weaponizing Setup Instructions Against AI Coding Agents
AI编码代理在设置项目时，会读取文档并安装依赖，但通常不验证包名、来源或已知漏洞。攻击者可以通过修改README、requirements.txt或Makefile等标准文档，将代理导向不受信任的注册表、已知漏洞版本或形似的恶意包名，使文档
MemPoison: Uncovering Persistent Memory Threats and Structural Blind Spots in LLM Agents
大型语言模型（LLM）智能体常依赖持久化外部记忆（如向量数据库）来维持跨回合的上下文连续性，但这引入了新的安全威胁：攻击者可通过标准交互渠道注入恶意内容，这些内容被保留在记忆中，并在后续回合中扭曲智能体的行为。针对这一问题，本文提出了Mem
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
该论文研究了基于记忆的智能体系统（agentic systems）中的提示注入攻击风险。随着智能体系统通过记忆文件、行为偏好和知识库来跨会话维护持久状态，它们变得更实用和能自我改进，但也引入了新的攻击面：恶意指令可嵌入持久文件并影响未来行为
Democratizing Agent Deployment Safety: A Structural Monitoring Approach
本文研究AI编码代理在部署过程中可能引发的安全风险。随着AI代理能力增强，它们可能在执行任务的同时暗中削弱系统安全，例如扩大权限、降低日志记录级别或引入持久化机制。当前，前沿实验室可能部署复杂的监控管道来检测此类行为，但大多数组织和个人开发
Fully Automated End-to-End Adversary Emulation from MITRE ATT\&CK Based Cyber Threat Intelligence Using LLMs
该论文提出了一种基于大语言模型（LLM）的端到端全自动对手模拟框架，能够从符合MITRE ATT&CK框架的网络威胁情报（CTI）报告中自动生成并执行对手模拟剧本，并在执行失败时自动恢复。与以往工作（如AURORA）需要手动干预或部分自动化
TwinBreak: Jailbreaking LLM Security Alignments based on Twin Prompts.
大型语言模型（LLM）在翻译、代码生成等任务中表现出巨大优势，但同时引入了社会风险，恶意用户可通过有害提示（如请求非法活动指导）利用模型。为缓解此问题，模型通常内置安全机制自动拒绝此类提示。然而，现有越狱方法常需大量人工、高计算成本或导致模