DARWIN: Evolving Jailbreak Adversary and Guardrail for LLM Safety Evaluation and Protection
论文提出了DARWIN框架，旨在解决现有LLM安全评估与防御方法中攻击与防御静态固定的问题。现有方法通常使用固定攻击方法评估漏洞，并在固定恶意提示数据集上训练防护机制，但现实对抗者会不断演进其能力和攻击空间。DARWIN将越狱攻击建模为一个
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Paladin: Defending LLM-enabled Phishing Emails with a New Trigger-Tag Paradigm.
随着大型语言模型（LLM）的快速发展，其被恶意利用生成钓鱼内容的威胁日益突出。传统基于语法或语义的钓鱼邮件检测方法难以有效识别LLM生成的邮件，因为这类邮件通常没有拼写错误或其他明显特征，且能针对特定领域定制内容，成功率更高。现有的一些基于
OpenSquare: Decentralized Repeated Modular Squaring Service.
重复模平方运算是一种多功能计算操作，已催生出时间锁谜题（TLP）和可验证延迟函数（VDF）等时间密码学原语的实际构造，这些原语在区块链等领域有快速增长的应用列表。然而，现有方案在规模化实际应用前面临两个现实问题：首先，大多数用户无法持续执行
AuthProbe: Specification-Driven, Multi-Identity Detection of Broken Object-Level Authorization in Recruitment API
Broken Object-Level Authorization (BOLA，也称为Insecure Direct Object Reference, IDOR) 自2019年以来一直位居OWASP API安全排名榜首，是招聘技术领域最大
GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models
本文针对视觉语言模型（VLM）在对抗性攻击下的脆弱性展开研究。现有基于文本的对抗攻击方法大多从纯语言模型迁移而来，其提示优化过程中固定视觉输入，导致生成的对抗提示与特定图像绑定，跨图像迁移性差。为突破这一局限，作者首次提出“对抗提示的跨图像
Twin Agent: Context Residual Compression for Privilege Separated Agents
大型语言模型（LLM）代理面临多种安全风险，尤其是来自不可信上下文的提示注入攻击，这些攻击会操纵下游推理和工具使用。现有的安全设计方法通过分离不可信观察与特权执行，并严格控制信息流来缓解风险，但往往降低效用且需要大量特定任务的工程工作。本文
ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D
随着AI代理开始自动化AI研发流程（如模型微调、CUDA内核优化、推理服务器优化等），如何确保其产出物安全部署成为一个关键问题。传统的信任代理方式存在风险，因为代理本身可能不可信。AI控制（AI control）作为一种替代方案，将代理视为
They'll Verify. They Just Won't Act. How Authority Framing and Laundered Code Turn a Trusted Agentic CI/CD Pipeline Into an Attack Surface
本文研究了一个由五个智能体组成的CI/CD流水线（分诊→开发→安全扫描→审查→批准/部署），这些智能体基于来自三家不同提供商的五个独立生产级LLM，并在影子模式下部署LLM防火墙。研究关注单个不受信任的输入——一个请求“使用-遥测”功能的外
Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents
该论文研究了工具增强型大语言模型（LLM）Agent在面对静默基础设施故障时的行为，特别是当外部工具返回HTTP 200响应但payload为空、null或畸形时。现有评估框架主要关注能力指标或显式工具崩溃，忽略了这类静默失败。作者提出了一
Data Leakage Prevention in Agentic Applications via Preemptive Hardening
本文针对多智能体应用中的数据泄露与工具误用问题，提出了一种部署前的流水线方法，用于扫描、加固和验证基于LLM的智能体应用。该流水线首先分析提示模板、工具接口和工具调用代码，识别导致泄露的模式（如指令/数据边界失效、提示注入漏洞），并生成可操
Cross-Agent Campaign Attribution: Linking Asynchronous Attacks Across LLM Agents
该论文针对LLM智能体（Agent）在部署中面临的安全问题，提出了一种新的攻击归因任务：跨智能体异步攻击归因（Cross-Agent Asynchronous Campaign Attribution）。传统的LLM智能体防御通常在每个会话
Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents
本文针对基于LLM的浏览器代理对现有Web机器人防御系统的有效性进行了系统性评估。随着LLM代理能够自主导航网页、理解页面内容并通过自然语言指令与界面交互，传统的自动化框架（如Selenium）所面临的挑战被进一步放大。作者对比了两种防御类
The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI
随着人工智能从无状态生成模型向有状态自主Agent的架构演进，长期规划与企业工作流自动化能力得以提升，但同时也引入了新的安全威胁——Chronos漏洞。该漏洞是一类基于记忆的攻击（包括记忆注入攻击MINJA和休眠代理攻击）的统称，攻击者通过
ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems
本文提出 ChainWatch，一个针对基于模型上下文协议（MCP）的 AI 代理系统的多步攻击序贯检测框架。MCP 允许 AI 代理连接外部工具、数据库和服务，但这种连接带来了多步攻击的风险：攻击者可以将单个良性的工具调用组合成恶意序列，
Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing
该论文聚焦于大型语言模型（LLM）代理在高性能计算（HPC）环境中的安全挑战。随着LLM代理开始承担HPC中的常规任务，如监控Slurm作业、诊断构建失败、检查模拟输出以及协调科学工作流，它们通常使用用户的凭证进行操作，并继承用户对文件和调
ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration
本文提出 ChainMark，一种无需访问生成模型（model-free）的大语言模型水印方法，并具备封闭形式（closed-form）的统计校准能力。针对欧盟《人工智能法案》等法规要求合成文本必须可机器标记的需求，现有的水印检测器通常依赖
Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security
该论文提出一个针对LLM代理（agent）安全性的多轮自适应对抗攻击基准。现有安全评估通常使用固定的攻击池，在单轮或多轮场景下评估防御者，但忽略了攻击者能够根据防御者响应动态调整策略的能力。为此，作者构建了一个包含21个场景的基准，每个场景
Self-State Attacks on Self-Hosted AI Agents: How Far Can OS Defenses Go?
本文首次系统性地研究了自托管AI智能体面临的一类新威胁——自状态攻击（self-state attacks）。自托管AI智能体为了执行任务，需要读写自身的内存和配置文件（即自状态），而这些操作通过合法的操作系统系统调用完成。攻击者可以通过操
RT-SHCUA: Real-Time Self-Hosted Computer-Use Agent for UAV Control
本文提出了一种面向无人机（UAV）控制的实时自托管计算机使用代理（RT-SHCUA）。现有的自托管计算机使用代理（SHCUA）设计用于交互式主机端工具使用，允许延迟的代理迭代，但直接应用于无人机控制存在结构不匹配：无人机控制涉及连续变化的物
Salience Induction against Multi-Hop RAG Agents: Threat and Defense
本文研究基于代理的检索增强生成（RAG）系统在多跳问答中的安全威胁。现有防御主要关注内容投毒（注入虚假事实）和提示注入（嵌入指令）。作者发现第三个攻击面：显著性通道（salience channel），即通过调整事实的位置、强调方式、框架和