The Prover Is the Judge: Verified Security Software from AI Coding Agents in Ada/SPARK
本研究探讨了AI编码代理在生成高安全性软件时的可靠性问题。由于AI代理生成代码的速度远超人工审查，传统代码审查面临瓶颈。作者提出一种验证器驱动循环（Verifier-Driven Loop）方法，利用Ada/SPARK语言及其形式化验证工具
#agent-security
共收录 1542 条相关情报。
← 返回所有主题Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation
该论文重新思考了人工智能（AI）系统的渗透测试方法。传统的渗透测试主要评估攻击者是否能够利用软件、基础设施、配置或操作控制中的弱点实现安全相关的资源妥协（如获取数据、控制权限）。然而，在AI赋能系统中，攻击者可能通过影响提示词（prompt
Agent Skill Security: Threat Models, Attacks, Defenses, and Evaluation
该论文聚焦于大型语言模型（LLM）智能体中可复用技能的安全性。现有研究主要关注提示注入和运行时执行，但忽略了技能在整个生命周期（包括仓库准入、语义检索、规划器选择、执行和技能进化等阶段）中的安全风险。作者提出了一个生命周期感知的评估框架Sk
How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement
随着AI代理（如自主型语言模型代理）的普及，用户面临的风险日益增加。提示注入攻击和幻觉问题可能导致代理将私人信息泄露给第三方；作为自主系统，代理还可能执行未获用户意图或授权的敏感操作（例如银行交易）。为应对这些挑战，代理安全社区已提出诸多安
Protective Capacity Hallucination: When Large Language Models Claim Nonexistent Capabilities
本文定义并系统研究了大语言模型（LLM）中的一种新型幻觉——防护能力幻觉（Protective Capacity Hallucination, PCH）。当LLM被赋予保护脆弱用户的角色，但未明确告知其能力边界时，模型可能不会承认自身局限，
Stop Means Stop: Measuring and Repairing the Enforcement Gap in Agent-Framework Control Primitives
本文系统研究了生产级LLM代理框架中控制原语（如人工确认门、运行取消、执行超时）的执行保证。尽管这些原语的名称和文档暗示了屏障语义（即当运行被暂停、取消或超时时，被控制的副作用不会执行），但作者通过对六个广泛使用的开源框架进行测试，发现没有
DREA: Decoupled Reasoning and Exploration Agents for Repository-Level Vulnerability Detection
该论文提出 DREA（解耦推理与探索代理）框架，旨在解决现有基于大语言模型（LLM）的漏洞检测方法在仓库级别（跨函数、跨文件）上下文自适应获取上的不足。现有方法多依赖孤立函数或固定程序分析规则提取的上下文，难以应对涉及多个函数或文件的复杂漏
Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors
该论文研究前沿AI代理能否自主执行结构化临床AI安全审计。传统临床AI模型的安全审计需要统计学专业知识、专门工具和大量时间，而本研究设计了一个基于METR Task Standard v0.3.0的开放评估任务。任务要求AI代理在给定预训练
Composable Trust for Language Models: A proven boundary and a measured defense
该论文针对语言模型中指令与数据共享同一token流导致难以防御提示注入的问题，提出了一种可组合的信任模型。核心思想是将决策权外置于模型之外，由代码根据输入源的信任等级决定操作执行权限：低信任源可以提供信息但不能覆盖高信任源的指令。论文设计了
Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels
该论文提出了一种名为 JADR（Jacobian Assessment of Danger Recognition）的新型协议，用于评估大语言模型（LLM）对越狱攻击的鲁棒性。与传统的基于LLM作为评判者的方法不同，JADR通过分析模型在生
How Agentic Is Agentic Commerce? A Population-Scale Measurement of x402 Adoption and Authenticity
该论文对AI代理经济中广泛使用的x402支付协议进行了首次大规模测量研究。x402协议允许AI代理自主完成链上稳定币支付，声称已有数亿笔结算，被视为AI代理经济已到来的证据。研究者在Base链上采集了280天内136,708,672笔x40
When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering
该论文提出了LLM辅助逆向工程中的表示混淆攻击（Representation-Confusion Attacks in Reverse Engineering, RARE），指出攻击者可以通过构造恶意二进制文件，使其中的字符串、反编译输出或
Trust but Verify? Uncovering the Security Debt of Autonomous Coding Agents
本研究针对自主编码智能体（Autonomous Coding Agents）在代码生成过程中引入的安全债务（Security Debt）进行了大规模实证分析。随着AI驱动的编码工具日益普及，它们能够自动生成并提交拉取请求（PR），但由此产生
Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models
该论文针对设备端大语言模型（LLM）推理面临的三难困境：响应延迟、有限硬件资源和用户隐私。完全云端推理虽然计算能力强，但会暴露用户提示和对话数据；而完全设备端推理在大多数消费级和嵌入式边缘设备上不可行。为此，作者提出了一种以隐私为核心的边缘
AutoTrace: From Patches to Triggers via Agentic Interprocedural Exploration
本文提出 AutoTrace，一个基于智能体（agentic）的流水线，用于从漏洞修复补丁中定位触发器（trigger），即导致脆弱程序状态转变为具体不安全操作的语句。该问题比二元漏洞检测更难，因为答案需要跨过程（interprocedur
An Explainable Agentic System for Detection of Conversational Scams with Summary-Based Memory
该论文针对生成式人工智能背景下日益严重的对话式诈骗威胁提出了一种可解释的智能体系统。对话式诈骗通常持续数周或数月，逐步建立信任后索取金钱或敏感信息，而现有检测系统主要关注孤立信息，难以应对此类复杂攻击。本文首先扩展了单消息钓鱼检测，构建了一
Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming
本文针对生产环境中的 LLM Agent（如 Claude Code 和 Codex）面临的自动红队测试问题展开研究。这类 Agent 处理不受信任的内容、文件、命令和工作区状态，直接导致安全风险的可行性，因此需要持续的红队测试来跟上模型和
GDM AI Control Roadmap
该论文由Google DeepMind团队撰写，首次提出了面向内部安全的AI控制路线图（v0.1），旨在应对可能不协调（misaligned）的AI智能体。随着AI智能体在研发、网络防御和科学发现中加速应用，传统的安全假设（AI始终对齐）不
Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
本文针对自主渗透测试领域的研究现状进行了深入分析。近期，许多自主渗透测试论文报告了高分基准结果，但这些系统通常在前沿大语言模型（LLM）周围添加了多组件的安全框架（harness）。由于这些系统同时改变了架构和骨干模型，很难区分性能提升来自
Phantom Guardrails: When Self-Improving Agent Harnesses Fix Failures That Never Happened
该论文研究自改进AI智能体在自动优化其护栏（包括提示、解析器、过滤器、验证器等）时，可能出现的一种新型失败模式：幻影护栏（Phantom Guardrails）。具体而言，基于LLM的提案者（proposer）会修改智能体的脚手架（scaf