Auditing Anonymous AI Models: A Four-Stage Protocol for Black-Box Identity Verification
本文针对2025-2026年AI市场中出现的匿名前沿模型发布浪潮，提出了一种用于API托管模型黑盒身份验证的四阶段取证审计协议。研究背景是：开发者平台出现以代号匿名发布的高性能模型，用户仅能通过API访问，无法直接确认模型真实身份。模型身份
#agent-security
共收录 1542 条相关情报。
← 返回所有主题The Fragility of Jailbreak Robustness Across Operational States
该论文研究大语言模型在面对越狱攻击时的鲁棒性评估问题。现有评估通常只在默认配置（香草状态）下测量单一的攻击成功率（ASR），但实际用户与LLM的交互可能产生多种非默认的操作状态。作者发现，越狱鲁棒性对操作状态变化高度敏感：即使攻击方法完全不
Beyond the Payload: How User Invocation Shapes Coding Agent Vulnerability to Repository Poisoning
该论文研究编码智能体（coding agents）在从第三方代码仓库引导项目时所面临的仓库投毒（repository poisoning）风险。以往研究主要关注攻击者控制的注入与伪装手段，但本文提出一个被忽视的维度：开发者的日常调用选择——
Lie to Me: Finding Bugs in ZK DSL Toolchains with Adversarial Witness Injection
零知识证明领域特定语言（ZK DSL）工具链将高级程序编译为约束系统，并为密码学证明生成见证（witness）。如果工具链存在实现缺陷，可能导致实际生成的约束系统比源程序语义更弱，从而允许攻击者为无效执行构造可被验证的证明。这类“健全性漏洞
Authority-Inference Separation in Agentic Finance: First-Line Control, Blockchain Enforcement, and Replayable Assurance
本文针对智能体金融（Agentic Finance）中授权与推理混淆的问题，提出了一种基于意图的权限隔离架构（Authority-Inference Separation, AIS）。核心思想是：AI智能体能够选择工具、交易对手和交易参数，
ECLIPSE: Self-Evolving Stealthy Prompt Injection Attack against Long-Horizon Agentic Systems
本文针对 LLM 智能体（如 Codex、Claude Code 等）在长周期任务中通过多步工具调用带来的新型提示注入风险，提出了一种自进化、隐蔽的提示注入框架 ECLIPSE。现有攻击要么把恶意目标放在一条显式指令中容易检测，要么将意图分
Why Are LLM Backdoor Defenses Fragmented? A Feature-Level Explanation with Sparse Autoencoders
该论文针对大语言模型（LLM）后门防御碎片化的问题，首次利用稀疏自编码器（SAEs）从特征层面进行系统的机制性分析，以解释为何现有防御方法难以统一应对不同标记类型的后门攻击。后门攻击通过在训练数据中注入触发模式，使模型在特定输入下产生恶意行
Attesting Outputs and Delegation Ancestry in Multi-Agent AI Systems
多智能体系统由多个独立部署者协作，在事故调查时，验证者需要确认哪一部署者发布了被报告的输出，以及每次跨部署委派边是否经过双方授权。现有凭证体系只能证明“谁被允许行动”，无法将运行者的身份与后期产生的输出字节绑定，也无法证明动态创建的委派边获
KORD: Breaking the Key-Generation Bottleneck in Dealerless FSS via Protocol--Hardware Co-Design
论文针对无委托方（dealerless）函数秘密共享（FSS）中密钥生成效率低下的问题展开研究。FSS 是隐私保护计算中的核心原语，但每次调用都需要由可信委托方生成一对新的函数密钥，这扩展了系统的信任边界并阻碍了实际部署。已有的无委托方协议
On the Effectiveness of Prompt Stealing Attacks on In-the-Wild Prompts.
本文系统研究了针对现实世界（in-the-wild）提示词（Prompt）的“提示词窃取攻击”（Prompt Stealing Attacks）有效性。随着大型语言模型（LLM）的普及，高质量提示词已成为提示词市场中的宝贵商品，但攻击者试图
Poster: An Exploration of Large Language Models in Malicious Source Code Detection.
该论文提出了一种名为 Mal-LLM 的恶意源代码检测框架，旨在应对软件供应链中嵌入恶意代码的安全挑战。现有检测方法包括基于签名、行为分析和传统机器学习模型，但这些方法普遍缺乏结果的可解释性，难以向安全分析人员清晰解释为何某段代码被判为恶意
Rods with Laser Beams: Understanding Browser Fingerprinting on Phishing Pages.
本研究针对网络钓鱼页面中利用浏览器指纹识别技术来提升攻击隐蔽性和针对性的新型威胁展开调查。论文标题以“带激光的鱼竿”为隐喻，暗示攻击者不再使用传统钓鱼手法，而是借助精确的浏览器指纹识别‘激光’来锁定受害者。研究团队系统性地分析了大量真实钓鱼
CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling.
本文提出一种名为 CENSOR 的防御方法，用于抵御梯度反演攻击（Gradient Inversion Attack）。梯度反演攻击是一种严重威胁联邦学习和分布式机器学习安全的攻击手段，恶意服务器或攻击者可以通过观察客户端上传的模型梯度，逆
PhyScout: Detecting Sensor Spoofing Attacks via Spatio-temporal Consistency.
本文提出 PhyScout，一个针对自动驾驶系统中传感器欺骗攻击的综合性防御框架。现有防御方法存在攻击类型覆盖有限、依赖 GPU 计算、检测延迟高以及边缘场景可解释性差等问题。PhyScout 的灵感来源于人类驾驶员通过环境时空一致性检查快
Extracting Knowledge from Tools in LLM Agents
本文研究 LLM 智能体（Agent）在使用基于知识的工具（如文件、数据库、搜索索引）时面临的一类新型安全风险：工具介导的知识提取（tool-mediated knowledge extraction）。当 Agent 为了回答用户提问调用
SIR: Self-improving Red-teaming for Compute Use Agents
本文提出了一种名为 SIR（Self-improving Red-teaming）的黑盒攻击方法，用于针对计算机使用代理（Computer Use Agents, CUAs）进行间接提示注入（Indirect Prompt Injectio
Understanding Stage-Wise Utility-Risk Trade-offs in LLM Agent Memory
本文研究 LLM Agent 长期记忆机制中良性效用与记忆投毒风险之间的阶段性权衡。作者指出，现有评测通常在固定配置下孤立地衡量记忆效用或攻击风险，难以揭示不同记忆阶段（写入、管理、检索）的设计选择如何重塑效用-风险权衡。为此，他们提出了可
Balancing Privacy, Utility, and Safety in LLM Alignment through Preference Optimization
这篇论文研究了大语言模型对齐过程中偏好数据组成对隐私记忆的影响。作者指出，尽管偏好优化（如DPO）被广泛用于让模型符合人类偏好，但偏好数据的构成可能影响与隐私相关的记忆行为。他们聚焦于一个关键问题：在不修改优化目标、也不引入形式化隐私机制的
Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap
该论文针对多智能体AI平台从试运行快速走向生产过程中代理间信任机制原始的问题。当前代理要么传输原始数据（过度共享），要么接受对方的自然语言自我声明（不可验证且易受提示注入攻击）。现有应对方案侧重于身份、可见性和事后检测，而近期提出的密码学强
Reachability-Based Capability Confinement for LLM Agents under Indirect Prompt Injection
该论文针对大语言模型（LLM）智能体在间接提示注入攻击下的能力约束问题展开研究。攻击者可将恶意内容注入外部技能的输出，这些输出随后被放入智能体的执行上下文中，从而影响后续的敏感操作。现有防御手段主要分为两类：对不可信内容进行分类（如 Spo