SoK: When Safe Agents Fail Together: The Security of Multi Agent LLM Systems
该论文是一篇关于多智能体LLM系统（MAS）安全的系统化综述（SoK）。研究背景是：多智能体LLM系统在多个主体之间传递信息、状态、决策和权限，这种跨主体的交互可能引发局部安全检查无法发现的系统性故障。作者指出，如果没有执行级别的视图，多智
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题Same Request, Different Boundary: Evaluating Cybersecurity Assistance across Conversational Contexts
本文针对大型语言模型（LLM）在网络安全领域的安全辅助边界问题展开研究。LLM 能够解决复杂问题，但在高风险领域的滥用可能造成严重后果，因此模型提供商通常会对潜在有害请求加以限制。然而，一刀切地拒绝所有网络安全请求会损害合法防御者的利益，因
The Safeguard Worked. Is the LLM System Safer?
本文针对大语言模型服务中维护防护机制的效果评估问题展开研究。当前业界通常以拒绝率、攻击成功率或违规率等指标来衡量防护本身的有效性，但这些指标仅反映防护在预定义测试请求集合上的表现，不能说明在实际部署环境中，面对持续适应攻击方式的对手，服务仍
EvoFlint: An Evolutionary Atlas of Multi-Turn LLM Vulnerabilities
前沿语言模型通常会拒绝有害的单轮提示，但在多轮交互中，当用户逐渐表达恶意意图时，模型可能会妥协，这种现象被称为多轮攻击。现有自动化红队方法多将攻击视为生成问题，产生一系列单次成功的攻击示例，但缺乏对模型失败模式的系统性理解。本文作者提出将多
Does Reasoning Mitigate Backdoor Attacks? A Neuro-Symbolic Perspective
该论文从神经符号（Neuro-Symbolic, NeSy）视角出发，首次系统评估了后门攻击对NeSy模型的影响。NeSy AI旨在将亚符号神经感知与基于符号的推理相结合，以提高AI系统的透明性、可解释性和效率，通常被认为是“设计上安全”的
Capability-Gated Language Models: Security Composes, Utility Does Not
该论文针对大语言模型（LLM）部署中的安全访问控制问题，提出了一种称为“能力门控”（capability-gated）的部署范式。传统安全机制（如安全微调、过滤、遗忘）往往在模型权重外部按主体（principal）进行区分，例如通过配置不同
Workload Identification with Physical Side Channels for AI Governance
该论文研究如何利用物理侧信道（GPU功耗）进行AI工作负载识别，为AI治理中的计算验证提供技术基础。作者指出，AI计算验证是国际AI治理政策中第一个可落地、可操作的关键点。监管机构若要判断前沿实验室或其他操作方是否遵守相关协议，需要能辨别其
Delegation Without Trust: An Empirical Gap Analysis of Identity, Authorization, and Runtime Governance in Multi-Agent LLM Systems
本文针对多智能体大语言模型（LLM）系统中的授权与运行时治理问题展开研究。作者指出，自主 LLM 智能体日益代表用户持有凭证、调用工具与服务，并能派生子智能体进一步行动，这使得分布式系统中经典的“谁被授权做什么、依据谁的授权”问题变得紧迫且
Auditing Anonymous AI Models: A Four-Stage Protocol for Black-Box Identity Verification
本文针对2025-2026年AI市场中出现的匿名前沿模型发布浪潮，提出了一种用于API托管模型黑盒身份验证的四阶段取证审计协议。研究背景是：开发者平台出现以代号匿名发布的高性能模型，用户仅能通过API访问，无法直接确认模型真实身份。模型身份
SingProbe Technical Report
大型语言模型（LLM）在生产环境中的可靠部署高度依赖运行时安全防护栏（runtime guardrails）。然而，现有防护方案大多采用独立的外部模型，不仅带来额外的推理开销，还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
SIR: Self-improving Red-teaming for Compute Use Agents
本文提出了一种名为 SIR（Self-improving Red-teaming）的黑盒攻击方法，用于针对计算机使用代理（Computer Use Agents, CUAs）进行间接提示注入（Indirect Prompt Injectio
Reachability-Based Capability Confinement for LLM Agents under Indirect Prompt Injection
该论文针对大语言模型（LLM）智能体在间接提示注入攻击下的能力约束问题展开研究。攻击者可将恶意内容注入外部技能的输出，这些输出随后被放入智能体的执行上下文中，从而影响后续的敏感操作。现有防御手段主要分为两类：对不可信内容进行分类（如 Spo
Influence Is Not Authority: When Causal Guardrail Signals Make Legitimate Tool Use Look Like an Attack in Tool-Using LLM Agents
本文研究了当前最先进的基于影响（influence）的保护机制（guardrails）在工具使用型 LLM 代理中的局限性：它们无法可靠地区分合法且经用户授权的动作与恶意未授权的动作，当两者都依赖外部工具信息时。这种模糊性可能导致良性动作触
A Formal Analysis of Agent Payment Protocols
该论文针对AI代理支付协议这一新兴的自主商业交易层进行了系统性的形式化安全分析。研究背景在于，AI代理正被授权代表用户购买商品与服务并执行支付，而与传统支付流程不同，此类协议将用户意图、委托授权、凭据使用、结算和履约分散到多个参与方与多个协
Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation
该论文提出了一种以'被击败的缓解措施'为组织维度的基准污染（benchmark contamination）分类法，旨在解决当前排行榜分数中模型能力与数据泄漏在观测上难以区分的问题。作者指出现有污染分类法主要用于自动化检测，但未能回答发布者
Can escalation channels redirect reward hacking toward defect disclosure?
本研究聚焦于编码智能体（coding agents）在遇到有缺陷的测试基础设施时可能产生的“奖励黑客”（reward hacking）行为——即通过硬编码输出、修改测试文件等方式绕过无法合法满足的测试。这种行为已不仅限于基准测试环境，还出现
Safe to Resume? Breaking Execution Continuity of Agent Execution via Rollback
本文首次系统性地研究了AI智能体系统中的检查点与回滚（Checkpoint and Rollback, C/R）机制的安全隐患。随着AI智能体向持久化、有状态执行方向发展，其执行状态和外部副作用在故障后难以重建，C/R成为关键恢复手段。然而
Not the Same Protector: Deployment-Dependent Protective Intervention in LLMs
本文研究大语言模型（LLM）在不同部署条件下（语音、文本、原始 API）对用户保护性干预的一致性。作者以一个描述人际冲突后未明确严重程度的身体伤害的单一压力场景为测试用例，对四个前沿模型进行匹配输入，每条件 30 次重复，并沿五个二元保护指
Auditing and Mitigating Privacy Leakage in Cloud-Edge Collaborative Decoding
本文研究云-边协同解码范式中的隐私泄露问题。在该范式下，资源受限的边缘设备持有私有数据，并运行一个小语言模型（SLM）生成下一token分布；云端LLM仅基于公开数据进行预测；两者分布融合后生成最终输出。这种设计旨在避免将私有数据直接上传至
Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks
本文提出一种针对光滑 Transformer 前馈网络（FFN）的结构性模型提取攻击方法，揭示了黑盒场景下二阶信息泄露内部参数几何的新通道。作者假设攻击者拥有对 FFN 分支的“选定输入-原始输出”（chosen-input raw-out