AI Agents May Always Fall for Prompt Injections
本文聚焦于AI代理中最关键的提示注入漏洞。作者首先指出现有的主流防御策略（数据-指令分离）存在根本性缺陷：它既无法检测通过上下文操纵（如误导性背景信息或角色扮演）发起的攻击，又会降低代理在正常场景下做出符合上下文的适当行为的能力。为了更系统
#cs.CL
共收录 424 条相关情报。
← 返回所有主题Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback
本文研究了大型语言模型（LLM）代理在使用外部工具时面临的一种新型安全威胁：认知中毒（cognitive poisoning）。在这种攻击场景下，恶意工具在探索阶段表现得合理且有用，通过提供看似无害的反馈逐步积累代理的信任，只有当隐藏状态条
ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse
本文提出了一种名为 ContraFix 的自动化漏洞修复（AVR）智能体框架，旨在解决当前基于大语言模型（LLM）的智能体在修复真实世界漏洞时存在的两个核心问题：语义误解和技能复用不足。现有智能体通常仅从单一失败执行（如崩溃报告）进行推理，
MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs
该论文提出了一种新型后门攻击方法 MetaBackdoor，利用 Transformer 架构中位置编码 (Positional Encoding) 的内在特性作为触发器，而不需要修改输入文本内容。现有的后门攻击大多依赖内容触发器（如特定词
Talk is (Not) Cheap: A Taxonomy and Benchmark Coverage Audit for LLM Attacks
本文提出一个可复用的框架，用于审计LLM攻击基准测试对威胁表面的覆盖度。作者从932篇2023-2026年的arXiv安全研究中提取了507个叶节点（其中401个有数据填充，106个来自威胁模型推导）的推理时攻击分类法，并基于STRIDE模
LiSA: Lifelong Safety Adaptation via Conservative Policy Induction
本文提出了 LiSA (Lifelong Safety Adaptation) 框架，旨在解决 AI Agent 部署后的安全护栏适应性问题。随着 AI Agent 从聊天界面扩展到读取私有数据、调用工具和执行多步骤工作流，护栏失效的后果不
To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model
该论文针对大视觉语言模型（LVLM）在多模态网页数据上遭受的未授权爬取和训练问题，提出了一种名为MMGuard的主动防御方法。现有对策如机器遗忘和水印均属于事后处理，无法在知识产权侵犯发生前进行保护。MMGuard通过生成难以学习的样本（u
Web Agents Should Adopt the Plan-Then-Execute Paradigm
该论文针对当前大语言模型（LLM）智能体的主流架构——ReAct范式提出了根本性质疑。ReAct让智能体在每一步观察网页内容后决定下一步动作，这使得来自卖家、客户、广告商等不同来源的网页内容直接流入模型，为提示注入攻击提供了直接路径。作者提
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
该论文提出 MetaMoE，一个隐私保护的混合专家（MoE）模型统一框架。在现实场景中，训练数据通常分布在多个客户端且无法共享，导致无法直接训练统一的 MoE 模型。MetaMoE 利用公开的代理数据作为私有数据的替代，通过多样性感知的代理
ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety
本文介绍了一个名为 ROK-FORTRESS 的双语、文化对抗性国家安全与公共安全（NSPS）基准测试集，以英语-韩语语言对和美韩地缘政治轴为例，研究了语言与地缘政治背景对大型语言模型（LLM）安全行为的影响。作者提出了一种“翻译创作矩阵”
Model-Agnostic Lifelong LLM Safety via Externalized Attack-Defense Co-Evolution
大型语言模型（LLM）易受对抗性提示攻击，现有安全方法通常将红队测试与后训练耦合在封闭的策略循环中，导致攻击发现快速饱和，难以暴露新的失效模式，且防御效率低、僵化、难以跨模型迁移。为此，本文提出 EvoSafety，一种模型无关的终身 LL
Persona-Model Collapse in Emergent Misalignment
该论文研究了大型语言模型（LLM）在微调过程中出现的“新兴不对齐”（emergent misalignment）现象，即当模型在包含有害内容的狭窄数据上进行微调后，会在无关提示上产生广泛的不对齐行为。作者提出这一现象涉及“人格模型崩溃”（p
REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations
本文针对大型语言模型（LLM）中的幻觉现象，提出了一种新颖的对抗性攻击框架REALISTA。幻觉是指模型生成看似合理但实际错误的内容，严重影响LLM的可靠性和安全性。现有攻击方法存在局限性：基于离散提示的攻击（如人工改写）搜索空间有限，而连
TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection
本文提出 TextSeal，一种用于大型语言模型（LLM）的本地化水印方案，旨在解决模型输出的来源追踪与蒸馏保护问题。该方法基于 Gumbel-max 采样，通过引入双密钥生成机制恢复输出多样性，并利用熵加权评分和多区域定位技术提升检测精度
Reconstruction of Personally Identifiable Information from Supervised Finetuned Models
本文首次系统研究监督微调（SFT）大型语言模型中的个人身份信息（PII）重建问题。SFT通过指令-响应对数据集将预训练知识适配到特定领域，但这些数据集常包含用户提供的敏感信息（如医疗和法律场景中的PII），存在隐私泄露风险。作者构建了多轮、
SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces
该论文提出 SkillSafetyBench，一个用于评估大型语言模型（LLM）代理在面临技能层面攻击时安全性的可运行基准。当前，可复用技能（skill）已成为扩展LLM代理能力的常见接口，它们以插件形式封装了执行文件操作、工具调用、内存访
Can a Single Message Paralyze the AI Infrastructure? The Rise of AbO-DDoS Attacks through Targeted Mobius Injection
该论文提出了一种针对基于大语言模型（LLM）的智能体系统的新型攻击范式，称为 Mobius Injection，可引发基于智能体的面向服务的分布式拒绝服务（AbO-DDoS）攻击。作者发现智能体逻辑中存在的结构漏洞“语义闭合”（Semant
LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
LITMUS 是一个针对基于 LLM 的自主智能体在真实操作系统环境中的行为安全性的基准测试平台。现有基准大多仅在语义层评估安全性，忽略了物理层的危害，并且测试用例之间缺乏隔离，导致污染问题。LITMUS 通过语义-物理双重验证机制和 OS
Nautilus Compass: Black-box Persona Drift Detection for Production LLM Agents
本文提出Nautilus Compass，一个面向生产环境LLM coding agent的黑盒人格漂移检测与记忆层系统。研究背景：LLM agent在长时间会话中会出现人格漂移，例如遗忘用户指定的约束、重复已被用户指出的错误、虚构先前的协
Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks
本文聚焦于大型语言模型（LLM）安全对齐在面对有害微调（Harmful Fine-tuning, HFT）攻击时的脆弱性问题。研究表明，现有的防御方法（如对参数、梯度或内部表示施加约束）在持续性HFT攻击下容易被绕过，其根本原因在于高维参数