Asking Back: Interaction-Layer Antidistillation Watermarks
这篇论文针对大型语言模型（LLM）API服务中难以检测的未授权知识蒸馏问题，提出了一种新颖的交互层反蒸馏水印方案。现有防御手段主要在教师模型的输出token层面施加水印，例如绿名单水印、密码学方案或反蒸馏采样，但这些方法容易被攻击者通过改写
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题WARD: Adversarially Robust Defense of Web Agents Against Prompt Injections
本文针对 Web Agent 在开放网络环境中面临的提示注入攻击风险，提出了一种鲁棒防御模型 WARD。Web Agent 可通过与网站交互自动完成在线任务，但其依赖的 HTML 内容或视觉界面易被嵌入恶意指令，导致提示注入攻击。现有防护模
Do Coding Agents Understand Least-Privilege Authorization?
该论文研究了编程代理（coding agents）在执行终端任务时遵循最小权限授权原则的能力。最小权限授权要求代理仅获得完成任务所必需的权限，避免暴露敏感表面。作者首先定义了“权限边界推断”（permission-boundary infe
Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces
本研究探讨了基于 LLM 的浏览器代理在执行网页任务时，其行为模式是否可被网站被动识别以推断底层模型身份。作者针对 14 个前沿 LLM（如 GPT-4、Claude 等）和四种网页环境（包括信息检索和购物任务）进行了实验。通过被动 Jav
EVA: Editing for Versatile Alignment against Jailbreaks
大型语言模型（LLMs）和视觉语言模型（VLMs）在展现强大能力的同时，仍容易受到越狱攻击（jailbreaking attacks）的威胁，攻击者利用文本或视觉触发器绕过安全护栏。现有的防御方法通常依赖安全微调或外部过滤器来降低模型生成有
One Step to the Side: Why Defenses Against Malicious Finetuning Fail Under Adaptive Adversaries
随着大语言模型（LLM）的广泛应用，模型提供商越来越多地发布开放权重或允许用户通过API进行微调。尽管这些模型在发布前经过了安全对齐（safety alignment），但大量研究表明，通过针对有害数据的微调可以轻易移除其安全护栏。为此，近
Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning
该论文系统研究了深度强化学习（DRL）中可塑性干预（plasticity interventions）对后门攻击威胁的影响。可塑性干预是现代DRL智能体的内置组件，用于缓解可塑性损失，但其对后门漏洞的作用尚不明确。作者通过大规模实证研究，分
MemLineage: Lineage-Guided Enforcement for LLM Agent Memory
本文提出了 MemLineage，一种针对 LLM 智能体记忆的防御机制。近期研究表明，不受信任的内容可能被写入智能体的持久状态，并在后续会话中作为指令重新进入，从而引发安全风险。MemLineage 将这个问题视为链式保管问题而非过滤问题
The Great Pretender: A Stochasticity Problem in LLM Jailbreak
该论文揭示了当前大型语言模型（LLM）越狱攻击评估中的关键问题：攻击成功率（ASR）作为主要基准指标存在不稳定性。作者观察到，即使一篇顶级论文（如来自Anthropic的BoN或Microsoft Research的Crescendo）宣称
To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model
该论文针对大视觉语言模型（LVLM）在多模态网页数据上遭受的未授权爬取和训练问题，提出了一种名为MMGuard的主动防御方法。现有对策如机器遗忘和水印均属于事后处理，无法在知识产权侵犯发生前进行保护。MMGuard通过生成难以学习的样本（u
Web Agents Should Adopt the Plan-Then-Execute Paradigm
该论文针对当前大语言模型（LLM）智能体的主流架构——ReAct范式提出了根本性质疑。ReAct让智能体在每一步观察网页内容后决定下一步动作，这使得来自卖家、客户、广告商等不同来源的网页内容直接流入模型，为提示注入攻击提供了直接路径。作者提
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
该论文提出 MetaMoE，一个隐私保护的混合专家（MoE）模型统一框架。在现实场景中，训练数据通常分布在多个客户端且无法共享，导致无法直接训练统一的 MoE 模型。MetaMoE 利用公开的代理数据作为私有数据的替代，通过多样性感知的代理
Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games
本文首次研究了如何在完美信息扩展式博弈（如国际象棋）中对游戏代理的策略进行水印标记。受大型语言模型（LLM）水印技术（尤其是KGW方案）启发，作者提出了一种适应博弈场景的水印方法：在代理的策略中嵌入隐蔽信息，使得第三方可通过统计检验验证策略
ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents
该论文提出了 ExploitBench，一个能力阶梯式基准测试，用于评估 LLM 驱动的网络安全代理的漏洞利用能力。现有 LLM 安全基准通常将崩溃视为利用成功，忽略了从触发漏洞到构建原语、控制流劫持、任意代码执行等关键步骤。作者将利用过程
ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety
本文介绍了一个名为 ROK-FORTRESS 的双语、文化对抗性国家安全与公共安全（NSPS）基准测试集，以英语-韩语语言对和美韩地缘政治轴为例，研究了语言与地缘政治背景对大型语言模型（LLM）安全行为的影响。作者提出了一种“翻译创作矩阵”
AgentTrap: Measuring Runtime Trust Failures in Third-Party Agent Skills
本文针对大型语言模型（LLM）智能体在使用第三方技能时面临的运行时信任失效问题展开研究。第三方技能将自然语言指令、辅助脚本、模板、文档和服务配置打包成可复用的工作流，极大提升了智能体的能力，但也引入了新的安全风险：恶意技能无需直接要求模型执
Identifying AI Web Scrapers Using Canary Tokens
本论文提出一种新方法，通过部署动态网站并嵌入唯一诱饵令牌（canary tokens）来识别与大型语言模型（LLM）训练或查询相关的网络爬虫。网站为每个访问的爬虫分配一个独特令牌，随后研究人员向LLM提问关于网站内容的问题，若LLM输出中包
Inducing Overthink: Hierarchical Genetic Algorithm-based DoS Attack on Black-Box Large Language Reasoning Models
本文研究大型推理模型（LRMs）在面对逻辑不一致或不完整输入时，倾向于产生过长且冗余的推理轨迹，即“过度思考”现象，这会导致推理延迟和能耗显著增加，构成潜在的拒绝服务（DoS）攻击向量。作者提出一种自动化黑盒框架，通过层次遗传算法（HGA）
Watermarking Should Be Treated as a Monitoring Primitive
本文提出水印技术应被视为一种监控原语，而非仅用于内容归属。传统上，水印评估侧重于对抗单个样本级别的规避或误报攻击，忽略了在多方参与的场景中，水印信号可能被聚合以推断实体级别信息。作者引入基于观察者的威胁模型，其中观察者可以通过跨输出聚合水印
No Attack Required: Semantic Fuzzing for Specification Violations in Agent Skills
LLM驱动的智能体在执行日常用户请求时，可能会无声地删除文档、泄露凭证或转移资金，这并非因为智能体受到攻击，而是因为所调用的技能违反了其自身声明的安全规则。论文将此类问题定义为“规范违反”（specification violation）：