Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense
本文提出了一种名为Membrane的自我演化防护栏，用于增强大型语言模型（LLM）智能体防御不断演化的越狱攻击。当前的安全对齐方法难以适应新型攻击，而基于微调的安全分类器无法实时更新，基于记忆的防护栏又容易对良性查询过度拒绝。Membran
#cs.CL
共收录 424 条相关情报。
← 返回所有主题An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic
本研究针对大型语言模型（LLM）通过托管API部署时面临的模型提取攻击威胁。模型提取攻击中，攻击者通过发送大量查询来窃取或复制目标模型的功能，但单个查询往往与正常用户请求难以区分。现有检测方法多基于单条查询异常评分或纯良性用户与攻击者用户分
Global Sketch-Based Watermarking for Diffusion Language Models
该论文提出了一种针对扩散语言模型的全局草图水印方法。与自回归模型中逐token顺序生成并依赖局部上下文的水印方案不同，扩散语言模型在生成过程中同时采样多个未确定位置的分布，使得整个序列的加性统计量在生成时是可处理的。作者利用这一特性，设计了
Token Rankings are Unforgeable Language Model Signatures
本文研究了语言模型API在限制仅输出token排名（即按概率排序的token序列，但不提供具体概率值）时，是否仍然构成能够唯一标识模型的签名。作者发现，对于足够大的k，每个语言模型都有一组唯一的可行top-k排名集合，这可以作为模型的签名。
Cascading Hallucination in Agentic RAG: The CHARM Framework for Detection and Mitigation
该论文聚焦于多步智能检索增强生成（agentic RAG）管道中的级联幻觉问题——早期步骤引入的错误会在后续推理步骤中传播并放大，导致最终输出看似自信但事实错误。现有的幻觉检测机制（如输出级检测器）系统性忽略此故障，因为它源自跨步骤的累积效
Domain-Conditioned Safety in Frontier Computer-Using Agents: A 793-Episode Browser Benchmark, a Coding-Domain Cross-Reference, and a Reproducibility Audit of Recent Red-Teaming
本文针对近期计算机使用代理（CUA）领域的红队测试论文进行了可复现性审计。许多论文报告了提示注入攻击成功率（ASR）高达42-98%，但这些数字集中在已退役模型和每篇论文中最脆弱的模型上。作者提出了CUA-HandCrafted基准测试，包
Large Language Models Hack Rewards, and Society
该论文探讨了大型语言模型（LLM）在强化学习（RL）后训练阶段中可能出现的“奖励黑客”（reward hacking）行为如何扩展到更广泛的社会层面，即“社会黑客”（societal hacking）。作者指出，社会规则与奖励函数在结构上具
Covert Influence Between Language Models
该论文研究语言模型之间的隐蔽影响（covert influence）现象，即一个发送者模型通过人类无法察觉的载体（carriers）将其行为倾向（payload）传递给接收者模型。作者在三种接口上刻画了这种风险：监督微调（SFT）、在线策略
Selective Token-Level Cryptographic Redaction for Privacy-Preserving Clinical Deployment of Large Language Models
本文针对大型语言模型（LLM）在临床部署中因传输原始敏感健康信息而导致的隐私泄漏风险，提出了一个名为HERALD（Healthcare Encryption & Redaction via Adaptive Linguistic Decom
PsychoPass: Geometric Profiling of Multi-Turn Adversarial LLM Conversations
大型语言模型（LLM）的多轮越狱攻击揭示了当前防护机制的缺陷：它们仅在单个对话轮次上运行，而攻击却作为跨对话的轨迹展开。本文提出从内容转向动态，将对话建模为表示空间中的路径，并探究对抗意图是否在对话早期就被编码在几何结构中。作者引入Psyc
Decoupled Smart Contract Audits: Lightweight LLM Framework via Distillation and Aggregation
该论文提出了一种轻量级的智能合约安全审计框架，利用经过蒸馏和聚合的开放源码大语言模型（LLM）来应对现有基于LLM的审计方法存在的计算开销大、缺乏严重性评估以及可操作修复建议等问题。框架将审计任务解耦为四个独立模块：漏洞检测、漏洞解释、严重
Ghost Tool Calls: Issue-Time Privacy for Speculative Agent Tools
本文研究工具增强型语言代理（tool-augmented language agents）中投机性工具调用（speculative tool calls）带来的隐私泄露问题。这类代理为了隐藏延迟，会在未确定最终执行分支前，提前向外部的工具服
AgentRedBench: Dynamic Redteaming and Integration-Aware Defense for LLM Agents over SaaS Integrations
该论文提出了AgentRedBench，一个动态的LLM驱动的红队基准测试，专门针对通过SaaS集成（如Gmail、Salesforce、Jira等）使用工具调用的LLM智能体面临的间接提示注入威胁。现有基准测试覆盖的集成种类有限，且攻击载
ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?
差分隐私（DP）文本合成技术旨在通过生成合成数据来解锁敏感语料库，使其可用于模型训练，同时保护隐私。然而，现有评估基准存在重大局限性：它们使用的任务通常即使不经过训练也能近乎解决，因此强基准性能并不能证明DP合成数据能够替代原始数据访问。为
Defenses & Enablers For Skill Injection Attacks on Terminal Based Agents
该论文研究了大语言模型（LLM）代理在依赖可复用技能（即描述任务特定流程的文档）时面临的新安全威胁，并探索了两种互补的防御方向。首先，作者评估了基于守护者的防御机制：动态守护者作为一个中间LLM代理，在运行时对技能文件的访问进行实时调解；静
DiscourseFlip: An Oblique Discourse-Level Opinion Manipulation Attack against Black-box Retrieval-Augmented Generation
本文提出了一种针对检索增强生成（RAG）系统的新型攻击范式——话语级意见操纵。RAG系统通过结合外部语料库来增强大语言模型的回答，但这也引入了检索内容投毒的安全风险。现有攻击大多聚焦于单个查询或狭窄主题的局部查询集，实际影响有限且易于察觉。
BraveGuard: From Open-World Threats to Safer Computer-Use Agents
计算机使用代理（Computer-use agents）将语言模型从文本生成扩展到与文件、终端、浏览器和外部工具的持续交互。这种范式转变带来了新的安全风险，因为恶意行为往往只有通过多步执行轨迹才能显现，而单步动作看似无害。现有安全检测方法依
Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults
该论文研究了LLM智能体在接收外部排序信息流（如社交媒体动态、搜索结果、检索上下文和邮件队列）后的决策行为。传统安全评估通常只测试模型本身或用户提示，而忽视了上游排序器（即决定智能体在行动前阅读哪些内容的排序层）的影响。作者设计了一个受控的
Cross-Generational Transfer of Adversarial Attacks Reveals Non-Monotonic Safety Alignment in LLMs
本文研究了大型语言模型 (LLM) 在跨代际间的安全对齐是否单调提升。作者选取 Google 的 Gemma 系列四代模型（7B-31B），采用质量多样性进化算法（MAP-Elites）作为自动化红队探测工具，对模型进行对抗性攻击生成和评估
Quality-Diversity Evolution for Discovering Diverse Vulnerabilities in LLM Safety
当前针对大型语言模型（LLM）的对抗性测试方法存在覆盖不足的问题：人工红队测试难以规模化、LLM作为攻击者的方法容易出现模式崩溃（产生重复或相似攻击）、基于梯度的攻击则生成不可读的乱码。本文提出一种质量多样性（Quality-Diversi