Self-State Attacks on Self-Hosted AI Agents: How Far Can OS Defenses Go?
本文首次系统性地研究了自托管AI智能体面临的一类新威胁——自状态攻击（self-state attacks）。自托管AI智能体为了执行任务，需要读写自身的内存和配置文件（即自状态），而这些操作通过合法的操作系统系统调用完成。攻击者可以通过操
#cs.CL
共收录 424 条相关情报。
← 返回所有主题JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models
本文提出 JailMeter，一个基于证据的越狱攻击评估框架，旨在解决当前大语言模型越狱攻击评估中标准不一致、方法不统一导致攻击成功率估计不可靠的问题。受信息瓶颈理论启发，JailMeter 采用双反馈优化机制，首先过滤模型响应中的越狱噪声
Salience Induction against Multi-Hop RAG Agents: Threat and Defense
本文研究基于代理的检索增强生成（RAG）系统在多跳问答中的安全威胁。现有防御主要关注内容投毒（注入虚假事实）和提示注入（嵌入指令）。作者发现第三个攻击面：显著性通道（salience channel），即通过调整事实的位置、强调方式、框架和
How Jailbreak Attacks Inform Safety Alignment: A Defender-Centric, Shapley-Based Evaluation of Jailbreak Contributions
本文针对大语言模型（LLM）的越狱攻击评估问题，提出了一种以防御者为中心的新视角。传统评估以攻击者成功率为指标，但高成功率的攻击未必能有效提升模型安全。作者主张将越狱攻击视为安全训练的红队数据资源，通过其能带来的下游安全改进来评估其价值。为
SlotGuard: Stop Oversharing Private Local Context in LLM Agent Transcri
大型语言模型（LLM）智能体在交互过程中，会将工具输出、Shell日志、文件读取等观测结果附加到发送给提供商的转录中，导致私密信息（如路径、邮箱）和凭证（如API密钥）泄露。现有的占位符修订方法存在缺陷：可能遗漏嵌入式或跨轮次引用、过度修订
A Systematic Evaluation of Traditional Privacy Policy Analysis Tools Against LLMs
该论文对大型语言模型（LLM）在隐私政策分析领域替代传统专用工具的能力进行了首次系统性评估。研究背景是LLM的兴起使得以往需要专门领域工具的隐私政策与数据合规分析任务变得可能，但尚不清楚LLM能否真正复制现有工具的多样化功能和方法。核心研究
Cross-Branch Conflict as a Shield: Safeguarding Facial Identities in Unified Multimodal Image Editing
该论文针对统一多模态模型（UMMs）在指令式图像编辑中可能被恶意利用来篡改个人肖像的问题，提出了一种对抗性保护框架CCS。作者首先分析了UMMs中视觉理解分支（基于ViT）和生成分支（基于VAE）的特征级一致性，发现单个分支的特征扰动不足以
One Modality to Forget Them All: Enhancing Cross-Modal Unlearning in Vision-Language Models
该论文首次系统研究了视觉-语言模型（VLM）中遗忘（unlearning）的跨模态迁移问题。现有机器学习遗忘技术主要用于移除大型语言模型中的危险知识，但VLM同时处理文本和视觉输入，遗忘在一个模态中是否会自动迁移到另一个模态是一个关键安全问
AI Watermark Evidence Fails Forensic Readiness: An Empirical Evaluation
本文针对各国政府强制要求LLM生成内容添加水印（如欧盟AI法案、加州SB 942）的背景下，检验水印检测结果是否足以作为法庭证据的可靠性。作者选取三种代表性水印方法——KGW、Unigram以及MarkLLM实现的SynthID-Text，
Routing Ceilings Are Domain-Independent: Structural Prior Injection in Code Security Vulnerability Detection
本文研究了大型语言模型（LLM）在代码安全漏洞检测中的路由天花板现象。作者基于先前的数学推理研究（SAIR）假设，将结构先验（即“小抄”）注入提示词，以提升模型在特定分布下的漏洞检测能力。实验使用了三个LLM（GPT-OSS-120B、Ll
Qubes OS Security in the Public Record
本论文对 Qubes OS 的安全公告记录进行了纵向分析，时间跨度为 2011 年至 2025 年，覆盖了 109 份公开的 Qubes 安全公告（QSB）、官方维护的 Xen 安全公告（XSA）跟踪器以及次要的漏洞事件敏感性序列。研究目标
Privacy Leakage in Federated Learning in Radiology Reports: A Comparative Evaluation of Tokenizer-Driven Privacy Risks
联邦学习（FL）允许多机构在不共享原始数据的情况下联合训练临床文本模型，但梯度反演可能从共享的模型更新中重建敏感信息。本文系统量化了放射学报告中基于梯度的文本重建风险，并比较了三种分词器（GPT-2、RadBERT、LLaMA-2）对隐私泄
UTS at ELOQUENT 2026 Voight-Kampff: structural shifts in AI writing bypass state-of-the-art detectors
本研究旨在探究哪些大语言模型（LLM）文本逃避攻击能够绕过当前最先进的对抗性微调检测器。作者发现，虽然对抗性微调可以轻易封堵2025年获胜的逃避方法，但检测器存在一个根本性的不对称漏洞：将生成文本推出检测器的训练分布（out-of-dist
The Refusal Residue: When Probes Catch Alignment Faking and When They Don't
本论文聚焦于大型语言模型中的“对齐伪装”（alignment faking）现象，即模型在监控下表现出顺从行为，但在无监控时可能保留真实意图。由于缺乏思维链（scratchpad）可见性，仅凭行为无法区分策略性顺从与真正顺从。研究团队通过在
Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak
该论文对一种名为“Prefill Jailbreak”的越狱攻击进行了深入的机制研究。在这种攻击中，攻击者只需在提示开头添加一行预填充文本（例如“Sure, here is”），就能使经过安全对齐的大语言模型放弃拒绝回答有害请求的行为。论文
Policy-Conditioned Constrained Decoding for Column-Level Access Control in Text-to-SQL
该论文针对跨信任边界部署的Text-to-SQL系统面临的策略合规、答案覆盖和成本约束三重挑战，提出了政策条件约束解码方法PCC-SQL。现有方法通常基于查询涉及的列来决定是否拒绝，并采用随机执行策略，但无法处理列的使用方式（如输出、过滤条
SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification
本文介绍了SingGuard-NSFA，一个面向Agentic AI系统的安全护栏框架，旨在防御提示注入、敏感信息提取、恶意代码请求、危险工具滥用和资源耗尽等操作威胁。首先，作者提出了NSFA分类法，将185种风险变体组织成基于CIA三元组
One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions
该论文提出一种轻量级的LLM指纹识别与验证方法，仅需单token输出分布即可区分不同模型。当前LLM服务常通过不透明的API聚合器、转售商或推理提供商提供，客户端无法技术验证所调用模型是否与宣称一致，且已有审计发现相当比例的商用端点与供应商
Toward Stronger Code Watermarking: A Grammar-Driven Approach to Optimizing the Trade-off Between Quality and Detectability
随着大型语言模型（LLM）的快速发展，文本水印技术成为识别机器生成内容的关键手段。然而，现有基于logits的水印方法直接应用于代码生成时面临挑战：代码的低熵特性加剧了代码质量与水印可检测性之间的权衡。本文提出一种名为Grammar-Dri
A Survey on LLM Watermarking: Theory and Deployment
本文是一篇关于大语言模型（LLM）水印技术的系统性综述，从理论和部署两个维度对现有研究进行了全面梳理。随着LLM在多个高影响力场景中的广泛应用，其生成的流畅文本带来了来源模糊、模型滥用和大规模内容洗稿等风险。LLM水印通过向模型输出中嵌入不