HoneyRoute: Honeypot-Model Routing for Adversarial LLM Serving
本文提出了一种名为 HoneyRoute 的推理服务层，用于在面向对抗性的大语言模型（LLM）服务中检测恶意请求并将其路由到专用蜜罐模型，从而保护生产模型，同时持续收集攻击者交互并转化为情报。现有防御通常将陷阱嵌入模型内存或在协议层重建欺骗
#cs.CL
共收录 424 条相关情报。
← 返回所有主题MOLE: Detecting Insider Threats in AI Agents
该论文提出了 MOLE（Monitoring for Insider Threats in AI Agents），一个用于评估防御方能否在 AI Agent 操作的高权限账户中检测内部威胁的开源基准。研究背景是：模型未对齐、提示注入或操作者
Exact Record Omission in Delta Attention: A Transport Criterion, Its Cost, and a Replay Certificate
本论文研究大型语言模型中精确删除用户数据记录的问题。在具有循环记忆或混合架构（如线性注意力模型）中，数据记录被折叠进模型状态，用户请求删除时，模型的状态必须与从未存储该记录的状态一致才算完全遗忘。独立编码的行可以轻松移除，但循环记忆中的记录
AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories
本文提出 AURA-Eval，一个用于评估大语言模型智能体在工具调用轨迹中“风险感知下的行动”能力的框架。现有安全评估往往将行为简化为单一分数，难以区分模型是否真正识别风险、是否在行动前有预检测能力，以及在存在安全解决方案时能否安全完成任务
A Novel Semantic Manifold Alignment Attack against Embedding-to-Embedding Obfuscation in Privacy-Preserving LLMs
本文针对隐私保护大语言模型（LLM）推理中的嵌入到嵌入混淆（Embedding-to-Embedding Obfuscation, E2EO）机制提出了一种新的攻击方法——代理流形对齐（Proxy Manifold Alignment, P
A Translational Note on AI Safety Evaluation
该论文是一篇关于AI安全评估方法的评论性研究，聚焦于自动化红队与人工红队在标准AI安全基准上的表现对比所引发的误读。近期研究声称自动化红队能以更低成本发现更多漏洞，并有人据此认为人工评估者正变得可有可无。作者指出，这种比较存在根本性的测量与
Structurally Close, Temporally Distant: Measuring Security Exposure in Long-Horizon LLM Agents
长期运行的大语言模型（LLM）智能体在与不受信任的内容、持久化内存、外部状态和敏感工具交互时，面临严重的安全风险。现有的安全分析往往以恶意输入与下游动作之间的执行步数来衡量攻击的距离，但本文指出，对于有状态的智能体，这种时间上的距离可能高估
Flip, Don't Shuffle: Watermarking LLMs at the Speed of Inference
该论文提出了一种名为 Stateless Bernoulli Watermarking（SBW）的新型大语言模型（LLM）文本水印方法，旨在以极低的计算开销实现可靠的模型输出标记与检测。与现有方法如 KGW（基于词汇置换和固定大小绿名单）和
Rent-a-RAG: Embedding-Space Watermarks for Auditing Third-Party RAG
第三方检索增强生成（RAG）市场带来了新的审计问题：数据提供商将语料库授权给RAG运营商后，无法得知其文档是否被未经补偿地重复使用。由于运营商不合作、生成器会改写答案、且单次响应可能结合多个提供商的证据，审计尤为困难。为此，论文提出DirB
Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization
生成式引擎优化（GEO）是一种通过操纵网页内容来提升其在生成式搜索引擎中可见度的技术，类似针对传统搜索引擎的SEO。然而，该技术可被攻击者滥用：他们制作看似普通但经过特殊优化的文档，当受攻击的大语言模型（LLM）在检索增强生成过程中获取并综
Transfer Safety Awareness for Cross-Modal Safety Drift in Multimodal Large Language Models
本研究聚焦于多模态大语言模型(MLLM)中一种新的安全风险——跨模态安全漂移。视觉模态虽然增强了模型的能力，但也为攻击者提供了新的利用路径：一段在纯文本场景下看似无害的查询，一旦配上特定的视觉图像，就可能表达出被模型间接解读的恶意意图，而模
Privacy-Preserving Heterogeneous Multi-LLM Federated Inference for Cognitive Diagnosis
本研究针对 AI 驱动的教育系统在隐私保护与准确认知诊断之间难以兼顾的显著挑战，提出了一种隐私保护的多 LLM 联邦推理框架。传统方法通常需要集中学生原始数据或直接访问商业模型内部，导致隐私风险。该框架允许多个商业 LLM API（例如 L
Membership Inference in Fine-tuned Diffusion Language Models via Token-level Memorization Asymmetry
该论文关注扩散语言模型（DLMs）的隐私风险，这类模型作为自回归语言模型的替代方案，具备并行生成与双向上下文建模等优势，但其成员推理攻击等隐私问题尚未被充分研究。作者首先通过扩散训练动力学的理论分析，识别出一种称为“token级记忆不对称性
Ranked by the Matcher: A Reproducibility Audit of Knowledge Graph Extraction from Threat Reports
该论文针对威胁报告知识图谱提取工具评估的可复现性问题进行系统审计。研究者注意到工具发布时引用的三元组F1分数高度依赖于预测三元组与黄金标注之间的匹配规则，而匹配算法（精确匹配、同义词、嵌入相似度等）的选择会显著影响最终得分。作者检查了12个
EvoFlint: An Evolutionary Atlas of Multi-Turn LLM Vulnerabilities
前沿语言模型通常会拒绝有害的单轮提示，但在多轮交互中，当用户逐渐表达恶意意图时，模型可能会妥协，这种现象被称为多轮攻击。现有自动化红队方法多将攻击视为生成问题，产生一系列单次成功的攻击示例，但缺乏对模型失败模式的系统性理解。本文作者提出将多
TRIS: A Tri-Layer Retrieval Integrity Sieve Against Knowledge Poisoning
这篇论文提出了一种针对检索增强生成（RAG）系统的知识投毒攻击防御框架。研究背景是：RAG通过外部语料库为大型语言模型提供事实依据，但系统对检索文档的隐式信任构成了严重攻击面。已有研究（如PoisonedRAG）表明，仅需少量精心构造的恶意
The Fragility of Jailbreak Robustness Across Operational States
该论文研究大语言模型在面对越狱攻击时的鲁棒性评估问题。现有评估通常只在默认配置（香草状态）下测量单一的攻击成功率（ASR），但实际用户与LLM的交互可能产生多种非默认的操作状态。作者发现，越狱鲁棒性对操作状态变化高度敏感：即使攻击方法完全不
SingProbe Technical Report
大型语言模型（LLM）在生产环境中的可靠部署高度依赖运行时安全防护栏（runtime guardrails）。然而，现有防护方案大多采用独立的外部模型，不仅带来额外的推理开销，还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
Beyond the Payload: How User Invocation Shapes Coding Agent Vulnerability to Repository Poisoning
该论文研究编码智能体（coding agents）在从第三方代码仓库引导项目时所面临的仓库投毒（repository poisoning）风险。以往研究主要关注攻击者控制的注入与伪装手段，但本文提出一个被忽视的维度：开发者的日常调用选择——
AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes
本文针对商用LLM API中模型身份被悄悄替换（如用较小模型替代、量化或包装）导致的不透明现象，提出了一种新的审计方法。现有审计大多基于文本输出通道来判断模型身份，但在代理型（agentic）API场景中，由于模型调用工具时服务堆栈（如Op