Towards Demystifying and Repairing LLM-in-the-Loop Vulnerabilities
本文针对大型语言模型（LLM）集成到现代软件系统中引入的新型安全风险——LLM-in-the-loop漏洞进行了系统研究。现有工作多从传统软件漏洞角度分析，忽略了LLM及其依赖的下游组件（如框架）带来的独特危害。为填补这一空白，作者构建了首
#LLM
共收录 2152 条相关情报。
← 返回所有主题Echoes within the Reasoning: Stealthy and Effective Watermarking via Chain of Thought
这篇论文研究了大语言模型（LLM）中链式思维（Chain-of-Thought，CoT）推理能力的知识产权保护问题。现有黑盒水印方法通常通过扰动最终答案或依赖脆弱的触发模式来权衡鲁棒性与推理保真度，导致水印易被移除或影响推理质量。作者提出
SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning
检索增强生成（RAG）通过引入外部知识库来缓解大语言模型的幻觉问题，但同时也引入了语料库完整性的新攻击面。本文提出 SilentRetrieval，一种两阶段数据投毒攻击，能够在不破坏文档流畅性的前提下劫持 RAG 系统。第一阶段使用协调束
AgentGuard: An Attribute-Based Access Control Framework for Tool-Use LLM-Based Agent
本文提出一个名为AgentGuard的基于属性的访问控制框架，旨在解决基于大语言模型（LLM）的智能体在自主调用工具时面临的安全风险。LLM智能体能自动调用多种工具完成复杂任务，但现有应用存在隐私泄露、财产损失甚至系统被完全控制的风险。Ag
SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection
论文 SPARD 针对大型语言模型在微调过程中安全对齐被破坏的问题，尤其是有害微调攻击（通过对抗性数据移除安全防护并引发不安全行为），提出了一种防御框架。该框架包含两个核心组件：1）安全投影交替优化（SPAG），在效用更新与显式安全投影之间
Can It Reach the Generator? Investigating the Survival of Prompt-Injection Attacks in Realistic RAG Settings
该论文重新评估了生成式引擎优化（GEO）中的提示注入攻击在真实检索增强生成（RAG）系统中的有效性。先前的研究表明，通过提示注入可以将目标产品推至LLM推荐列表的顶部，成功率约80%，但假设被攻击的文档始终直接输入生成器，忽略了检索器和重排
Cloak, Honey, Trap: Proactive Defenses Against LLM Agents.
本文提出了一套名为“Cloak, Honey, Trap”的主动防御框架，旨在保护LLM智能体（LLM Agents）免受恶意指令注入和操纵攻击。随着LLM智能体被广泛部署到自动决策、工具调用等场景，攻击者可通过诱导智能体执行未授权操作或泄
Symmetry Defeats Auditing
本文展示了一种针对内省适配器（Introspection Adapters）的攻击方法。内省适配器是一种用于审计大型语言模型内部状态的机制，旨在检测模型是否遵循安全约束。研究者发现，由于内省适配器依赖的对称性假设（例如，模型内部状态与审计信
MRMMIA: Membership Inference Attacks on Memory in Chat Agents
本文聚焦于聊天代理（chat agent）记忆系统中的成员推断攻击（MIA）。现有MIA研究主要针对训练语料库或检索数据库，但代理记忆包含敏感的用户-代理交互、检索事实和用户偏好，其隐私泄露风险尚未被充分探索。作者提出了一种统一的攻击方法—
QSignAI: Quantum-Randomness-Seeded Identity Signatures at the Intersection of AI for Science and Science for AI
该论文提出了 QSignAI 平台，一个已部署的开源系统，展示了人工智能与量子科学在实时事件参与系统中的双向结合。研究背景是 2024-2025 年诺贝尔奖和图灵奖同时表彰人工智能和量子科学，但现有身份系统仍依赖伪随机令牌，量子电路对大众不
AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?
本文提出了 AgenticVBench，一个用于评估多模态 AI 智能体在真实世界视频后期制作任务中表现的全新基准。视频制作工作流需要智能体具备文本、图像、音频、视频的综合理解能力，以及长期规划和工具使用能力。该基准包含来自 20 位平均
Poison with Style: A Practical Poisoning Attack on Code Large Language Models
本文提出一种名为Poison-with-Style (PwS)的实用且隐蔽的模型投毒攻击，针对代码大语言模型（CLLM）。与以往假设攻击者能够在推理时主动将显式触发器（如特定单词）嵌入开发者提示中的攻击不同，PwS利用开发者的代码风格作为隐
On the Origin of Synthetic Information by Means of Steganographic Inheritance
该论文类比生物学中的物种起源，探讨了合成信息（如AI生成内容）的溯源问题。核心挑战在于：当代AI模型生成的“后代”数据可能在结构和信号层面与原始来源差异巨大，导致进化谱系难以追踪。受遗传学启发，作者提出一种基于隐写术的谱系追踪机制：在合成信
Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
本文针对检索增强生成（RAG）系统中的缓存安全问题展开研究。现代RAG部署广泛使用缓存来降低token成本和时间至首token延迟（TTFT），其中前缀级KV复用已是标准做法，但输出级的语义答案缓存仍然脆弱：相似提示可能映射到不同正确答案，
BAIT: Boundary-Guided Disclosure Escalation via Self-Conditioned Reasoning
本文提出一种名为 BAIT (Boundary-Aware Iterative Trap) 的三步越狱框架，旨在通过内部披露的方式使大型语言模型泄露恶意内容。该方法首先要求模型识别其保护边界（如内容安全策略），然后让模型细化该边界，最后请求
On the Hidden Costs of Counterfactual Knowledge Training in LLM Unlearning
本文深入研究了大型语言模型（LLM）遗忘中的反事实调优（CFT）范式。CFT通过训练模型生成替代的虚构知识来取代不需要的内容，是一种有前景的遗忘方法。然而，作者发现CFT在某些方面仍不如其他遗忘范式，并揭示了两个被忽视的缺陷：（1）知识冲突
Lessons from Penetration Tests on Large-Scale Agent Systems
本文总结了2025年对两个专有AI代理产品进行的渗透测试结果，评估了具有执行能力的AI代理系统的安全态势。随着AI系统自主性和执行能力的增强，安全漏洞数量持续上升，但许多漏洞并非新颖，而是反映了此前计算系统中长期存在的弱点类别。执行型AI代
Cordon-MAS: Defending RAG against Knowledge Poisoning via Information-Flow Control
该论文针对检索增强生成（RAG）系统面临的知识投毒攻击，提出了一种基于信息流控制的防御框架CORDON-MAS。研究发现，现有防御方法（如污染检测）存在监控-控制差距：模型能够检测到检索结果中的矛盾证据，但仍会基于被污染的文档生成有害输出。
Cordyceps: Covert Control Attacks on LLMs via Data Poisoning
大型语言模型（LLM）通常使用未经过滤的文本数据集进行微调，而对手可以污染这些数据集。现有的数据投毒攻击主要依赖于固定的触发短语，这些短语可以被异常检测、干净数据正则化或在线监控等防御手段中和。本文提出了一种新的数据投毒方法，通过共享知识（
GradSentry: Gradient Spectral Entropy for Backdoor Sample Filtering in Large Language Model Fine-Tuning
该论文提出了一种名为GradSentry的后门样本过滤方法，用于防御大语言模型（LLM）微调过程中的后门攻击。研究背景是：在微调LLM时，使用不可信的数据集可能引入后门攻击，其中被投毒的样本会导致模型在特定触发器下产生恶意行为。现有的样本过