Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense
该论文揭示了在防御大型语言模型（LLM）免受间接提示注入攻击时存在安全性与保真度之间的固有权衡。传统攻击成功率指标无法区分模型忽略注入、将注入作为数据处理以及正确执行注入这三种情况，因此无法衡量保真度。为此，作者提出了SecFid基准测试，
#LLM-security
共收录 143 条相关情报。
← 返回所有主题RIPA: Sensory-Vector Prompt Injection Attacks on LLM-Controlled ROS 2 Robots
本论文提出了RIPA，首个针对基于ROS 2的LLM控制机器人系统的多通道感知向量提示注入攻击的系统性实证研究。研究在5个不同参数量（约4B至284B）的LLM上进行了每个攻击变体100次独立实验，涵盖DeepSeek-V4-Flash、L
On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models
该论文研究了大型语言模型（LLM）集成应用中 prompt injection 攻击的根本原因。作者证明，在共享嵌入架构中，如果缺乏强制性的控制与数据分离，完美防御 prompt injection 在数学上是不可能的。论文形式化定义了“提
Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution
该论文针对检索增强生成（RAG）系统面临的语料库投毒攻击问题，提出了一种轻量级检测框架TRACE。RAG系统通过检索外部文档来增强大语言模型的生成能力，但攻击者可向检索库中注入恶意文档，诱导模型输出特定目标答案。现有检测方法通常依赖额外的分
Security and Privacy in Retrieval-Augmented Generation: Architectures, Threats, Defenses, and Future Directions for Building Trustworthy Systems
本文是一篇关于检索增强生成(RAG)系统安全与隐私的综合性综述。RAG通过将外部知识库与大型语言模型结合，显著提升了事实性和适应性，但也引入了传统语言模型威胁之外的新风险。论文首先介绍了RAG的典型架构，包括集中式、设备端(Micro-RA
Exposing the Illusion of Erasure in Knowledge Editing for LLMs
本文研究了大型语言模型（LLM）中知识编辑（Knowledge Editing, KE）方法的可靠性与潜在安全漏洞。KE 旨在无需昂贵重训练即可更新模型中的特定事实，但最新研究发现其效果存在严重局限性。作者从对抗性诱发（adversaria
Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift
本文研究提示注入检测器在攻击分布迁移场景下的置信度校准问题。当前检测器通常将模型对输入的打分与固定阈值比较，决定是否拦截。然而，实际攻击分布（如间接注入、越狱变体）可能偏离模型训练或调优时使用的干净基准分布，导致检测器在未知攻击上表现不稳定
Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG
本文揭示了现代大语言模型（LLM）服务引擎中检索增强生成（RAG）和非前缀键值（KV）缓存融合机制存在的一类结构性安全漏洞。与以往需要严格线性前缀对齐的KV缓存侧信道攻击不同，本文发现基于分块感知内存调度的微架构机制会无意中泄露连续的“St
"What Happens Locally, Leaks Globally": Detecting Privacy Leakage Risks in MCP Servers
随着大语言模型（LLM）的广泛部署，模型上下文协议（MCP）已成为连接LLM与外部资源的事实标准。然而，MCP协议本身引入了一类隐私泄露风险，现有工具难以检测。与传统的显式数据泄露不同，MCP服务器中的泄露主要是协议诱导的：凭据、API密钥
FFinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming
该论文提出了FFinRED，一个专家引导的金融领域大语言模型（LLM）红队测试基准生成与评估框架。现有安全基准主要针对通用对抗性场景，缺乏金融特有的风险（如监管违规、欺诈助长、系统性信任侵蚀）。FFinRED通过与金融专家合作，采用新颖的两
A Layered Security Framework Against Prompt Injection in RAG-Based Chatbots
该论文针对检索增强生成（RAG）聊天机器人面临的提示注入攻击，特别是间接注入（通过污染知识库文档实现攻击），提出了一种三层防御框架。第一层（输入过滤层）使用基于规则的模式库和微调的语义异常分类器对用户输入进行筛查。第二层（上下文组装层）在执
OpenAnt: LLM-Powered Vulnerability Discovery Through Code Decomposition, Adversarial Verification, and Dynamic Testing
大规模代码库的自动化漏洞发现仍然面临挑战：传统静态分析误报率高，而动态方法（如模糊测试）需要大量基础设施且通常针对狭窄的漏洞类别。近年来，大型语言模型（LLM）的进展使得对程序行为进行语义推理成为可能，但将LLM应用于仓库级安全分析会遇到上
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
该论文系统评估了基于提示的防御机制对领域伪装注入攻击的效果。领域伪装注入攻击是一种利用领域特定词汇将恶意指令嵌入检索内容中，从而绕过依赖语法注入标记的标准检测器的攻击方式。研究者在三个模型家族（Claude Haiku、Llama 3.1
PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents
本文针对基于大语言模型（LLM）的智能代理在真实企业文档场景下面临的提示注入攻击防御问题展开研究。现有防御方法主要依赖合成基准测试进行评估，但在实际企业文档（如SEC文件、联邦公报规则、PubMed摘要、arXiv论文和GitHub事后分析
The Proxy Knows Too Much: Sealing LLM API Routers with Attested TEEs
本文研究了大型语言模型（LLM）API路由器存在的安全风险。当AI代理通过API路由器访问LLM时，路由器会终止客户端的传输层安全会话并建立新的上游会话，导致路由器能够获取完整的明文交互内容。这使得路由器成为应用层中间人攻击者：它可以改写代
SPARK: Security Knowledge Priming and Representation-Guided Knowledge Activation for LLM-based Secure Code Generation
大型语言模型（LLM）在生成代码时频繁引入可利用的安全缺陷。现有防御方法通常依赖繁重的微调或外部知识检索，带来显著的计算开销和冗余代码示例导致的数据偏差。本文提出一种相反观点：预训练语料库中已包含丰富的安全知识，缺陷在于激活不足——缺乏明确
Your "Pro" LLM Subscription May Actually Be "Free": Exposing Fingerprint Spoofing Risks in LLM Inference Services
大型语言模型（LLM）API的广泛使用使得用户依赖黑盒指纹识别来验证服务提供商是否真正部署了所宣称的优质模型。然而，现有指纹识别方法可能忽视恶意提供商通过操纵模型权重来欺骗指纹检测的风险。本研究提出了一种名为“指纹欺骗”（fingerpri
PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections
随着大型语言模型（LLM）从单纯的文本生成器迅速演变为能够与外部工具和环境交互的智能体系统，新的安全风险也随之出现，其中最具威胁的是间接提示注入攻击——攻击者通过不可信的外部数据源（如网页、数据库、API响应）向LLM agent注入恶意指
Smarter Saboteurs, Better Fixers: Scaling & Security in Linear Multi-Agent Workflows
本文研究基于大语言模型的多智能体系统（MAS）在面临敌对攻击时的鲁棒性问题，特别关注模型规模与系统级安全之间的关系。作者在HumanEval基准上，使用两个开源模型家族（不同参数量）进行实验，评估线性多智能体工作流的安全性。实验发现一种“服
SAIGuard: Communication-State Simulation for Proactive Defense of LLM Multi-Agent Systems
该论文针对基于大语言模型（LLM）的多智能体系统（MAS）面临的安全威胁，提出了一种主动防御框架 SAIGuard。在 MAS 中，智能体通过通信协作完成复杂任务，但攻击者可利用恶意消息在智能体间传播风险，导致系统级故障。现有防御方法多为被