共收录 176 条相关情报。
← 返回所有主题本论文对六种主流大语言模型（DeepSeek、GPT、Gemini、Grok、Llama 和 Qwen）在提示注入攻击下的脆弱性进行了实证评估。研究设计了包括直接提示注入和多阶段混淆攻击在内的多样化对抗性提示场景，并跨越多种语言和字符编码（
本论文提出了RIPA，首个针对基于ROS 2的LLM控制机器人系统的多通道感知向量提示注入攻击的系统性实证研究。研究在5个不同参数量（约4B至284B）的LLM上进行了每个攻击变体100次独立实验，涵盖DeepSeek-V4-Flash、L
该论文研究了大型语言模型（LLM）集成应用中 prompt injection 攻击的根本原因。作者证明，在共享嵌入架构中，如果缺乏强制性的控制与数据分离，完美防御 prompt injection 在数学上是不可能的。论文形式化定义了“提
该论文聚焦于LLM Agent（大语言模型驱动的智能体）在面对间接提示注入攻击时的防御策略。近期（2024-2026）的研究趋势是从训练模型拒绝恶意指令转向在模型之外通过确定性策略实施安全防御，即带外防御（out-of-band defen
本文研究提示注入检测器在攻击分布迁移场景下的置信度校准问题。当前检测器通常将模型对输入的打分与固定阈值比较，决定是否拦截。然而，实际攻击分布（如间接注入、越狱变体）可能偏离模型训练或调优时使用的干净基准分布，导致检测器在未知攻击上表现不稳定
该论文针对检索增强生成（RAG）聊天机器人面临的提示注入攻击，特别是间接注入（通过污染知识库文档实现攻击），提出了一种三层防御框架。第一层（输入过滤层）使用基于规则的模式库和微调的语义异常分类器对用户输入进行筛查。第二层（上下文组装层）在执
该论文关注于将形式化工具（如SAT和SMT求解器）集成到语言模型推理流程中所产生的“叙述差距”问题。在安全或安全关键场景中，问题可被形式化为逻辑公式，求解器提供可验证的正确答案，但最终用户看到的是由LLM将求解器输出转化为自然语言叙述的结果
该论文提出 CodeSentinel，一种针对代码大语言模型（Code LLM）中间接提示注入攻击的三层推理时防御系统。研究背景：代码大语言模型在编程辅助中常从外部仓库、文档、问题线程和编码智能体环境检索代码上下文，攻击者可利用此过程在注释
该论文系统评估了基于提示的防御机制对领域伪装注入攻击的效果。领域伪装注入攻击是一种利用领域特定词汇将恶意指令嵌入检索内容中，从而绕过依赖语法注入标记的标准检测器的攻击方式。研究者在三个模型家族（Claude Haiku、Llama 3.1
本文研究了Handlebars模板引擎在LLM提示构造中的安全风险，特别是三括号插值（{{{x}}}）与双括号插值（{{x}}）对结构角色注入攻击的影响。Handlebars是Microsoft Semantic Kernel默认的提示模板
本文针对基于大语言模型（LLM）的智能代理在真实企业文档场景下面临的提示注入攻击防御问题展开研究。现有防御方法主要依赖合成基准测试进行评估，但在实际企业文档（如SEC文件、联邦公报规则、PubMed摘要、arXiv论文和GitHub事后分析
本文针对LLM智能体面临的间接提示注入攻击（攻击者通过第三方数据嵌入恶意指令）提出了一种新的防御方法RETA。现有防御方法在静态基准测试中近乎零攻击成功率，但在自适应攻击评估中性能大幅下降。作者分析指出两大失效原因：一是现有防御仅识别特定攻
大型语言模型驱动的Web代理（Web Agent）正越来越多地被部署在真实环境中，它们需要处理不可信的网页内容并执行具有直接后果的操作，因此容易受到提示注入攻击——看似良性的内容中嵌入对抗性指令以操纵代理行为。现有的安全基准采用“攻击中心”
随着大型语言模型（LLM）从单纯的文本生成器迅速演变为能够与外部工具和环境交互的智能体系统，新的安全风险也随之出现，其中最具威胁的是间接提示注入攻击——攻击者通过不可信的外部数据源（如网页、数据库、API响应）向LLM agent注入恶意指
本文研究基于大语言模型的多智能体系统（MAS）在面临敌对攻击时的鲁棒性问题，特别关注模型规模与系统级安全之间的关系。作者在HumanEval基准上，使用两个开源模型家族（不同参数量）进行实验，评估线性多智能体工作流的安全性。实验发现一种“服
该论文系统评估了针对LLM Agent的自动提示注入攻击方法。在Agentic环境中，LLM Agent会与不可信的外部数据交互，间接提示注入成为关键威胁。然而，在现实Agent场景下，自动攻击方法（如用于越狱的GCG和TAP）尚未被充分探
本文针对大型语言模型在多轮交互中长期上下文推理的安全性问题展开研究。在多轮对话中，LLM需要维护一个动态演变的上下文，而不仅仅是生成孤立回复，这使得模型容易受到提示注入和上下文投毒攻击——攻击者通过注入局部的看似合理的对抗性片段，逐步扭曲模
本文针对脑机接口（BCI）到大型语言模型（LLM）智能体的管道提出了一个新型攻击面：脑提示注入（brain-prompt injection）。该管道将解码的神经活动作为工具使用智能体的授权通道，但攻击者可通过信号侧扰动、上下文仅注入和自适
本文揭示了基于检索增强生成（RAG）的大语言模型（LLM）推荐系统中一种可重复的安全训练失效模式，称为“注入悖论”。该现象表现为：嵌入在检索文档中的提示注入（prompt injection）非但没有帮助攻击者提升目标品牌推荐率，反而由于模
检索增强生成（RAG）系统通常将用户查询、检索文档、元数据、系统标签和任务指令序列化为一个自然语言提示。本研究揭示了一种源权威边界失效模式：攻击者控制的检索文本可以冒充元数据、来源、权威或披露策略信号，这些信号对模型而言呈现为控制相关信息。