AgentAntibody: An Adaptive Immune System for Defending LLM Agents against Prompt Injection
本文针对大型语言模型（LLM）代理面临的提示注入（prompt injection）威胁，提出了一种基于自适应免疫原理的防御框架 AgentAntibody。研究背景是：现有防御方法将每个任务视为孤立问题，缺乏对先前遭遇的学习能力；而实际用
#prompt-injection
共收录 176 条相关情报。
← 返回所有主题Prompt Injection Attack to Tool Selection in LLM Agents.
本文研究了大语言模型（LLM）智能体中工具选择环节的安全漏洞。在典型的 LLM 智能体架构中，工具选择通常采用“检索-选择”两步流程：先从工具库中检索候选工具，再根据任务选择最合适的工具。作者提出一种名为 ToolHijacker 的新型提
Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs.
大型语言模型（LLM）已被集成到许多应用中（如Web Agent）以执行更复杂的任务，但其在处理外部数据时容易受到间接提示注入（Indirect Prompt Injection, IPI）攻击的威胁。攻击者将恶意指令隐藏于不可信的外部数据
ACE: A Security Architecture for LLM-Integrated App Systems.
本文研究 LLM 集成应用系统（LLM-integrated app systems）的安全性问题。这类系统通过第三方应用扩展大语言模型（LLM）的功能，系统 LLM 采用交错规划和执行的方式调用第三方应用来回答用户查询。然而，这种架构引入
When Prompts Control Robots: Prompt Injection Attacks in Multi-Agent Robotic Systems
本文研究了大语言模型（LLM）被集成到自主机器人系统中进行任务规划与控制时面临的安全威胁，重点聚焦于提示注入攻击在多智能体机器人系统中的影响。随着LLM在机器人领域的广泛应用，攻击者可以通过注入恶意指令操纵机器人的决策，导致不安全行为甚至物
Just Testing, Move Along: Evasion of LLM-based System Log Interpretation by Prompt Injection
本文研究大型语言模型（LLM）在安全运营中心（SOC）日志解释任务中面临的提示注入攻击威胁。随着LLM被用于辅助分析师处理系统日志，攻击者可能通过向日志条目中注入上下文信息或显式指令来操纵模型的解读结果，从而掩盖恶意活动。尽管LLM在日志分
ContainmentBench: Trace-Based Evaluation of Post-Injection Containment in Tool-Using LLM Agents
本文提出ContainmentBench，一个基于轨迹的基准测试，用于评估使用工具的LLM代理在遭受提示注入后的遏制能力。现有的评估通常只关注端点安全（如是否达成攻击目标或策略违规），但相同端点结果可能掩盖不同的暴露后轨迹和授权效用损失。C
LLMThief: Evaluating Configuration Leaking Risks in Commercial LLM App Stores.
本文研究了商业大型语言模型（LLM）应用商店中的配置泄露风险，提出了一种名为LLMThief的攻击方法。该方法通过精心设计的提示注入，利用LLM应用对外部输入的处理缺陷，成功从多个主流应用商店（如OpenAI GPT Store、百度文心一
CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization
本文研究了文本协作提示优化（TCPO）中的提示注入风险。TCPO 扩展了 Textgrad 框架至去中心化设置，允许多个客户端联合优化大语言模型（LLM）的提示词，同时保持数据本地化。然而，TCPO 依赖自由形式的文本更新和聚合，引入了新的
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
该论文研究了基于记忆的智能体系统（agentic systems）中的提示注入攻击风险。随着智能体系统通过记忆文件、行为偏好和知识库来跨会话维护持久状态，它们变得更实用和能自我改进，但也引入了新的攻击面：恶意指令可嵌入持久文件并影响未来行为
Context Contamination in LLM Analysis of Network Security Logs: Poison with Passive Prompt Injection and Mitigation Evaluation
该论文研究了大型语言模型（LLM）在安全运营中心（SOC）日志分析任务中的安全漏洞。作者指出，LLM 在分析网络日志时，会将日志内容作为自然语言上下文处理，这引入了一种关键威胁：攻击者可以在日志生成字段中嵌入提示注入载荷，这些载荷持久化存储
Composable Trust for Language Models: A proven boundary and a measured defense
该论文针对语言模型中指令与数据共享同一token流导致难以防御提示注入的问题，提出了一种可组合的信任模型。核心思想是将决策权外置于模型之外，由代码根据输入源的信任等级决定操作执行权限：低信任源可以提供信息但不能覆盖高信任源的指令。论文设计了
PVDetector: Detecting Prompt Injection Attacks on Purpose-Specific LLM Agents through Policy-Violation Concept Analysis
随着大型语言模型（LLM）被越来越多地部署为针对特定目的智能代理（如客服、代码生成），它们不仅要遵守通用安全护栏，还需遵循针对其角色设计的特定目的限制。这些额外限制扩大了攻击面，特别是提示注入（PI）攻击。现有的检测方法主要依赖输入-输出模
Defending Language Models Against Image-Based Prompt Attacks via User-Provided Specifications.
本文聚焦于多模态大语言模型（MLLM）面临的基于图像的提示注入攻击防御问题。随着聊天机器人系统广泛支持图像与文本混合输入，攻击者可通过恶意构造的图像绕过文本层面的安全机制，而现有防御手段仅针对文本数据，对此类攻击几乎无效。为此，作者提出了一
NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations
本文研究了在大型语言模型（LLM）代理用于网络运维（例如处理工单、告警、日志、运行手册和ChatOps消息）时面临的间接提示注入攻击问题。这类攻击可能使代理执行非预期的工具调用，导致安全风险。为此，作者提出了NetInjectBench基准
Prismata: Confining Cross-Site Prompt Injection in Web Agents
本文提出 Prismata，一种针对自主 Web 智能体（web agent）的跨站提示注入攻击的防御框架。背景：自主 Web 智能体旨在自动化日常浏览任务，但继承了 Web 最古老的攻击面之一——跨站脚本攻击（XSS）表明混合可信与不可信
Untrusted Content Masking for Web Agents with Security Guarantees
本文针对Web代理面临的提示注入攻击问题，提出了一种名为“不可信内容遮蔽”（Untrusted Content Masking, UCM）的防御方法。在基于文本的工具调用API等环境中，可信指令与不可信数据天然分离，代理可以基于接口定义进行
SecAlign: Defending Against Prompt Injection with Preference Optimization.
本文提出一种基于偏好优化的防御方法 SecAlign，用于缓解大型语言模型（LLM）面临的提示注入攻击。在 LLM 与外部数据源（如用户文档、网络检索结果、API 返回等）交互时，攻击者可将恶意提示注入这些外部内容，覆盖系统原有指令并执行恶
DualView: Preventing Indirect Prompt Injection in Personal AI Agents
本研究针对个人AI代理（如OpenClaw）面临的间接提示注入（IPI）攻击，特别是存储型IPI攻击，提出了一种名为DualView的新型防御机制。现有基于双LLM的防御（如Dual LLM）仅在代理的上下文中追踪不可信数据，将其替换为符号
Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense
该论文揭示了在防御大型语言模型（LLM）免受间接提示注入攻击时存在安全性与保真度之间的固有权衡。传统攻击成功率指标无法区分模型忽略注入、将注入作为数据处理以及正确执行注入这三种情况，因此无法衡量保真度。为此，作者提出了SecFid基准测试，