CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering
该论文针对 LLM 智能体面临的间接提示注入（indirect prompt injection）问题——即被检索回来的不可信文本被模型当作指令执行，从而导致工具调用被劫持——提出了一种推理时（inference-time）的模型内部防御方
#prompt-injection
共收录 176 条相关情报。
← 返回所有主题Render Before Reading: Visual Rendering as a Prompt Injection Defense
该论文研究大语言模型（LLM）面临的提示注入攻击，重点考察对抗内容的输入模态对攻击效果的影响，并提出一种免训练的防御方法。作者首先提出一个关键观察：多模态 LLM 在对抗性指令以纯文本形式出现时，比同一指令通过非文本通道（例如渲染成图像，或
Tracekit: Tamper-Evident Intent-Reasoning-Action Auditing for Autonomous Coding Agents
Tracekit 是面向自主编码代理的开源、无依赖审计系统，针对的核心问题是：编码代理会读取不可信文件、执行 shell 命令、派生带极少监督的子代理，但事后留存的往往只是可被随意编辑的日志，无法作为可信证据。Tracekit 为每个代理会
Share-Borne AI Virus: Memory-Hopping Attacks Across LLM Agents
这篇论文研究的是「共享产物驱动的 AI 病毒」这一失效模式：当 LLM 被部署为有状态助手（能够跨会话保留记忆，并能通过工具读写、修改、创建持久化产物）时，这些产物在用户之间共享，就构成了一条间接通信通道，使原本相互独立的助手之间产生了隐式
Same Bytes, Different Authority: Reserved-Token Representations in Chat-Template Prompt Injection
该论文研究 LLM 智能体场景下的提示注入（prompt injection）问题，聚焦一个以往被忽视的细节：当注入指令被模型自身的聊天模板标记（如 <|im_start|> 这类保留控制标记）包裹时，攻击效果会显著增强。核心观察是，同一段
LENS: The Sum Is Worse Than the Parts for Set-Level Poisoning in Retrieval-Augmented Generation
该论文研究检索增强生成（RAG）系统在「集合级」投毒场景下的新型脆弱性。传统观点认为 RAG 通过聚合多篇外部文档来提升答案可靠性，但作者指出：这种联合整合本身会引入一个被忽视的攻击面——单篇文档各自看起来都合理无害，但把它们作为整体一起送
DGF-Bench: A Benchmark for Simulating and Auditing Deception Against Multi-Agent Governance Boards
DGF-Bench 是一篇面向多智能体（multi-agent）治理决策场景的评测基准论文，作者 Jeremy Canale，归类 cs.AI。其核心问题是：当由语言模型驱动的智能体代替企业治理委员会来评审项目时，它们需要阅读证据、套用成文
MMSkillRisk: Can Agents Stay Safe When Multimodal Skills Become Traps?
该论文关注 AI Agent 技能（Agent Skills）生态中的一个新攻击面：技能是可在社区中共享、复用的程序化包，通常包含指令文本、工具定义和示例；多模态技能在此基础上还附带视觉参考图，Agent 在执行时会主动检索并"查看"这些图
CoDeL: Co-Evolutionary Defense against Indirect Prompt Injection in LLM-based Agents
该论文研究 LLM 智能体面临的间接提示注入（IPI）防御问题。作者指出，虽然基于训练的防御通常被认为最可靠，但现有方案多在静态、显式的注入分布上优化，学到的是表面形式线索，而非“服务用户目标”与“服从注入目标”之间的本质边界；因此当恶意意
Certified Multi-Source Integrity for Structured Agent Actions
该论文研究的是 LLM 智能体（agent）在执行高权限、往往不可逆的结构化操作（例如「支付某张发票」）时，如何对其动作完整性与来源可信性进行可证明的认证。作者指出当前威胁模型的关键特点：智能体并不是从一个单一可信答案中取值，而是从多份文档
Climbing the Hill: Prompt Injection Red-Teaming Against Frontier Models with Curriculum Reinforcement Learning
该论文聚焦大语言模型（LLM）及其衍生的智能体（agent）应用所面临的提示注入（prompt injection）安全风险，研究如何自动化地对前沿模型开展红队测试。现有基于强化学习（RL）的红队方法通常训练一个“攻击者 LLM”来生成注入
Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation
该论文研究的是"基于模型的判别器"(model-based judges)能否可靠支撑智能体的自动化安全决策。背景是:LLM 智能体在运行中需要实时判断外部输入是否包含提示注入、是否带来交互风险、是否为有害请求。所谓 System One
API Secrets Should Never Become Tokens in the LLM's Vocabulary: A Threat Analysis of API Credential Handling in LLM Agent Systems and an Empirical Evaluation of a Vault-Mediated Execution Boundary
这篇论文指出，随着具备工具调用能力的大模型（LLM）智能体被广泛部署，API 凭证管理的问题性质发生了根本变化：它不再只是"密钥存放是否加密"的存储安全问题，而升级为"密钥会不会进入模型执行链路"的执行安全问题。作者提出的核心论点是：一旦密
ORBIT: A Framework for Multi-Agent Safety and Security Evaluations
多智能体 LLM 系统正越来越多地被用于复杂、长周期的任务，同时也因智能体在真实环境中互相交互而自发形成。这类系统在带来任务泛化能力的同时，也引入了显著的安全与安全风险：支撑任务泛化的灵活通信协议同样暴露了新型威胁，从级联式提示注入（cas
Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection
本文聚焦 LLM Agent 安全评测的「有效性」问题。当 LLM Agent 能够调用具备特权能力的工具（文件读写、邮件发送、代码执行、外部 API 等）时，它就成为间接提示注入（IPI, Indirect Prompt Injectio
AgentXploit: Autonomous Repository-to-Runtime Red-Teaming for AI Agents
该论文研究 AI Agent 在授权白盒、部署前审计场景下的安全性评估问题。作者指出，现代 AI Agent 将大语言模型与可修改文件、调用 API、执行代码的外部数据和工具结合，安全失效可能来自两个层面：一是外部对抗性内容改变了 Agen
AuthGuard-R: Safety-Compliant Mission Hijacking and Dual-Gate Defense for LLM-Controlled Robots
该论文关注 LLM 作为机器人高层规划器（移动机器人、机械臂、自动驾驶车辆）时出现的一类被忽视的安全问题。现有研究已表明，这类系统可被恶意文本、语音、视觉指令、检索到的文档以及被污染的传感器上下文所影响，而当前大多数防御只回答一个问题：候选
MetaPermit: Scalable and Auditable Access Control for AI Agents via LLM-Inferred Meta-Attributes
自主 AI agent 配合工具使用带来了显著安全风险，既包括非预期的工具误用，也包括通过间接提示注入（IPI）实现的对抗性操纵。实践中，OpenAI Codex、Claude Code 等已部署的 agent 系统采用"粗粒度权限规则 +
Crypto-bound identity-verified capability tokens for coordinating distributed AI agents: A proposal
该论文针对由高能力大语言模型驱动的自主事务型智能体（autonomous transactional agent）提出了一套身份与授权安全框架。研究背景是：随着 LLM 能力提升，企业对自适应任务编排和受约束的自主决策产生了强烈需求，但每个
Prompt Injection Detection for Email Agents Through Attack Chain Modeling
该论文研究的是 LLM 邮件助手面临的一类现实威胁：间接提示注入。由于邮件助手会从不可信的邮件正文、引用内容或历史线程中检索文本并放入模型上下文，攻击者只需在邮件中埋入指令，就可能影响助手后续的工具调用行为（如发送、转发、读取、修改日程等）