CAITLYN: Can LLM Agents Autonomously Synthesize Defenses against Emerging Injection Attacks?
本文针对大型语言模型（LLM）代理面临的提示注入攻击问题展开研究。提示注入攻击通过在代理检索的外部文本源中嵌入恶意指令或内容，诱导底层LLM执行超出其良性范围的危险操作。现有防御方法虽然能对抗已知注入攻击，但在LLM代理环境中部署仍存在困难
#prompt-injection
共收录 176 条相关情报。
← 返回所有主题The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection
本文提出了一种名为“潜在诊断分类法”（Latent Diagnostic Taxonomy）的框架，用于构建作为安全防护层的分类器，并开发配套的诊断机制，以识别分类器哪些高置信度决策是可信任的。该框架包含三个核心步骤：首先，构建维度优化的分
WebMCP-Phalanx: Enforcing and Characterizing Trust Boundaries for Browser-Integrated LLM Agents
本文针对新兴的 W3C WebMCP 提案在浏览器环境中集成大语言模型（LLM）代理时引入的安全信任边界问题展开研究。WebMCP 允许网页向 LLM 代理暴露可调用的工具，但在多参与者 Web 环境下，现有以同源策略（SOP）为核心的浏览
Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
本文针对大语言模型（LLM）面临的提示注入（Prompt Injection）攻击提出了一种新的防御思路。研究指出，当前模型仅能感知输入的令牌（tokens），虽然服务端清楚每个文本片段属于用户输入、工具输出还是指令，但模型自身却需要自行追
Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds
本文研究了大语言模型（LLM）在复杂生态系统（如代码代理）中面临的间接提示注入（Indirect Prompt Injection, IPI）攻击的防御问题。IPI攻击利用模型无法区分“指令”与“数据”的固有弱点，通过恶意注入的指令操纵模型
SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
该论文聚焦于AI智能体面临的首要安全威胁——提示注入（Prompt Injection）。当智能体访问网站、文件或邮件等外部数据时，攻击者可在数据中嵌入恶意指令（如“忽略之前所有指令并执行攻击者任务”），从而操纵智能体行为。现有防御方法通过
TraceGrant: A Contract-Governed Security Framework for the Task-Effect Lifecycle of Networked LLM Agents
本文提出 TraceGrant，一个面向网络化大语言模型（LLM）智能体的合同化安全治理框架。网络化 LLM 智能体从电子邮件、云存储、日历、交易平台和 Web 服务检索信息以完成多步骤任务，这些任务会产生持久的外部效应。合法执行所需的内容
COPA: Continual Preference Optimization for Adaptive Prompt Injection Defense
本文针对大型语言模型（LLM）在面对不断演进的提示注入攻击时现有防御机制不足的问题，提出了一种持续偏好优化框架COPA。提示注入攻击通过将恶意指令嵌入用户输入或外部内容，可操控模型行为并绕过安全限制。现有防御大多采用静态策略，如固定的对齐目
Conjunctive Poisoning in AI Supply-Chain Applications
该论文研究大型语言模型（LLM）和视觉语言模型（VLM）在实际部署中的一类新型安全风险。现代AI推理流水线通常包含提示包装器（如模板、后处理脚本）和配置元数据（如JSON/YAML文件），这些文本工件共同影响模型输出。尽管模型权重和二进制文
Workspace Topology as an Attack Vector in Agentic Coding Assistants
本文针对智能体编程助手（agentic coding assistants）在开发工作区中广泛读取和利用第三方代码时引入的安全风险，提出并系统研究了一种新型攻击面——工作区拓扑（workspace topology）。作者将工作区拓扑定义为
ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents
本文提出 ToolHazard，一个可扩展的对抗性环境合成框架，用于评估和提升基于大型语言模型（LLM）的智能体在集成外部工具时的安全性。核心研究问题是：LLM 智能体在感知环境状态时，容易受到嵌入其中的间接提示注入攻击，但现有研究多依赖手
From Prompt Injection to Web Exploitation: Revisiting Classic Vulnerabilities in LLM-Integrated Applications
本文研究了大语言模型（LLM）集成应用中的一类新型安全威胁，即“LLM 中介的 Web 攻击”（LLM-mediated web attacks）。随着 LLM 越来越多地被集成到 Web 应用中，用于聊天机器人、工具调用和智能体流程，用户
Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection
该论文针对工具型大语言模型（LLM）智能体面临的间接提示注入（IPI）威胁展开研究。IPI 指攻击者将恶意指令嵌入外部观察数据中，从而操纵智能体的后续决策与行为。现有自适应攻击大多依赖对目标智能体进行反复查询和调整，但现实攻击者可能只有一次
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
检索增强生成（RAG）技术通过从向量知识库中检索语义相似的历史流量，使大语言模型能够对网络流进行分类并生成可读的入侵事件报告。然而，检索层的引入同时带来了知识投毒和提示注入等安全漏洞。本文提出 RAG-IDS，一个三层多智能体入侵检测框架，
BASIS: Breach-Aware Selective Prompt Injection Shielding with Prefill Attention Probes
大型语言模型（LLM）应用面临提示注入这一严重安全威胁，攻击者通过将恶意指令嵌入用户输入或外部数据来劫持模型行为。现有检测方法仅判断注入是否存在，并在检测到时一律拒绝响应，却忽略了关键事实：对于许多现代对齐模型而言，精心构造的指令可以抵抗大
The Anatomy of a Prompt Injection: A Component Model for Structured Analysis
该论文针对提示注入（Prompt Injection）攻击缺乏结构化描述的问题，提出了一种七组件模型，用于对提示注入工件进行形式化分析。自2022年提示注入被首次识别以来，虽然Agent能力不断进化、威胁行为者已将注入嵌入以破坏AI辅助安全
StepJack: Benchmarking Computer-Use Agent Safety Against Multi-Step Indirect Prompt Injection
该论文针对计算机使用智能体（CUA）面临的一种新型安全威胁——多步间接提示注入攻击进行了系统研究。传统间接提示注入将恶意指令直接嵌入网页等环境数据中，而本文提出的多步攻击将单一恶意目标自动分解为多个看似无害的子步骤，并分布到智能体导航路径上
PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents
本文针对智能家居助手在引入多模态大语言模型（MLLM）后产生的新型安全挑战展开研究。随着智能家居助手开始直接感知视频和音频，它们面临一个独特问题：如何区分真实用户指令与环境中看似指令的干扰内容，例如电视语音、屏幕文字、无意听到的对话等。作者
LoginTrap: Uncovering Task-Agnostic Phishing-Style Indirect Prompt Injection Attacks against LLM-based Web Agents
该论文研究基于大语言模型（LLM）的Web智能体所面临的一种新型安全威胁，即登录诱导型间接提示注入攻击。Web智能体通过观察网页内容并模拟用户执行浏览器操作来自动完成任务，而登录过程涉及凭证和敏感信息，是重要的身份验证边界。现有研究已表明恶
Breadcrumbing Search Agents
该论文研究基于大语言模型（LLM）的搜索代理面临的安全威胁。这类代理在信息检索任务中依赖外部工具返回的网页内容，而这些内容不可信，容易导致提示注入和意图劫持。以往的安全研究主要关注静态网页注入，但现代搜索代理会提出后续查询并对多个来源进行交