#prompt-injection

共收录 176 条相关情报。

← 返回所有主题
学术论文2026-05-18 发布INFO

An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments

本文针对基于大型语言模型(LLM)的聊天机器人代理,研究了一种通过间接提示注入实现隐私泄露的攻击链。研究背景是:LLM代理通过结合自然语言推理和外部工具(如网页浏览)来处理用户请求,这提升了可用性,但也带来了安全风险,因为不可信的外部内容可

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-18 发布INFO

LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injectio

该论文提出了 LivePI(Live Prompt Injection),一个针对 AI agent 间接提示注入风险的基准测试框架。随着 OpenClaw 等 AI agent 被部署在本地工作流中并访问外部工具,间接提示注入(IPI)风

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-18 发布INFO

ESLD (External Surrogate Latent Defense): A Latent-Space Architecture for Faster, Stronger Prompt-Injection Defense

该论文针对现代AI助手面临的提示注入(prompt injection)威胁,提出了一种名为ESLD(External Surrogate Latent Defense)的潜在空间防御架构。在智能体(agent)场景中,语言模型需要从多个来

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-17 发布INFO

AI Agents May Always Fall for Prompt Injections

本文聚焦于AI代理中最关键的提示注入漏洞。作者首先指出现有的主流防御策略(数据-指令分离)存在根本性缺陷:它既无法检测通过上下文操纵(如误导性背景信息或角色扮演)发起的攻击,又会降低代理在正常场景下做出符合上下文的适当行为的能力。为了更系统

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-17 发布INFO

ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents

本文研究了大型语言模型(LLM)代理(agent)在寻求澄清(clarification-seeking)行为下的安全性问题。澄清行为通常被视为代理的理想属性,允许其在执行不明确任务前先解决歧义。然而,作者发现这种交互模式会显著增加代理对提

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-15 发布INFO

A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

本文提出一种针对大型视觉语言模型(LVLMs)的新型跨模态提示注入攻击方法CrossMPI。传统提示注入攻击通常局限于单一模态(如仅文本或仅图像),无法实现跨模态的提示扰动,即注入的提示只能影响模型对单一输入的解释。CrossMPI通过图像

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-14 发布INFO

WARD: Adversarially Robust Defense of Web Agents Against Prompt Injections

本文针对 Web Agent 在开放网络环境中面临的提示注入攻击风险,提出了一种鲁棒防御模型 WARD。Web Agent 可通过与网站交互自动完成在线任务,但其依赖的 HTML 内容或视觉界面易被嵌入恶意指令,导致提示注入攻击。现有防护模

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-12 发布INFO

IPI-proxy: An Intercepting Proxy for Red-Teaming Web-Browsing AI Agents Against Indirect Prompt Injection

本文提出并实现了 IPI-proxy,一个开源的红队测试工具包,专门用于评估 Web 浏览型 AI 代理对间接提示注入(IPI)的防御能力。当前企业环境中,AI 代理通常被限制访问白名单域,但攻击者仍可通过在合法域中嵌入隐藏指令来实施 IP

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-11 发布INFO

When Prompts Become Payloads: A Framework for Mitigating SQL Injection Attacks in Large Language Model-Driven Applications

该论文针对大型语言模型(LLM)驱动的应用中自然语言接口带来的SQL注入风险,提出了一种多层级安全框架。随着LLM被广泛用于将用户自然语言查询自动转换为SQL语句(Prompt-to-SQL),传统的SQL注入攻击方式得以进化:攻击者可以构

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-06 发布INFO

ObliInjection: Order-Oblivious Prompt Injection Attack to LLM Agents with Multi-source Data.

本文提出了一种针对多源数据LLM应用的新型提示注入攻击方法ObliInjection。在现实场景中,LLM的输入数据往往来自多个不同来源,每个来源贡献一个输入段,攻击者仅能控制其中部分段,且通常不知道各段在输入中的排列顺序。现有的提示注入攻

历史摘要 · 未重新核验 · NDSS

学术论文2026-05-05 发布INFO

ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection

随着大型语言模型(LLM)代理的兴起,其通过集成工具调用、技能和外部知识,显著提升了自动化能力,但也引入了新的安全风险。其中,提示注入攻击(Prompt Injection)已成为主要威胁:攻击者将恶意指令嵌入代理工作流中,劫持代理行为。然

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-04 发布INFO

PIIGuard: Mitigating PII Harvesting under Adversarial Sanitization

本文提出了一种名为 PIIGuard 的网页级防御机制,旨在缓解大型语言模型(LLM)助手在浏览网页时从公共页面中抓取联系型个人身份信息(PII)的风险。现有的防御措施大多部署在模型层、服务层或智能体层,而普通网页所有者缺乏可行的部署选项。

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-05-04 发布INFO

Fun-tuning: Characterizing the Vulnerability of Proprietary LLMs to Optimization-Based Prompt Injection Attacks via the Fine-Tuning Interface.

本文揭示了一种针对闭源大语言模型(LLM)的新型攻击威胁,攻击者能够通过微调接口实现基于优化的提示注入攻击。研究指出,LLM厂商提供的远程微调API允许开发者针对特定任务对模型进行微调,但同时也暴露了损失函数类信息(loss-like in

历史摘要 · 未重新核验 · IEEE S&P

学术论文2026-04-30 发布INFO

FlashRT: Towards Computationally and Memory Efficient Red-Teaming for Prompt Injection and Knowledge Corruption

该论文提出 FlashRT,首个针对长上下文大语言模型(如 Gemini-3.1-Pro 和 Qwen-3.5)中提示注入和知识破坏攻击的优化红队框架。现有基于优化的红队方法虽然攻击效果好,但计算和内存开销巨大,尤其对于长上下文场景(如 3

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-04-28 发布INFO

SnapGuard: Lightweight Prompt Injection Detection for Screenshot-Based Web Agents

本文研究了基于截图的Web代理(screenshot-based web agents)面临的提示注入攻击(prompt injection attacks)威胁。这类代理通过渲染的视觉页面而非结构化文本来与网页交互,使得现有的基于文本的防

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-04-27 发布INFO

Rethinking Detection of Prompt Injection in Agentic Systems

[MOCK] 研究: Rethinking Detection of Prompt Injection in Agentic Systems

历史摘要 · 未重新核验 · arXiv cs.CR