#prompt-injection

共收录 176 条相关情报。

← 返回所有主题
学术论文2026-09-24 发布LOW

ENDOPROMPT: Victim-Side Pseudo-References for Utility Degradation

该论文研究的是提示注入(prompt injection)中的一类特殊目标:不以诱导有害内容为目的,而是单纯削弱模型对正常任务的处理能力(utility degradation,即效用退化)。作者指出,现有大多数提示注入攻击研究存在一个共同

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-24 发布MEDIUM

Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs

该论文研究的是推理型大模型(Reasoning LLM)的“输出前缀攻击”。由于 LLM 本质上是自回归地消费并生成单一文本序列,只要能够在模型响应的起始位置插入一段文本(即输出前缀/prefill),其后所有 token 都会以这段内容为

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-24 发布MEDIUM

OllamaDrama: Designing and Deploying a Honeypot to Measure Attacks on Exposed LLM Infrastructure

公开暴露的大语言模型(LLM)基础设施正在形成一个新的、快速增长的攻击面,但学界与业界对攻击者实际如何针对这类服务开展攻击仍了解甚少——现有工作多停留在配置错误扫描或理论风险推演,缺乏来自真实互联网流量的长期实证数据。为弥补这一空白,作者设

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-24 发布INFO

Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures

该论文研究的是「对齐失败检测器」这一模型安全评估环节。作者指出,现有的对齐检测主要有两类:一是生成式评判器(generative judge),每评估一条标准就要消耗一次完整的解码过程,成本高;二是读取 token 概率的分类器(如 Lla

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-24 发布INFO

Through Human Eyes and Machine Eyes: Understanding View Mismatch in Video See-Through Extended Reality

该论文研究视频透视扩展现实(Video See-Through XR, VST XR)系统中长期被忽视的“人机视图错位”问题。研究背景是:当前大量 VST XR 应用(尤其是集成视觉语言模型 VLM 的智能助手、场景理解、无障碍辅助系统)习

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-23 发布INFO

Decision Hijacking: Prompt Injection Attacks on Jev's Typed Probabilistic Decisions

本文研究提示注入(prompt injection)对非生成式决策模型 Jev 的影响。以往关于提示注入的研究大多聚焦生成式智能体,而对于采用 schema 定义输出(即输出被约束在固定类型化动作集合内)的模型是否同样受影响,目前尚不明确。

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-23 发布MEDIUM

Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents

该论文挑战了当前 LLM 智能体安全的一个默认假设:工具调用型智能体的安全性常被视为模型本身的属性。作者用全精度、可控的实验证明,安全性实际上是「模型 + 解码与渲染链路(chat template 渲染、工具调用解析器)」的联合属性,且这

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-22 发布INFO

Ajar: Measuring Open Privilege in Agent Defenses

该论文研究语言模型代理(LM Agent)的权限边界测量问题。Agent 只能通过被赋予的工具行动,而它在完成任务时读取的数据可能改变它对工具的调用方式,这正是间接提示注入的成因。因此近年来出现了一批安全执行技术,部署在 Agent 与工具

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-22 发布MEDIUM

A2M: Trace-Optimized Agent Hijacking in the MCP Ecosystem

该论文研究 Model Context Protocol (MCP) 生态中的一类语义供应链风险:使用 MCP 的智能体(agent)在从第三方 MCP 服务器挑选工具时,主要依赖工具名称、描述等元数据与用户意图之间的语义匹配,而元数据和工

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-21 发布INFO

Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

该论文针对 LLM 生产部署中广泛使用的分类器式护栏(以 Meta 的 Prompt Guard 2 为代表)开展了可解释性(XAI)驱动的探索性案例研究。作者指出,这类护栏被当作抵御提示注入与越狱攻击的第一道防线,但其内部决策逻辑对防御方

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-21 发布INFO

ActGov: Governing LLM Agent Actions via Policy-Constrained Validation

该论文针对 LLM 智能体在长周期、工具调用型工作流中的授权失控问题提出运行时治理框架 ActGov。研究背景是:智能体通过外部工具执行多步任务时,工具返回的不可信内容(如网页、文档、第三方 API 输出)会作为上下文回流进模型,进而影响后

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-19 发布INFO

Beyond Single-Model Injection: A Threat Model and Defense Architecture for Prompt Injection in Multi-Agent Systems

该论文指出,现有提示注入(Prompt Injection)研究几乎都局限于单模型聊天机器人场景,即攻击者通过精心构造的输入操纵单个 LLM。作者认为多智能体(Multi-Agent)系统引入了三种单模型场景中不存在的放大机制:其一,智能体

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-17 发布INFO

Origin Is All You Need: Provenance-Aware Transformers for Structural Trust-Boundary Separation

该论文针对大语言模型(LLM)系统中的间接提示注入(Indirect Prompt Injection, IPI)问题提出了一种架构级防御方案。作者指出,IPI 之所以长期难以根治,根本原因在于标准 Transformer 架构缺乏对「来源

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-17 发布MEDIUM

ALIBI: Adversarial Legitimacy Injection in Binary Input against LLM Malware Analyzers

该论文研究的是将大语言模型(LLM)引入恶意软件分诊流程后新出现的一类攻击面。当前越来越多的安全团队把 LLM 当作"推理组件",用来自动汇总静态分析证据(如导入表、节区信息、字符串、签名等),并直接输出面向分析师的结论或严重度评级。作者指

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-17 发布MEDIUM

Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents

该论文研究的是编码智能体(coding agent)在生产环境中的安全护栏问题。当前主流做法是在智能体执行每个动作前,由一个阻断式监控器(blocking monitor)先审查并有权否决该动作,例如 Claude Code 的 Auto

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-16 发布INFO

AgentLSD: Evaluating AI Security Agents Under Adversarial Task Contamination

该论文研究 AI 安全智能体在「对抗性任务污染」(adversarial task contamination) 下的表现。作者指出,用于安全任务的智能体会读取网页、源代码、日志、配置文件与命令输出,而这些环境本身可能被植入具有欺骗性的证据

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-16 发布INFO

CaMeLoT: CaMeL orchestrated with Temporal logic for static verification and liveness

LLM 智能体(agent)会生成并执行多步计划,计划中会调用外部工具;这些工具既可访问私有数据,也可执行命令。在此场景下,安全性并非某个单一步骤的属性,而是由计划所形成的整个执行过程的属性;计划本身就是关键工件,记录了工具调用、控制流与数

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-16 发布INFO

The Verifiable Action Card: Trustworthy Human-in-the-Loop Control for Secure Autonomous Agents

这篇论文关注自主智能体(尤其是 agentic browser,即"智能体浏览器")在执行安全敏感操作时的动作完整性问题。由于智能体浏览器运行在用户已认证的会话中,页面中的间接提示注入(indirect prompt injection)和

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-16 发布HIGH

Measuring and Exploiting Implicit Trust in LLM Tool-Calling Pipelines

该论文聚焦 MCP(Model Context Protocol)引入的一类被忽视的信任问题。MCP 让 LLM 能调用外部工具,但每一次工具交互都会把攻击者可控的文本通过多条输入通道注入模型:工具描述、工具返回结果、采样(sampling

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-15 发布INFO

Trust propagation and structural containment in Multi-agent LLM pipelines

该论文研究多智能体 LLM(大语言模型)流水线中的攻击传播机理与结构性遏制手段。研究对象是一个基于 LangGraph 构建的四智能体流水线,包含 Supervisor(监督者)、Researcher(研究者)、Validator(校验者)

历史摘要 · 未重新核验 · arXiv cs.CR