#prompt-injection

共收录 176 条相关情报。

← 返回所有主题
学术论文2026-10-04 发布MEDIUM

Hidden Risks of Jev: An Empirical Study of Security, Privacy, and Dual Use

该论文针对新兴的 "Jev" 接口开展首次系统性安全、隐私与双用途研究。Jev 能将自然语言问题转化为带类型的答案与概率,具备低延迟、低成本特点,可作为应用决策层,用于请求路由、工具选择等。作者使用官方 Jev API 与本地可训练、可更新

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-02 发布INFO

CorrectGuard: Eyes-Off Correctness Estimation for Black-Box Security Guardrails

该论文聚焦 AI 服务中广泛部署的"黑盒安全护栏"(guardrail)的审计难题。现实中,出于隐私与合规要求,审计方往往处于两种受限状态:一是"人类不可见"(human eyes-off),即禁止人工查看用户输入内容;二是"机器不可见"(

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-02 发布INFO

Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents

这篇论文研究一个在 LLM Agent 安全部署中非常现实的问题: 当团队要为 Agent 选择提示注入(prompt injection)检测器来筛查工具输出(tool outputs)时, 通常依据的是厂商或论文在公开基准上的分数, 但

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-02 发布INFO

Securing Computer-Use Agents Against Branch Steering Attacks

该论文研究的是计算机使用代理(Computer-Use Agents, CUA)在图形界面环境下面临的一类新型间接提示注入风险——分支引导攻击(branch steering attack),并提出相应的防御架构 COBRA。背景方面:现代

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-02 发布INFO

SecJev: Bringing Security Expertise to System One Decision Models

该论文提出 SecJev,作者称其为首个面向安全领域的 Jev 类决策模型家族,参数规模覆盖 0.8B 到 9B。其出发点是:安全运营流程需要模型把复杂观测与显式策略转化为可执行决策,而 Jev 提出的 System One 模型能输出带类

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-02 发布INFO

Containing the Autonomous Operator: A Defense-in-Depth Framework and Reference Architecture for Securing AI Agents on Kubernetes

该论文针对大语言模型(LLM)智能体从聊天界面走向基础设施运维这一现实趋势,提出了一个在 Kubernetes 上安全承载 AI 智能体的纵深防御框架与参考架构。作者指出,当智能体能够读取遥测、调用工具、生成并执行代码、直接改变生产 K8s

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-01 发布MEDIUM

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

该学位论文系统研究如何评估并提升大语言模型(LLM)对输入序列变异的鲁棒性,直面生产系统中三类现实威胁:提示注入、木马/后门植入,以及对自动质量评测指标(LLM-as-a-Judge)的操纵。作者首先提出生成式鲁棒性度量 R_stab(f)

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-01 发布MEDIUM

Chaining Skills to Hijack LLM Agents

论文《Chaining Skills to Hijack LLM Agents》研究 LLM Agent 在多技能协作场景下的新型攻击面。背景是:Agent 为完成用户请求会按顺序调用多个技能(skill),前一个技能产生的信息会作为输入影

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-10-01 发布INFO

False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift

本文研究的是 LLM 安全路由(safety routing)评测中的方法论缺陷。安全路由器的做法是把每个请求分派给多个候选模型中的一个,其效果通常以「与最佳单模型(best single model)对比」来评判。问题在于,主流路由基准是

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布MEDIUM

ZoneClaw: Mitigating Persistent Memory Attacks by Establishing Memory-Zoning in OpenClaw-Style Computer-Use Agents

该论文研究的是 OpenClaw 类「计算机使用型智能体(CUA)」中长期工作区记忆(persistent workspace memory)带来的新型攻击面。这类智能体把用户指令、系统摘要和来自外部的内容统一以自动重载文件的形式持久化保存

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布INFO

Aletheia: Permission-Minimality Testing for Coding-Agent Rules

该论文关注编码智能体(coding agent)所依赖的「仓库指令文件」(如 AGENTS.md、copilot-instructions 一类指导性规则)带来的安全风险:这些文件本意是引导智能体正确完成开发任务,但也构成一条 prompt

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布INFO

Representation Transitions Reveal Emerging Safety Risks in Multi-Turn LLM Agents

该论文研究多轮(multi-turn)交互场景下 LLM 智能体(agentic system)的安全风险。作者指出的核心问题是:现有防御往往孤立地评估单次动作或单个状态,而攻击者可以将多个单独看都合规的操作逐步组合,最终产生有害结果,这类

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布MEDIUM

Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents

该论文研究 AI Agent 技能(Skill)供应链的安全检测问题。技能通过把指令与信息注入到 Agent 上下文中来扩展其能力,已被 OpenClaw、Claude Code 等 Agent 广泛采用;此前研究已证实第三方技能市场存在恶

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布MEDIUM

From A2A Attacks to Envelope-Layer Defense: Red-Teaming Evaluation of LLM Agents and a Three-Layer Isomorphic Attack-Defense Model

随着 ACP、A2A 等 Agent 交互协议的普及,基于大模型的智能体正从单体工具调用走向多智能体协作,由此引入了新的安全威胁:在 A2A 场景下,来自远端 peer 的任务会被本地 Agent 默认视为合法请求,这为间接提示注入提供了天

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布INFO

ActionGuard: Tool Call Authorization under Poisoned Skills

本文关注 LLM 智能体在引入第三方 skill 后的安全风险。当前智能体普遍通过第三方 skill 扩展能力,这些 skill 会提供任务指令、脚本和工具使用流程。问题在于:即使 skill 本身看起来无害,只要其中被插入了恶意指令,一个

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-30 发布MEDIUM

Hiding in Plain Sight: Decoupling Pretext from Actuation for Skill Poisoning in LLM Agents

该论文研究 LLM Agent 的 Skill(可复用技能)供应链投毒问题。随着 Agent 越来越多地依赖可复用的 Skill 来完成多步骤复杂任务,Skill 内容成为一种关键攻击面:在用户请求本身完全无害的情况下,被投毒的 Skill

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-29 发布INFO

Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance

该论文研究的是提示注入(prompt injection)攻击成功时,大语言模型内部究竟在何处「做出违反系统角色设定的决定」这一机制性可解释性问题。作者指出,既有工作大多停留在量化攻击成功率(即模型有多频繁地服从对抗性指令),而忽视了决策发

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-29 发布INFO

ToolFence: Fine-Grained Authorization for Secure Tool-Using LLM Agents

该论文关注工具调用型 LLM Agent 面临的一个根因性问题:在单一上下文窗口中,来自用户的「可信指令」与来自外部环境的「不可信观测」(网页、邮件、工具返回内容等)混杂在一起,因此间接提示注入可以借观测内容劫持 Agent 的推理,甚至反

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-29 发布INFO

pikit: A Composable Toolkit for Indirect Prompt Injection Research and Evaluation

该论文提出 pikit,一个面向间接提示注入(Indirect Prompt Injection, IPI)的可组合研究工具包,用于系统化评测 LLM 智能体面临的此类威胁。间接提示注入的核心问题是:攻击者将恶意指令嵌入智能体从外部检索到的

历史摘要 · 未重新核验 · arXiv cs.CR

学术论文2026-09-29 发布INFO

Self-Evolving Defense: Continual Security Policy Learning for LLM Agents

本文关注 LLM 智能体(agent)在真实生产环境中的安全防护问题。随着大模型驱动的 agent 越来越多地获得访问敏感数据、调用外部工具、以及直接修改代码仓库的能力,其攻击面显著扩大,典型风险包括越狱(jailbreak)、提示注入(p

历史摘要 · 未重新核验 · arXiv cs.CR