Decision Hijacking: Prompt Injection Attacks on Jev's Typed Probabilistic Decisions
本文研究提示注入(prompt injection)对非生成式决策模型 Jev 的影响。以往关于提示注入的研究大多聚焦生成式智能体,而对于采用 schema 定义输出(即输出被约束在固定类型化动作集合内)的模型是否同样受影响,目前尚不明确。
共收录 1542 条相关情报。
← 返回所有主题本文研究提示注入(prompt injection)对非生成式决策模型 Jev 的影响。以往关于提示注入的研究大多聚焦生成式智能体,而对于采用 schema 定义输出(即输出被约束在固定类型化动作集合内)的模型是否同样受影响,目前尚不明确。
这篇论文(cs.SE)系统研究了编码智能体(coding agent)审批机制的覆盖盲区。问题起点是:审批界面把人类的批准决定绑定到某一条命令或某一个工具调用上,但开发者工具真正执行的是该调用所激活的整条传递性工作流。例如安装一个包可能触发
该论文研究了多步工具调用型 LLM Agent 中一个此前被忽视的计费安全面。背景是:Agent 依赖宿主运行时(host runtime)在多个回合之间保存状态,而当运行时把外部工具的返回内容再次带入后续模型输入时,服务提供方会对这段内容
该论文针对多阶段 LLM 网络代理(multi-stage LLM-based cyber agents)的评测方法提出批评与改进:仅看任务成功率会掩盖代理的低效、依赖重试的适应性,以及对执行证据的错误解读。作者对一个“自主对抗代理”系统做
该论文研究智能体式视频生成系统中的验证器污染问题。在这类“生成器—验证器”闭环中,LLM 先规划分镜并调用文生视频模型,再由多模态评审模型判断产出是否满足用户要求。为便于定位长流程中的失败环节,近期评测框架会有意把视频之外的信息一并交给评审
该论文研究多智能体系统中的“Agent 名称碰撞”问题。在多智能体主机中,远程 Agent Card 会被转换为本地 agent、工具、工作流目标或 broker 路由。A2A 协议将卡片中的 name 定义为人类可读元数据,而不是稳定身份
该论文关注一个新兴且具有安全含义的问题:大语言模型(LLM)正越来越多地通过 coding-agent harness(编码智能体脚手架)来运行,这类脚手架会检查代码仓库、调用工具并修改文件。因此,替换智能体背后的模型,可能会改变与安全相关
该论文挑战了当前 LLM 智能体安全的一个默认假设:工具调用型智能体的安全性常被视为模型本身的属性。作者用全精度、可控的实验证明,安全性实际上是「模型 + 解码与渲染链路(chat template 渲染、工具调用解析器)」的联合属性,且这
随着大语言模型及其驱动的智能体(agent)能力增强,这些智能体日益自主化,并可代表用户在互联网上执行操作,例如自动管理用户的社交媒体账号。然而,部署在社交平台上的自动化智能体自身的脆弱性研究仍不充分。现有关于智能体投毒的研究通常假设攻击者
该论文研究语言模型代理(LM Agent)的权限边界测量问题。Agent 只能通过被赋予的工具行动,而它在完成任务时读取的数据可能改变它对工具的调用方式,这正是间接提示注入的成因。因此近年来出现了一批安全执行技术,部署在 Agent 与工具
该论文研究 Model Context Protocol (MCP) 生态中的一类语义供应链风险:使用 MCP 的智能体(agent)在从第三方 MCP 服务器挑选工具时,主要依赖工具名称、描述等元数据与用户意图之间的语义匹配,而元数据和工
该论文提出并评估了一套面向教育信息系统(实验室范围)的“告警后事件编排与响应子系统”,核心目标是在引入本地大语言模型(LLM)辅助分析的同时,保持流程的可控性、可追溯性与可恢复性,避免模型直接触发应急处置动作。架构上明确划分为四个相互解耦的
该论文提出 KEX-bench,一个用于评估编码智能体(coding agents)在真实操作系统内核上生成「利用原语(exploit primitives)」能力的基准。研究动机在于:当前编码智能体已经能在生产软件中发现真实漏洞,但「发现
该论文针对 AI Agent 运行时(runtime)中「把授权前置到调度边界之前」这一常见优化思路提出质疑:把授权提前确实可以缩短 Agent 的调度边界(dispatch boundary),但授权工作本身并没有被消除,反而可能放行一个
该论文关注的是「智能体在重复性任务上表现不一致」这一被长期忽视的可靠性问题。作者首先做了量化测量:选取 42 个任务、每个任务重复执行三次,结果显示根据所用模型不同,有 38% 到 74% 的重复执行返回了互相不一致的答案。作者指出,一致性
该论文研究大语言模型(LLM)驱动的智能体在看似正常的对话中隐藏信息传输(隐写/隐蔽信道)的问题。作者指出,现有 LLM 隐写方案大多是白盒的:收发双方必须共享载体(cover)统计信息,通常意味着要能访问模型权重与提示词,部署门槛高;已有
该论文指出现有 LLM 后门研究普遍采用「触发充分」(trigger-sufficient)的建模范式:只要触发器出现,无论被触发的提示上下文如何,模型都会输出攻击者预设的目标响应。作者认为这种建模方式存在根本缺陷——因为目标响应与上下文无
该论文针对大语言模型在网络安全分析中的推理结构问题展开研究。背景是:LLM 已被广泛用于网络安全场景,而准确的安全分析往往需要跨复杂、异构数据(如网络流量、威胁情报文本、漏洞描述)进行多步、依赖上下文的推理。现有提示词(prompting)
该论文聚焦 LLM 智能体(agent)安全评测中最常被当作头条指标的“攻击成功率”(ASR),指出 ASR 并非单一数值,而是由六个设计选择共同参数化的一族指标;这些选择在论文中往往不被说明,更从未在整个文献中被统一固定。作者用两项无需专
本文聚焦于 AI Agent(智能体)快速落地过程中日益突出的安全事件报告问题。随着 Agent 在真实业务中被广泛部署,针对它们的 AI 特有攻击与相应安全事件不断增多,而现有的安全事件报告框架(如传统漏洞披露、CERT/CSIRT 事件