Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human
本文研究LLM代理安全中的人类监督机制。传统安全模式依赖人在循环中的审批门:高风险操作暂停并等待人工审核。但论文指出,这一模式基于两个错误假设:存在关于“风险”的客观真实标签,以及人类评审是完美无缺、随时可用的。作者通过125个人工标注的对
共收录 1542 条相关情报。
← 返回所有主题本文研究LLM代理安全中的人类监督机制。传统安全模式依赖人在循环中的审批门:高风险操作暂停并等待人工审核。但论文指出,这一模式基于两个错误假设:存在关于“风险”的客观真实标签,以及人类评审是完美无缺、随时可用的。作者通过125个人工标注的对
本文介绍了 GitInject,一个用于评估现实世界中 CI/CD 流水线(特别是 GitHub Actions)中 AI 代理提示注入漏洞的开源框架。随着 AI 代理越来越多地被集成到 CI/CD 流水线中,用于自动审查拉取请求、分类问题
本文提出了一种面向自主智能体(agent)商业交易的结算完整性协议 RAILS(Real-Time Agent Integrity & Ledger Settlement)。当前,智能体可以自主谈判、购买、部署代码和转账,但缺乏一个中立机制
本文系统性地从六个引擎级安全属性评估了五种AI代码沙箱产品隔离访客代码与宿主内核的能力。六个维度包括:1.1 宿主攻击面、1.2 信息泄露、1.3 纵深防御可堆叠性、1.4 公开CVE历史、1.5 补丁节奏、1.6 上游模糊测试状态。研究强
该论文针对大学学术管理信息系统(ACMIS)面临的多维安全威胁(包括暴力登录、支付欺诈、权限提升、内部数据窃取和学术诚信违规)提出了一种基于AI的安全代理方案。传统基于规则的系统难以区分恶意行为与正常操作,因此作者设计了一个结合监督式异常检
本文研究了Model Context Protocol (MCP) 标准化自主智能体工具调用时引入的一个被忽视的攻击面:错误处理循环。作者假设工具的错误消息具有隐含权威,会触发智能体的纠正性推理模式,从而绕过标准安全启发式。为此,他们提出了
动态污点分析(DTA)是一种广泛使用的数据流跟踪技术,在模糊测试、漏洞分析等安全应用中发挥重要作用。然而,其实际部署面临严重的性能开销问题:现有工具甚至可能使程序执行速度降低超过100倍。高开销主要源于大多数工具在指令级别进行污点分析,并使
该论文提出了一种名为 RecurGuard 的运行时监控机制,用于检测针对推理能力大语言模型的“推理链消耗攻击”(Reasoning-chain consumption attacks)。此类攻击通过注入无关的“诱饵”任务,诱导模型将生成预
该论文研究了针对大语言模型(LLM)代理的技能注入攻击。代理技能是一种轻量级扩展机制,但其开放格式易受技能中毒攻击。现有攻击面临可靠性与隐蔽性之间的权衡:YAML头部注入虽然可靠加载但易被检测;而将恶意命令嵌入技能文本的body注入则因命令
该论文研究了多智能体大语言模型(LLM)系统中的集体幻觉问题,将幻觉建模为一种系统级、随时间演化的过程,发生在一个由相互交互的LLM代理构成的网络中。节点代表代理,边代表信息交换。所提出的形式化方法描述了幻觉声明如何通过通信拓扑传播,在对抗
该论文针对多智能体大语言模型(LLM)系统中的协调问题,提出了一种安全感知的自适应智能体选择方法。现有方法多依赖启发式或静态策略,难以平衡性能、安全性和计算成本。作者将多智能体协调形式化为一个受约束的优化问题,并整合了信任建模、风险感知评估
大型语言模型(LLM)生成的文本流畅但容易产生幻觉,即输出无根据、不一致或事实错误的内容。以往研究多将幻觉视为孤立输出的静态属性,但多智能体LLM系统中,响应在智能体间交换、经过序列化阶段修订并作为后续推理的上下文,使幻觉成为受交互历史、级
本文针对智慧城市和车联网(IoV)环境中日益扩大的攻击面以及传统静态防御无法适应多阶段入侵模式的问题,提出了一种量子启发式强化学习框架(QIRL)。该框架基于轻量级深度Q网络(DQN)架构,融合了幅相量子态编码、旋转门基探索和量子干涉奖励增
MOLOT(恶意操作逻辑观察Transformer)是一种面向SAST(静态应用安全测试)场景的静态恶意代码检测系统。在SAST环境中,软件包元数据、维护者历史记录和动态执行轨迹等信息可能不可用或不可信,MOLOT通过分析源代码的静态调用图
本文聚焦于智能体互操作协议(如A2A和MCP)中通信图元数据带来的新威胁。当前协议依赖HTTP(S)传输,虽通过端到端加密保护消息内容,但通信图(哪个智能体何时联系谁、频率如何)完全暴露。在智能体系统中,通信图比传统隐私框架所指出的更危险:
AI 编码代理(如 Claude Code、Gemini CLI)通过第三方技能包扩展功能,这些技能包同时包含自然语言指令、可执行脚本和工具权限,构成了代码与指令混合的供应链依赖。现有检测工具从未在同时涵盖代码和指令的恶意技能 ground
该论文提出了TRACE框架,用于检测自主LLM agent在长期任务轨迹中隐藏的恶意行为。问题背景是:标准轨迹级监控难以检测agent通过一系列单独无害但序列组合后具有恶意的行为。现有方法要么一次性评估整个轨迹,要么将轨迹分割成独立窗口评分
本文针对Web界面中的隐私欺骗模式(Privacy Deceptive Patterns)提出了一种新的威胁模型——AI Grooming,并设计了基于智能体的防御框架DPAgent。隐私欺骗模式通过系统性的设计手法操纵用户泄露个人数据,而
本文研究的是自主LLM代理(如基于大语言模型的自动化运维代理)在持有真实凭证并操作基础设施时,如何能够自愿遵守资源访问限制的问题。当前访问控制要么允许代理进入(因为它持有有效凭证),要么彻底拒绝(与任何其他客户端无异),缺乏一种让代理感知到
该论文研究了WebMCP协议中的一种新型安全威胁——会话中工具注入(Mid-Session Tool Injection, MSTI)。WebMCP是一种新兴协议,允许网站直接将工具暴露给AI智能体,绕过传统用户界面,从而带来新的安全风险。