AgentRedBench: Dynamic Redteaming and Integration-Aware Defense for LLM Agents over SaaS Integrations
该论文提出了AgentRedBench,一个动态的LLM驱动的红队基准测试,专门针对通过SaaS集成(如Gmail、Salesforce、Jira等)使用工具调用的LLM智能体面临的间接提示注入威胁。现有基准测试覆盖的集成种类有限,且攻击载
共收录 2152 条相关情报。
← 返回所有主题该论文提出了AgentRedBench,一个动态的LLM驱动的红队基准测试,专门针对通过SaaS集成(如Gmail、Salesforce、Jira等)使用工具调用的LLM智能体面临的间接提示注入威胁。现有基准测试覆盖的集成种类有限,且攻击载
本文提出 PyFEX,一种针对 Python 恶意软件的弹性强制执行引擎。随着 Python 生态系统快速扩张,攻击者一方面通过 PyPI 投毒进行供应链攻击,另一方面将恶意 Python 源代码编译为跨平台可执行文件,以逃避传统检测。现有
本文针对多云和SaaS环境下身份安全态势管理(ISPM)面临的根本性跨供应商挑战,提出了Cross-Vendor Sola ISPM Benchmark。现有评估仅关注单一平台,无法衡量AI代理在跨系统边界进行推理的能力。该基准包含50个基
本研究聚焦于黑盒大语言模型(LLM)代理的审批流程安全。当前编码代理将高风险操作(如执行命令)置于人类审批之后,但审批对话框由代理自身生成:人类批准的是代理撰写的摘要。Lies-in-the-Loop (LITL) 攻击表明,被攻陷的代理可
差分隐私(DP)文本合成技术旨在通过生成合成数据来解锁敏感语料库,使其可用于模型训练,同时保护隐私。然而,现有评估基准存在重大局限性:它们使用的任务通常即使不经过训练也能近乎解决,因此强基准性能并不能证明DP合成数据能够替代原始数据访问。为
本文提出 IstGPT,一种基于大语言模型(LLM)和图神经网络的工业系统异常检测工具。工业互联网系统面临复杂的 ICS 攻击,现有工具难以实时检测传感器与执行器之间的复杂依赖关系。IstGPT 首先利用工业多模态知识(包括运行数据、技术文
本文针对文本引导扩散模型(text-guided diffusion models)在图像合成中面临的隐私泄露和有害内容生成等伦理问题,提出了一种新的概念遗忘(concept unlearning)方法——CoreUnlearn。现有方法通
该论文研究了大语言模型(LLM)代理在依赖可复用技能(即描述任务特定流程的文档)时面临的新安全威胁,并探索了两种互补的防御方向。首先,作者评估了基于守护者的防御机制:动态守护者作为一个中间LLM代理,在运行时对技能文件的访问进行实时调解;静
本文提出Agent操作系统(AOS)的概念,以应对传统操作系统抽象(如进程、线程、系统调用、文件、权限等)对智能体AI工作负载的不足。传统OS面向确定性程序、显式控制流和人类发起的工作流,而智能体系统是长期存在、目标导向的实体,通过概率推理
该论文研究了AI代理技能(Agent Skills)的安全信号问题。代理技能是一种可重用的指令、工具、脚本、引用和工作流,它们扩展了AI代理的能力,但其安全边界既不同于模型安全也不同于传统包恶意软件检测。论文构建了ClawHub Secur
现代操作系统的攻击面如同一个巨大的干草堆:包含数千个已签名的二进制文件和数百万个函数,其中绝大多数与任何特定漏洞无关。人类分析师或LLM代理必须先挑选出值得阅读的函数,然后才能进行分析。在整个操作系统范围内,目标选择(而非分析)成为了制约瓶
随着大语言模型(LLM)越来越多地被用作编码代理(coding agents),安全问题从单个响应的安全性转移到操作序列的连续性。现有的安全基准主要评估模型是否拒绝不安全提示,而忽略了在状态化项目工作空间(stateful project
该论文提出了首个针对AI代理在网络安全场景中设定拒绝边界的框架。背景是,基于LLM的代理系统(agentic scaffolds)在完成复杂、长期任务方面表现显著提升,但也带来了风险放大,尤其在网络安全领域。现有基准主要衡量代理执行攻击任务
该论文研究了检索增强生成(RAG)增强的大型语言模型(LLM)系统面临的推理成本攻击(ICA)问题。RAG系统通过多阶段流水线动态检索并合成外部知识,虽然提升了性能,但也带来了高昂的推理成本。现有ICA攻击通常假设可以直接操纵提示,这在实践
该论文提出一种名为ANCHOR的架构无关的知识图谱构建系统,用于自动化地从网络威胁情报(CTI)报告中提取结构化知识。现有CTI平台如STIX通常将威胁情报简化为孤立的指示器(IoC),而基于本体的表示能够保留语义关系以支持结构化威胁分析。
计算机使用代理(Computer-use agents)将语言模型从文本生成扩展到与文件、终端、浏览器和外部工具的持续交互。这种范式转变带来了新的安全风险,因为恶意行为往往只有通过多步执行轨迹才能显现,而单步动作看似无害。现有安全检测方法依
该论文提出了一个名为 memorywire 的供应商中立的线格式(wire format),用于代理内存操作。当前多种代理内存框架(如 mem0、Letta/MemGPT、Cognee、Zep/Graphiti、MemoryOS、MemTe
该论文提出了一种名为SS-ZKR(空间语义零知识路由)的隐私保护路由协议,旨在解决现有代理互操作性标准(如Agent-to-Agent协议和模型上下文协议MCP)在跨组织信任边界传输时无法保护载荷内容隐私的问题。当前,尽管W3C去中心化标识
本文针对开放智能体平台中社区贡献的技能(skills)带来的供应链安全风险,提出了一个两阶段安全审查基准——SkillVetBench。第一阶段对每个技能的自然语言规范进行语义审查,检测隐藏的恶意意图;第二阶段在沙箱中执行标记的技能以观察运
本文研究无人机蜂群中GPS欺骗攻击的传播漏洞。现有研究多关注蜂群控制算法的改进,而安全方面关注不足。作者指出攻击者可通过GPS欺骗攻击单个蜂群成员(目标无人机),间接导致其他成员(受害无人机)偏离航线并发生碰撞,这种现象称为蜂群传播漏洞(S