SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents
随着大型语言模型(LLM)自主代理在状态化环境(如访问工具、文件、内存和外部服务)中的广泛应用,其安全风险日益突出。然而,现有安全评估基准存在三大局限:依赖人工手动构建任务,覆盖范围有限,难以捕捉新兴威胁;且评估仅关注最终输出结果,忽略了导
今日共收录 1188 条安全情报,包含 407 个 CVE,402 篇安全通告,以及 101 篇研究论文。
← 返回归档列表随着大型语言模型(LLM)自主代理在状态化环境(如访问工具、文件、内存和外部服务)中的广泛应用,其安全风险日益突出。然而,现有安全评估基准存在三大局限:依赖人工手动构建任务,覆盖范围有限,难以捕捉新兴威胁;且评估仅关注最终输出结果,忽略了导
本文针对LLM代理在使用工具(如Gmail、Salesforce、Jira等第三方服务)时面临的间接提示注入威胁进行了深入研究。现有基准测试存在明显不足:仅覆盖少数集成,攻击负载重复使用,且开源防护模型多基于聊天数据而非工具响应内容训练。作
本文提出PyFEX,一种针对Python生态系统中恶意软件的弹性强制执行引擎。Python生态的快速扩展带来了两种相互关联的威胁:一是攻击者通过PyPI针对软件供应链发起攻击,二是攻击者利用Python源码构建跨平台、有规避能力的恶意二进制
该论文针对二进制-only模糊测试(fuzzing)中依赖动态二进制插桩(DBI)带来运行时开销的问题,提出基于静态二进制重写(SBI)的解决方案。作者认为SBI在准确性和可扩展性方面的顾虑是不必要的,并利用现有框架构建了PeAR——一个可
本文研究了针对基于终端的LLM代理的技能注入攻击的防御与增强方法。技能注入攻击是指攻击者通过恶意修改或注入技能文件(描述任务特定流程的文档),来操纵代理的行为。作者提出了两种基于守护者的防御策略:(1)动态守护者——一个作为中介的LLM代理
本文针对现代操作系统(以Windows为例)漏洞研究中面临的“大海捞针”问题提出解决方案。漏洞研究的关键瓶颈不在于对单个函数分析,而在于从成千上万的二进制文件和数百万函数中准确选择有潜在漏洞的目标函数。作者提出了一个名为Symbolicat
大型语言模型(LLM)越来越多地被部署为编码代理,这使其安全风险从单个响应转向动作序列。然而,现有安全基准主要评估模型是否拒绝不安全提示,忽略了在状态项目工作空间中执行一系列操作后对项目环境的实际影响。为此,本文提出 SABER(环境感知操
该研究探讨了大型语言模型(LLM)智能体在决策过程中如何受到上游信息流(如社交动态、搜索结果、检索上下文及邮件队列)的影响。传统安全评估通常仅测试模型本身或用户提示,而忽略了决定智能体在行动前阅读内容的上游排序器。作者设计了一个受控协议,固
该论文关注无人机蜂群(drone swarms)在安全关键任务中的安全性问题。现有研究大多集中于改进蜂群控制算法的智能性,而忽略了其设计本身可能引入的安全漏洞。作者提出了一种新型攻击向量——蜂群传播漏洞(Swarm Propagation
本文研究了大型语言模型 (LLM) 在跨代际间的安全对齐是否单调提升。作者选取 Google 的 Gemma 系列四代模型(7B-31B),采用质量多样性进化算法(MAP-Elites)作为自动化红队探测工具,对模型进行对抗性攻击生成和评估
当前针对大型语言模型(LLM)的对抗性测试方法存在覆盖不足的问题:人工红队测试难以规模化、LLM作为攻击者的方法容易出现模式崩溃(产生重复或相似攻击)、基于梯度的攻击则生成不可读的乱码。本文提出一种质量多样性(Quality-Diversi
本文提出一种名为“主动可用性后门”(Proactive Availability Backdoor, PAB)的新型后门攻击范式,针对大型语言模型(LLM)的安全威胁。与传统的被动后门攻击不同,PAB将攻击向量从被动等待转变为主动社会工程,
本文研究了大型语言模型(LLM)推理痕迹的暴露风险。虽然许多部署系统通过界面层隐藏原始推理痕迹,只向用户暴露摘要或最终答案,以防止能力转移,但作者提出了一种轻量级的上下文引导方法——推理暴露提示(REP)。REP利用影子模型生成的示范,以辅
本文研究语言模型在扮演代理角色时,不同信息通道(用户消息、工具元数据、工具输出)对恶意指令的响应差异。作者提出安全不对称分数(Safety Asymmetry Score, SAS),通过保持恶意文本内容相同、仅改变传递上下文,衡量模型对来
该论文研究了LLM代理系统中一个核心安全问题:即使每个独立的技能(skill)本身是安全的,将它们组合成技能集(skill set)后是否可能产生不安全的行为。作者提出了SkillReact框架,这是一个组合安全测量框架,包含三个部分:确定
该论文研究了AI推理验证中的关键问题:在GPU浮点运算的非确定性环境下,如何实现比特精确的推理结果验证,而无需牺牲性能。现有方法依赖近似匹配,这可能被隐蔽对手利用未验证的自由度进行攻击,如通过隐写术、未报告的软件修改或隐藏的批处理元素执行恶
该论文针对LLM Agent安全领域,揭示了一种新型的多步Trojan攻击范式。在本地Agent harness(如OpenClaw模拟的工作空间)中,LLM能够读写文件、调用工具并在会话间复用工作空间状态。攻击者可以将恶意prompt注入
大型语言模型(LLMs)在即使使用良性数据集进行指令微调时,也会出现安全能力退化的问题。现有识别良性数据中安全退化样本的方法存在计算成本高、噪声大的缺点。本文提出DataShield,一种高效识别潜在安全退化样本的方法。核心直觉是良性微调会
随着LLM Agent(智能体)的兴起,它们能够自主规划、编写代码甚至端到端执行专家级的攻击工作流,这带来了新的安全威胁。然而,这种威胁目前尚未被充分研究和重视,原因有二:一是安全对齐机制阻止LLM直接生成有害指令;二是现有的越狱方法大多无
随着大型语言模型(LLM)在软件开发中的广泛应用,如何客观比较LLM生成代码与人类编写代码的安全性成为一个关键问题。目前缺乏标准化的实证研究方法,导致难以评估LLM是提升还是削弱了安全基线。为此,本文提出一个自动化框架,用于在纯人类、纯LL