The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound
该论文从信息论角度研究了代码大语言模型(Code LLM)在功能容量与安全预算之间的基本权衡。作者将代码补全建模为从提示 p 到生成代码 c_π 的通道,并定义了两个关键量:功能容量 Cap = I(c*; c_π) 表示真实代码 c* 与
今日共收录 1204 条安全情报,包含 428 个 CVE,390 篇安全通告,以及 100 篇研究论文。
← 返回归档列表该论文从信息论角度研究了代码大语言模型(Code LLM)在功能容量与安全预算之间的基本权衡。作者将代码补全建模为从提示 p 到生成代码 c_π 的通道,并定义了两个关键量:功能容量 Cap = I(c*; c_π) 表示真实代码 c* 与
本文针对大型语言模型(LLM)面临的多轮对抗性攻击(即多轮越狱攻击)问题,指出现有防御机制主要在单轮对话层面检测恶意内容,而攻击者往往通过跨轮次的逐步诱导实现越狱。作者提出从内容检测转向对话动力学分析,将对话建模为表示空间中的轨迹路径,并探
本文提出了一种名为 Patcher 的后门防御框架,用于修复被植入后门的大语言模型。大语言模型容易受到越狱后门攻击:攻击者通过污染安全对齐数据,嵌入隐藏触发器,使得模型在遇到特定触发词时绕过安全机制输出有害内容。现有的防御方法往往需要知道完
本文针对大型语言模型(LLM)的提示注入和越狱检测器评估中存在的两大系统性问题——按数据集调整阈值和未披露的操作点——提出了一种新的评估框架。作者设计了一个评估工具,在16个公开基准(共12,111个样本)上对检测器进行评分,使用5折交叉验
该论文针对生产级大语言模型(LLM)应用中多层防御的归因问题展开研究。现有攻防模拟(BAS)基准仅报告单一的总体覆盖率,无法区分不同防御家族(如拒绝策略过滤器、令牌预算控制、模型白名单、速率限制、工具注册认证等)各自应对哪些 OWASP L
本文提出SeClaw框架,旨在解决自主LLM智能体在状态化环境中面临的安全评估挑战。当前智能体可访问工具、文件、内存和外部服务,执行复杂工作流,但也引入新的安全风险。现有评估基准依赖人工构造任务,威胁覆盖有限,且仅关注最终结果而忽视导致不安
该论文提出了AgentRedBench,一个动态的LLM驱动的红队基准测试,专门针对通过SaaS集成(如Gmail、Salesforce、Jira等)使用工具调用的LLM智能体面临的间接提示注入威胁。现有基准测试覆盖的集成种类有限,且攻击载
本文提出 PyFEX,一种针对 Python 恶意软件的弹性强制执行引擎。随着 Python 生态系统快速扩张,攻击者一方面通过 PyPI 投毒进行供应链攻击,另一方面将恶意 Python 源代码编译为跨平台可执行文件,以逃避传统检测。现有
本文针对多云和SaaS环境下身份安全态势管理(ISPM)面临的根本性跨供应商挑战,提出了Cross-Vendor Sola ISPM Benchmark。现有评估仅关注单一平台,无法衡量AI代理在跨系统边界进行推理的能力。该基准包含50个基
该论文提出了一种名为PeAR的静态二进制重写框架,旨在解决闭源软件二进制级模糊测试中的覆盖率引导问题。传统上,二进制模糊测试依赖动态二进制插桩(DBI)来获取覆盖率信息,但DBI会引入显著运行时开销。静态二进制插桩(SBI)虽可避免运行时开
本研究聚焦于黑盒大语言模型(LLM)代理的审批流程安全。当前编码代理将高风险操作(如执行命令)置于人类审批之后,但审批对话框由代理自身生成:人类批准的是代理撰写的摘要。Lies-in-the-Loop (LITL) 攻击表明,被攻陷的代理可
该论文研究了大语言模型(LLM)代理在依赖可复用技能(即描述任务特定流程的文档)时面临的新安全威胁,并探索了两种互补的防御方向。首先,作者评估了基于守护者的防御机制:动态守护者作为一个中间LLM代理,在运行时对技能文件的访问进行实时调解;静
现代操作系统的攻击面如同一个巨大的干草堆:包含数千个已签名的二进制文件和数百万个函数,其中绝大多数与任何特定漏洞无关。人类分析师或LLM代理必须先挑选出值得阅读的函数,然后才能进行分析。在整个操作系统范围内,目标选择(而非分析)成为了制约瓶
随着大语言模型(LLM)越来越多地被用作编码代理(coding agents),安全问题从单个响应的安全性转移到操作序列的连续性。现有的安全基准主要评估模型是否拒绝不安全提示,而忽略了在状态化项目工作空间(stateful project
该论文研究了LLM智能体在接收外部排序信息流(如社交媒体动态、搜索结果、检索上下文和邮件队列)后的决策行为。传统安全评估通常只测试模型本身或用户提示,而忽视了上游排序器(即决定智能体在行动前阅读哪些内容的排序层)的影响。作者设计了一个受控的
本文研究无人机蜂群中GPS欺骗攻击的传播漏洞。现有研究多关注蜂群控制算法的改进,而安全方面关注不足。作者指出攻击者可通过GPS欺骗攻击单个蜂群成员(目标无人机),间接导致其他成员(受害无人机)偏离航线并发生碰撞,这种现象称为蜂群传播漏洞(S
本文提出了一种基于人工智能(AI)代理的新型自适应计算机蠕虫。传统蠕虫(如WannaCry)依赖预定义的漏洞进行传播,一旦漏洞被修补,其传播即可被遏制。然而,本研究展示的AI蠕虫能够为每个新目标定制攻击策略。该蠕虫寄生在受感染机器上,利用开
该论文提出了一种面向大型语言模型(LLM)的实例级指纹识别方法FLIPS。现有LLM的指纹识别技术主要用于知识产权保护,其设计目标是抵抗实例级参数(如指令提示、采样配置、量化设置等)的变化,从而鲁棒地识别模型来源。然而,对于AI监管而言,需
该论文提出了一种名为分布式语义重组(DSR)的新型跨模态越狱攻击框架,旨在绕过多模态大语言模型(MLLM)的安全防护。现有安全措施主要针对单模态文本输入进行拦截,但跨模态攻击可能通过图像等非文本载体隐藏恶意意图。DSR的核心思想是将有害意图
本文基于作者八年来(2017-2025年在欧洲一所主要研究型大学)开设的硬件逆向工程(HRE)课程的经验,总结了一套针对低年级本科生的课程设计原则。集成电路(IC)在全球化的制造过程中面临供应链威胁,而HRE是检测这些威胁、重建信任的关键技