The Fragility of Jailbreak Robustness Across Operational States
该论文研究大语言模型在面对越狱攻击时的鲁棒性评估问题。现有评估通常只在默认配置(香草状态)下测量单一的攻击成功率(ASR),但实际用户与LLM的交互可能产生多种非默认的操作状态。作者发现,越狱鲁棒性对操作状态变化高度敏感:即使攻击方法完全不
今日共收录 1494 条安全情报,包含 600 个 CVE,479 篇安全通告,以及 120 篇研究论文。
← 返回归档列表该论文研究大语言模型在面对越狱攻击时的鲁棒性评估问题。现有评估通常只在默认配置(香草状态)下测量单一的攻击成功率(ASR),但实际用户与LLM的交互可能产生多种非默认的操作状态。作者发现,越狱鲁棒性对操作状态变化高度敏感:即使攻击方法完全不
本文研究 LLM Agent 长期记忆机制中良性效用与记忆投毒风险之间的阶段性权衡。作者指出,现有评测通常在固定配置下孤立地衡量记忆效用或攻击风险,难以揭示不同记忆阶段(写入、管理、检索)的设计选择如何重塑效用-风险权衡。为此,他们提出了可
本文提出一个名为 Reveree 的诊断框架,用于评估大语言模型(LLM)在逆向工程(RE)任务中的真实能力。现有评估通常以 CTF 逆向挑战的“是否拿到 flag”作为唯一指标,但这无法揭示智能体在逆向流程中失败的具体环节,也无法区分成功
该论文针对大语言模型(LLM)后门防御碎片化的问题,首次利用稀疏自编码器(SAEs)从特征层面进行系统的机制性分析,以解释为何现有防御方法难以统一应对不同标记类型的后门攻击。后门攻击通过在训练数据中注入触发模式,使模型在特定输入下产生恶意行
大型语言模型的微调已成为定制化部署的关键技术,但大量实证发现,即使用良性数据进行微调,也会显著破坏模型原有的安全对齐能力,导致拒绝有害请求的行为失效,这是当前 AI 安全领域面临的重要挑战。此前工作常将此现象归因于微调过程中的梯度冲突,而本
本文是一篇面向网络威胁情报(CTI)生产与共享流程的系统性文献综述(SoK)研究。作者首先对现有学术论文进行梳理,将 CTI 生命周期划分为三个阶段:威胁数据收集(Threat Data Collection)、CTI 生成与共享(CTI
本文提出了一种针对基于推理的代码大语言模型(Code LLMs)的隐蔽后门攻击方法,名为 AKRASIA。这类模型在生成代码时会先产生推理过程(reasoning),以提高最终代码的准确性和可解释性,但这也引入了新的攻击面。AKRASIA
本文研究如何利用大语言模型(LLM)辅助服务导向网络靶场(Service-Oriented Cyber Range, SOR)的安全需求获取。网络靶场是由多个交互组件和具有不同安全关切的相关方组成的复杂环境,SOR 亦不例外,尤其在面向关键
本文提出了一种名为 RISA(Response Inspection and Selective Actions)的推理时对齐框架,用于校准大语言模型(LLM)的拒绝行为。LLM 需要能够可靠地拒绝有害提示,同时正常回答良性提示;错误的拒绝
本论文是一篇面向多智能体大语言模型系统(MAS)安全的系统化知识综述(SoK)。研究背景是:当多个具备安全能力的智能体协同工作时,仍然可能集体失效。MAS 在主体边界之间传递信息、状态、决策和权限,由此产生的安全问题往往无法被局部安全检查捕
本文研究大型语言模型(LLM)在处理网络安全相关请求时,对话上下文如何影响其安全协助边界的判定。LLM虽能解决复杂问题,但在高风险领域可能被滥用,因此模型提供商需对潜在有害请求施加限制;然而,完全拒绝所有网络安全请求又会损害合法防御者的利益
本文研究大语言模型(LLM)智能体中的长时记忆安全漏洞。在LLM智能体中,长期记忆机制会将外部不可信内容转化为对智能体未来决策的持续性影响,由此产生间接记忆投毒威胁。成功的攻击需要穿透一条多阶段流水线,包括记忆写入、检索和利用。现有攻击方法
大型语言模型(LLM)服务的防护机制(如安全拒绝、内容过滤)通常以拒绝率、攻击成功率(ASR)、政策违反率等指标进行评估。本文指出,这些指标仅刻画了防护在特定测试请求集上的‘局部’控制效果,而部署环境真正需要回答的问题是:面对持续适应或更换
本文研究大型语言模型(LLM)在多轮对话场景下的安全漏洞。尽管前沿模型对单轮有害提示通常能拒绝回答,但当相同恶意意图通过多轮对话逐步引导时,模型往往会发生妥协,形成一种被称为多轮攻击的失败模式。现有自动化红队方法通常将攻击生成视为“生成问题
这篇论文研究如何安全运行由大语言模型(LLM)按规范生成的系统代码,特别是在代码生成器可能带有恶意、且代码副作用不可逆的环境中。近期趋势是将 LLM 生成的代码视为“为某一需求而即时重生的实现”,把规范当成唯一持久的资产;这类工作通常假设即
本文研究面向AI治理的算力验证问题,提出利用物理侧信道识别GPU工作负载类别,以判断计算是否用于训练前沿模型。作者指出,监管机构需要在不依赖运营商配合的情况下验证其算力使用是否符合协议,而GPU执行任何活动都会留下物理痕迹。具体地,他们采集
大型语言模型(LLM)在生产环境中的可靠部署高度依赖运行时安全防护栏(runtime guardrails)。然而,现有防护方案大多采用独立的外部模型,不仅带来额外的推理开销,还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
本文针对 LLM 智能体(如 Codex、Claude Code 等)在长周期任务中通过多步工具调用带来的新型提示注入风险,提出了一种自进化、隐蔽的提示注入框架 ECLIPSE。现有攻击要么把恶意目标放在一条显式指令中容易检测,要么将意图分
这篇论文研究了大语言模型对齐过程中偏好数据组成对隐私记忆的影响。作者指出,尽管偏好优化(如DPO)被广泛用于让模型符合人类偏好,但偏好数据的构成可能影响与隐私相关的记忆行为。他们聚焦于一个关键问题:在不修改优化目标、也不引入形式化隐私机制的
本文研究了当前最先进的基于影响(influence)的保护机制(guardrails)在工具使用型 LLM 代理中的局限性:它们无法可靠地区分合法且经用户授权的动作与恶意未授权的动作,当两者都依赖外部工具信息时。这种模糊性可能导致良性动作触