Bleeding Pathways: Vanishing Discriminability in LLM Hidden States Fuels Jailbreak Attacks.
该论文研究了大型语言模型(LLM)在面对越狱攻击时的脆弱性,发现了一个关键问题:在响应生成过程中,LLM区分安全与有害输出的能力会逐渐下降。实验表明,随着生成的进行,安全响应和有害响应的隐藏状态之间的可分离性不断减弱,这种“判别性消失”迫使
今日共收录 1285 条安全情报,包含 277 个 CVE,391 篇安全通告,以及 322 篇研究论文。
← 返回归档列表该论文研究了大型语言模型(LLM)在面对越狱攻击时的脆弱性,发现了一个关键问题:在响应生成过程中,LLM区分安全与有害输出的能力会逐渐下降。实验表明,随着生成的进行,安全响应和有害响应的隐藏状态之间的可分离性不断减弱,这种“判别性消失”迫使
本文系统性地研究了LLM应用程序(LLM apps)因能力边界模糊而引发的安全风险。作者首先定义了“LLM应用能力空间”的概念,用于描述应用从LLM继承的功能范围。随后,他们揭示了两种新的风险类型:能力降级(capability downg
本文提出 Chimera,一个基于大型语言模型(LLM)的多智能体框架,用于自动模拟企业内部威胁场景并生成系统日志。内部威胁是长期存在且难以检测的安全风险,其关键在于高质量真实训练数据的稀缺。现有数据集要么规模小,要么缺乏真实性和语义丰富性
该论文提出了BSFuzzer,一种针对蓝牙低功耗(BLE)协议逻辑缺陷的上下文感知语义模糊测试方法。研究背景在于BLE设备广泛使用,但其逻辑漏洞(如身份验证绕过、状态机异常)难以被传统模糊测试发现。核心方法包括:1)提取BLE协议规范中的上
本文针对大型语言模型(LLM)系统中的缓存机制提出了语义缓存投毒攻击。传统的缓存投毒主要针对查询字符串精确匹配,而LLM系统常采用语义缓存来缓存具有相似语义的查询,以提高推理效率并降低成本。作者首次提出语义缓存投毒攻击,攻击者通过构造与合法
现代硬件系统由于追求高性能和特定应用功能而日益复杂,引入了大量漏洞和安全关键脆弱性的攻击面。模糊测试作为一种可扩展的缺陷发现方法已得到广泛应用,但现有硬件模糊器存在语义感知有限、测试用例优化效率低、以及依赖慢速设备仿真导致计算开销大等问题。
该论文提出了 NeuroStrike,一种针对对齐大型语言模型(LLM)的新型攻击框架。作者发现,当前的安全对齐技术(如监督微调和基于人类反馈的强化学习)会在模型中引入稀疏的“安全神经元”,这些神经元负责检测和抑制有害输入。NeuroStr
该论文提出了一种名为ADGFUZZ的模糊测试方法,专门针对机器人车辆(如无人车、无人机)的软件安全测试。机器人车辆通常依赖复杂的任务依赖关系(如传感器、执行器、控制逻辑之间的时序与数据耦合),传统模糊测试难以有效覆盖这些依赖路径。ADGFU
随着大语言模型(LLM)驱动的自主智能体越来越多地相互交互、协作和委托任务,工业界关于智能体系统治理的指南强调用户需要对其智能体保持全面控制,以减轻恶意智能体可能造成的损害。现有的一些智能体系统设计方案虽然涉及智能体身份、授权和委托,但大多
该论文提出 ProtocolGuard,一种结合大语言模型(LLM)引导的静态分析与动态验证的方法,用于检测协议实现中的违规行为(protocol non-compliance bugs)。协议实现中的违规错误(如状态机状态错误、消息格式错
本研究聚焦于大语言模型(LLM)代理中的工具选择机制面临的提示注入攻击威胁。LLM代理通常通过调用外部工具来扩展其能力,例如搜索引擎、计算器或数据库查询。工具选择是代理根据用户指令和上下文自动决定调用哪个工具的关键步骤。研究者发现,攻击者可
本文针对大语言模型(LLM)的“越狱”攻击机制展开因果分析研究。现有研究主要通过对潜在表示的探测来分析越狱提示,但往往忽略了可解释提示特征与越狱发生之间的因果关系。为此,作者提出了Causal Analyst框架,将LLM集成到数据驱动的因
本文提出一种针对微调大语言模型(LLM)的成员推理攻击(MIA)新框架ICP-MIA。现有黑盒MIA方法多依赖置信度分数或词元似然,但这些信号与样本内在属性(如难度、稀疏性)纠缠,导致泛化差、信噪比低。作者从训练动态理论出发,发现优化过程中
该论文提出了PrivCode,这是首个专门为代码数据集设计的差分隐私(DP)合成器,旨在解决大型语言模型(LLM)在代码生成时微调私有数据集可能引发的隐私泄露问题。传统的DP方法在代码数据上面临语法依赖强和隐私-效用权衡的挑战。PrivCo
该论文提出了一种名为PortRush的硬件模糊测试框架,旨在检测由写端口竞争引发的微架构侧信道漏洞。写端口竞争是现代超标量处理器中多个执行单元同时尝试写入同一物理端口时产生的资源冲突现象,这种竞争可能导致时序差异,进而被攻击者利用来窃取敏感
本文提出了一种名为ChameleoScan的新型检测框架,旨在利用大语言模型(LLM)驱动的UI探索技术,识别和检测iOS平台上的变色龙应用(Chameleon Apps)。变色龙应用是一类在应用商店审核期间表现正常,但安装后通过更新、远程
本文针对LLM集成应用系统(LLM-integrated app systems)中的安全威胁,提出了一种名为ACE(Abstract-Concrete-Execute)的安全架构。这类系统通过系统LLM调用第三方应用,采用交错规划和执行阶
本文提出了一种针对实时操作系统(RTOS)内核的上下文自适应函数级模糊测试方法,名为RTCON。RTOS广泛应用于嵌入式系统和物联网设备,其内核安全性至关重要。传统模糊测试通常以系统调用或整个程序为输入,但RTOS内核具有高度耦合的上下文依
本文提出 FirmAgent,一种融合模糊测试与大型语言模型(LLM)智能体的方法,用于自动化发现物联网(IoT)固件中的安全漏洞。研究背景是:IoT 设备数量激增,其固件普遍存在内存破坏、逻辑缺陷等漏洞,而传统模糊测试在固件平台上面临代码
本文提出了一种针对大语言模型(LLM)及其防护栏(Guardrails)的双重越狱攻击框架DualBreach。现有研究主要关注单一越狱,即仅针对LLM本身,而忽略了防护栏的防御作用,导致在防护栏保护的LLM上攻击成功率受限。DualBre