Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks
近期研究表明,大语言模型可被“组合式”越狱攻击:有害意图与若干看似无害的任务被拼接进同一条查询,单独的恶意请求会被拒绝,但嵌入更大规模的良性查询后却可能获得回应。该论文从信息论视角系统刻画这类“意图隐藏”越狱。作者为每个任务赋予一个“被判定
共收录 4 条相关情报。
← 返回所有主题近期研究表明,大语言模型可被“组合式”越狱攻击:有害意图与若干看似无害的任务被拼接进同一条查询,单独的恶意请求会被拒绝,但嵌入更大规模的良性查询后却可能获得回应。该论文从信息论视角系统刻画这类“意图隐藏”越狱。作者为每个任务赋予一个“被判定
该论文聚焦大语言模型安全对齐的一个被忽视的失效模式:安全泛化滞后(safety generalization lag)。作者指出,当前主流对齐训练与红队数据几乎全部集中在自然语言上,导致模型在代码域上未能继承同等强度的拒答能力。这一滞后在代
该论文关注大模型安全对齐在解码阶段的脆弱性: 操纵生成过程中的下一个 token 概率分布可以绕过对齐约束。但已有方法普遍依赖模型权重或数值化的 token 概率(logprobs), 因此对只返回采样文本的黑盒接口完全无效。作者尝试从采样
该论文研究的是多轮对话场景下基于梯度的越狱(jailbreak)检测器是否依然有效。背景在于:安全对齐的大模型通常以多轮助手形式部署,攻击者可以把恶意意图拆散到多个用户轮次中,而不是塞进单条提示;而 GradSafe 这类基于梯度的越狱检测