Does the Unsafe Gradient Survive a Conversation? On the Fragility of Gradient-Based Jailbreak Detection in Multi-Turn Dialogue
该论文研究的是多轮对话场景下基于梯度的越狱(jailbreak)检测器是否依然有效。背景在于:安全对齐的大模型通常以多轮助手形式部署,攻击者可以把恶意意图拆散到多个用户轮次中,而不是塞进单条提示;而 GradSafe 这类基于梯度的越狱检测
共收录 1 条相关情报。
← 返回所有主题该论文研究的是多轮对话场景下基于梯度的越狱(jailbreak)检测器是否依然有效。背景在于:安全对齐的大模型通常以多轮助手形式部署,攻击者可以把恶意意图拆散到多个用户轮次中,而不是塞进单条提示;而 GradSafe 这类基于梯度的越狱检测