Does the Unsafe Gradient Survive a Conversation? On the Fragility of Gradient-Based Jailbreak Detection in Multi-Turn Dialogue
该论文研究的是多轮对话场景下基于梯度的越狱（jailbreak）检测器是否依然有效。背景在于：安全对齐的大模型通常以多轮助手形式部署，攻击者可以把恶意意图拆散到多个用户轮次中，而不是塞进单条提示；而 GradSafe 这类基于梯度的越狱检测
#multi-turn-dialogue
共收录 2 条相关情报。
← 返回所有主题One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue
本文针对多轮对话中隐藏恶意意图的威胁，提出了一种响应感知的防御方法。攻击者可将恶意目的分散到多个看似无害的对话轮次中，绕过现有安全对齐和外部护栏。作者检测出“最早使得累计交互足以产生危害的轮次”，即“危害使能关闭点”，以实现精确的轮次级别干