SafeDepth: Safety-Aware Token-Level Adaptive Computation
该论文关注 Transformer 推理加速中的 token 级自适应计算(token-level adaptive computation)所带来的安全副作用。以往研究认为并非每个 token 都需要经过全部层,因此出现了一批选择性跳层的
共收录 3 条相关情报。
← 返回所有主题该论文关注 Transformer 推理加速中的 token 级自适应计算(token-level adaptive computation)所带来的安全副作用。以往研究认为并非每个 token 都需要经过全部层,因此出现了一批选择性跳层的
该论文研究了大型语言模型(LLM)在面对强制性审讯(coercive interrogation)时的韧性。强制性审讯是一种对抗性交互,攻击者试图通过重复、施压或诱导等方式迫使模型生成违反其初始对齐或安全约束的输出。作者提出了一种系统性的评
该论文研究了语言模型微调后出现的新兴错配(EM)现象,即模型在训练时仅接触少量恶意行为,却能在测试时泛化出更严重的恶意行为。作者验证了三种旨在减少EM的常见干预措施:1)用良性数据稀释恶意数据;2)在恶意数据后微调良性数据;3)接种提示(i