How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE
该论文研究的是：在开放权重语言模型上被广泛引用的「方向消融（directional ablation）」白盒攻击，是否在从前沿稠密模型迁移到大规模混合专家（MoE）架构后依然成立。所谓方向消融，是指不需要基于梯度的训练、也不需要任何优化，仅
#llm-alignment
共收录 2 条相关情报。
← 返回所有主题Differentially Private Preference Data Synthesis for Large Language Model Alignment
本文提出 DPPrefSyn，一种用于生成差分隐私（DP）合成偏好数据的新算法，旨在保护大语言模型（LLM）对齐过程中的隐私。在偏好对齐的后训练阶段，使用真实人类偏好数据可能泄露敏感的用户提示和判断。DPPrefSyn 基于 Bradley