该论文研究了当前针对开源权重大语言模型（LLMs）的安全微调防御措施，这些措施旨在防止模型被用于有害目的。然而，预训练的LLMs本身已编码了大量有害知识，这意味着攻击者可能无需额外微调，仅通过提示注入或越狱方式就能诱导模型产生有害输出。论文发现两种简单且低成本的攻击方法——abliteration（通过特定提示模板消除模型的安全对齐）和 prefilling（通过预先填充用户输入来绕过安全过滤）——能够有效绕过现有的安全防御。在BeaverTails、HarmBench和AdvBench三个有害行为评估基准上，这些攻击将针对安全微调模型（如Llama-2-7B）的攻击成功率从低于10%提升至16%-96%不等。为缓解这一漏洞，作者提出了abliteration-resistant tuning (ART)，通过在训练中引入基于abliteration的目标来增强模型抵御上述攻击的能力。实验表明，ART可以将abliteration、prefilling及其组合攻击的成功率降低10%-20%。该工作揭示了开源权重模型的安全评估面比之前认为的更广，防御评估不应仅关注微调攻击，还应包含更多样的攻击策略。