On the Hidden Costs of Counterfactual Knowledge Training in LLM Unlearning
本文深入研究了大型语言模型（LLM）遗忘中的反事实调优（CFT）范式。CFT通过训练模型生成替代的虚构知识来取代不需要的内容，是一种有前景的遗忘方法。然而，作者发现CFT在某些方面仍不如其他遗忘范式，并揭示了两个被忽视的缺陷：（1）知识冲突
#counterfactual-tuning
共收录 1 条相关情报。
← 返回所有主题共收录 1 条相关情报。
← 返回所有主题本文深入研究了大型语言模型（LLM）遗忘中的反事实调优（CFT）范式。CFT通过训练模型生成替代的虚构知识来取代不需要的内容，是一种有前景的遗忘方法。然而，作者发现CFT在某些方面仍不如其他遗忘范式，并揭示了两个被忽视的缺陷：（1）知识冲突