该论文关注后门修复(backdoor repair)的评估方法问题。后门修复的目标是在被植入后门的模型中抑制恶意行为,同时尽量保留模型在良性任务上的正常性能。以往研究普遍使用两个指标来评价修复效果:攻击成功率(ASR)用于衡量后门是否被压制,整体干净准确率(Overall Clean Accuracy)用于衡量良性性能是否被保留。作者指出,这种评估方式存在系统性盲点:整体干净准确率是一个聚合指标,可能掩盖集中在少数标签(类别)上的严重性能退化——只要其他类别表现正常甚至略有提升,聚合数值看起来依然良好。为此,作者从“保持性(preservation)”视角重新审视良性性能评估,明确提出应当区分“聚合干净效用”与“修复前已有逐类性能的保持”,并用修复前后的逐类干净性能对比来定义逐类保持损失(class-wise preservation loss)。论文进一步分析了聚合指标掩盖局部退化的两种机制:局部损失稀释(localized-loss dilution)与跨类补偿(cross-class compensation)。为弥补整体干净准确率的不足,作者提出用最差类保持损失(Worst-Class Preservation Loss)和尾部保持损失(Tail Preservation Loss)来刻画局部化的保持损失。作者在多种代表性后门攻击、修复方法、数据集、攻击目标与模型架构上开展了系统性实证研究,并在 clean-label 攻击场景下做了额外验证。结果表明:有效的攻击抑制与良好的聚合干净性能,并不必然意味着修复前可用的良性能力在所有类别上被均匀保留;修复后仍可能残留显著的局部保持损失,且其严重程度与逐类结构随修复条件而变化。论文由此主张在 ASR 与整体干净准确率之外,补充面向保持性的逐类评估。
💡 推荐理由: 后门修复常以 ASR 与整体干净准确率作为选型依据,本文揭示这两项指标会掩盖集中在部分类别的严重功能退化。防御者若照此选型,可能部署看似安全、实则在关键类别上已失效的模型。
🎯 建议动作: 研究跟进,并考虑将逐类保持性指标纳入内部后门修复评估与模型上线检查流程