#model-repair

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Baogang Song, Changtian Song, Jian Chen, Fan He, Junwei Zhou, Jianwen Xiang, Dongdong Zhao

该论文关注后门修复(backdoor repair)的评估方法问题。后门修复的目标是在被植入后门的模型中抑制恶意行为,同时尽量保留模型在良性任务上的正常性能。以往研究普遍使用两个指标来评价修复效果:攻击成功率(ASR)用于衡量后门是否被压制,整体干净准确率(Overall Clean Accuracy)用于衡量良性性能是否被保留。作者指出,这种评估方式存在系统性盲点:整体干净准确率是一个聚合指标,可能掩盖集中在少数标签(类别)上的严重性能退化——只要其他类别表现正常甚至略有提升,聚合数值看起来依然良好。为此,作者从“保持性(preservation)”视角重新审视良性性能评估,明确提出应当区分“聚合干净效用”与“修复前已有逐类性能的保持”,并用修复前后的逐类干净性能对比来定义逐类保持损失(class-wise preservation loss)。论文进一步分析了聚合指标掩盖局部退化的两种机制:局部损失稀释(localized-loss dilution)与跨类补偿(cross-class compensation)。为弥补整体干净准确率的不足,作者提出用最差类保持损失(Worst-Class Preservation Loss)和尾部保持损失(Tail Preservation Loss)来刻画局部化的保持损失。作者在多种代表性后门攻击、修复方法、数据集、攻击目标与模型架构上开展了系统性实证研究,并在 clean-label 攻击场景下做了额外验证。结果表明:有效的攻击抑制与良好的聚合干净性能,并不必然意味着修复前可用的良性能力在所有类别上被均匀保留;修复后仍可能残留显著的局部保持损失,且其严重程度与逐类结构随修复条件而变化。论文由此主张在 ASR 与整体干净准确率之外,补充面向保持性的逐类评估。

💡 推荐理由: 后门修复常以 ASR 与整体干净准确率作为选型依据,本文揭示这两项指标会掩盖集中在部分类别的严重功能退化。防御者若照此选型,可能部署看似安全、实则在关键类别上已失效的模型。

🎯 建议动作: 研究跟进,并考虑将逐类保持性指标纳入内部后门修复评估与模型上线检查流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jiali Wei, Ming Fan, Mingkun Zhang, Haoyu Wang, Jun Sun, Guoheng Sun, Xiaoning Ren, Haijun Wang, Ting Liu

多模态大语言模型(MLLM)在用户端应用中日益普及,但其构建流程可能引入后门风险:触发器可能位于图像、文本或两者中。现有面向传统分类器的模型级后门移除方法对 MLLM 效果有限,而针对 MLLM 的防御大多在推理时进行,通过过滤可疑输入来缓解风险,并未真正移除模型内嵌的后门。为从源头消除 MLLM 中的潜在后门,本文提出 RACER(Region-Aware Consistency Repair)框架,其核心观察是:后门会导致内部表示在层间演化出现异常,作者称之为“层间不一致性异常”。该异常具有模态依赖性,主要集中在编码触发器特征的 token 区域。RACER 将融合表示分解为视觉和文本 token 区域,分别对其层间不一致性进行归一化,并在深层窗口上使用模态感知权重重组,形成区域感知的不一致性目标,从而更精确地捕获局部后门异常。通过最小-最大优化,该目标驱动最坏情况扰动合成和对抗微调,抑制后门行为依赖的深层表示方向性偏移。RACER 仅需 100 个干净样本,无需知道触发器、攻击目标甚至模型是否包含后门。在三个开源 MLLM、覆盖图像/文本/多模态触发器的 36 种后门设置中,RACER 将平均攻击成功率(ASR)降至 1.1%,其中 32 种设置达到 0%,同时保持后门模型和干净模型的干净任务效用。该方法为 MLLM 模型级后门修复提供了新思路。

💡 推荐理由: MLLM 后门威胁日益严峻,现有防御多在推理层过滤,无法根除。RACER 提出首个模型级修复框架,仅需少量干净样本即可有效清除后门,为安全从业者提供了治理 MLLM 原生风险的可行方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)