推荐 1.5
Conf: 50%
模型剪枝是压缩深度学习模型的技术,迭代剪枝能在较低效用损失下获得更好的压缩效果。然而,本文分析发现迭代剪枝显著增加了模型的记忆化程度,使得剪枝后的模型更容易受到成员推理攻击(MIA)。现有的大多数MIA防御方法主要针对原始未剪枝模型,对迭代剪枝模型效果有限。为此,本文提出了一种名为WEMEM的新框架,旨在削弱迭代剪枝过程中的记忆化。具体而言,分析识别出导致迭代剪枝中记忆化增加的两个重要因素:数据重用和固有记忆性。考虑两者的单独及组合影响,形成三种导致迭代剪枝模型记忆化增强的场景。根据这些因素的特征,设计了三种防御原语,并通过组合这些原语,针对每种场景提出了有效的防御方法。在十种自适应MIA下的综合实验证明了所提出防御的有效性。此外,与现有五种防御方法相比,本文的防御在隐私-效用权衡和效率方面表现更优。同时,还增强了自动调整设置以达到最优防御的能力,提升了实用性。
💡 推荐理由: 迭代剪枝在模型压缩中广泛应用,但其引入的成员推理攻击风险常被忽略。本文揭示了这一漏洞并提出系统化防御,对保护模型隐私具有重要意义。
🎯 建议动作: 研究跟进
排序因子: Community 数据源 (+1) | LLM 评分加成 (+0.5)