本文针对联邦学习中数据删除请求的合规需求(如GDPR的“被遗忘权”),提出了一种高效且精确的机器学习遗忘方法HF-KCU。联邦学习系统中,客户端可能要求删除其贡献的数据,传统做法是重新训练模型,但计算开销巨大。HF-KCU通过Krylov子空间中的共轭梯度迭代来近似影响函数,从而移除单个客户端的贡献,将计算复杂度从O(d^3)降低到O(kd)(k<<d)。方法引入因果加权机制,确保只有持有被删除数据的客户端收到参数更新,避免对其他未受影响客户端的模型产生扰动。此外,HF-KCU能够处理黑盒对抗扰动(对Hessian和梯度的有界扰动),在现实威胁模型下仍能优雅降级。实验在CIFAR-10、MNIST、Fashion-MNIST数据集上使用卷积网络(ResNet-18、SimpleCNN)和Transformer(ViT-Lite)架构验证。在CIFAR-10上采用Dirichlet(alpha=0.5)分区,HF-KCU相比重训练加速47.75倍,测试精度仅下降0.60%(71.16% vs 71.76%)。成员推理攻击在遗忘集上的成功率为0.499,与重训练的模型一致,证明了有效的隐私恢复。理论分析给出了Krylov近似误差的收敛保证( O((k^{1/2}-1)/(k^{1/2}+1)),k为Hessian条件数)。因果加权机制确保了手术式更新,避免异步联邦设置中基于梯度方法的不稳定性,且每次更新可直接归因于被删除数据的影响。该方法适用于异步删除请求且计算预算受限的生产联邦系统。
💡 推荐理由: 联邦学习中的数据删除合规性面临计算挑战,HF-KCU提供了高效且可对抗扰动的精确遗忘方案,保护用户隐私的同时维持模型性能,对安全工程师设计隐私优先的联邦系统有重要参考价值。
🎯 建议动作: 研究跟进