#deduplication

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Rongxi Wang, Guanxiong Ha, Chunfu Jia, Yongsheng Lin, Minfen Gao, Hanmiaomiao Wang

在大语言模型训练语料中,跨客户端重复数据会降低联邦学习(FL)的效率,同时加剧模型记忆化与隐私泄露风险。隐私保护的跨客户端去重可清除重复训练数据,从而缓解该问题。然而现有方案均遵循“先去重、后训练”(Deduplication-before-Training)范式,这种串行耦合方式容错开销高,且不支持客户端的动态加入。为此,作者提出一种此前未被探索的新范式“训练中同时去重”(Deduplication-while-Training,DwT),使去重与训练并发执行。DwT 将跨客户端去重从一次性、全局同步的预处理操作,转变为具有状态管理、并发认领与故障恢复能力的持续在线服务;通过状态同步与任务接管,最小化客户端断连对整体训练进度的影响,并支持客户端动态加入。作者据此设计并实现了隐私保护去重系统 DwT-FL,其核心包括并发状态认领机制与冷热双队列调度策略,使安全去重与模型训练能够并行执行,同时有效处理客户端断连与动态加入。实验表明,与当前最先进方案相比,DwT-FL 将故障恢复的时间开销最多降低 93.04%,将动态加入的时间开销最多降低 94.18%,为动态、不稳定的联邦学习环境提供了高效且弹性的并发去重方案。该工作适合联邦学习、隐私计算与分布式训练领域的研究者与工程师阅读。

💡 推荐理由: 去重与训练串行耦合带来的容错及动态加入开销,是联邦学习落地的现实瓶颈。DwT 将去重转为持续在线服务,显著降低故障恢复与动态加入延迟,对隐私保护机器学习系统的工程实践有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)