#split-learning

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Yixiao Zheng, Changzheng Wei, Xiaodong Qi, Hanghang Wu, Yuhan Wu, Li Lin, Tianmin Song, Ying Yan, Yanqing Yang, Zhao Zhang 0009, Cheqing Jin, Aoying Zhou

该论文提出 ZKSL,一个可验证且高效的拆分/联邦学习框架,将训练过程与零知识证明相结合。核心目标是实现联邦学习的隐私保护与可验证正确性,同时避免高昂的证明开销。ZKSL 通过三个设计支柱实现: (i) 层间并行证明,逐层生成证明并聚合; (ii) PC-PLONK,引入专用的隐私承诺列来高效强制执行跨层一致性,避免在电路内进行哈希(在论文规模下不可行)或脱离电路进行哈希(破坏零知识信任模型); (iii) 异步计算-证明调度(K-window),将随机梯度下降与证明解耦,使训练过程不会因证明生成而停滞。论文提供了开源原型,包括立即可用的配置和脚本,可复现 LeNet(两方)和 DeepFM(三方)上的关键结果。它产生结构化日志,记录前向/梯度/反向各阶段的证明生成时间。预期结果是,在启用分层并行时,前向和反向阶段的证明时间显著减少,并且在异步调度下端到端吞吐量更高,与论文图表中报告的趋势一致。该工作适合关注隐私保护机器学习、联邦学习安全性和可验证计算的研究人员和工程师阅读。

💡 推荐理由: 联邦学习面临隐私泄露和模型正确性无法验证的双重挑战。ZKSL 首次将零知识证明高效应用于拆分学习场景,在保证隐私的同时实现了可证明的正确性,为安全协同学习提供了新的技术路径。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zihan Liu, Yizhen Wang, Rui Wang, Xiu Tang, Sai Wu

大型语言模型(LLM)的微调能够使其适应特定应用,但高昂的计算成本使得资源受限的组织难以独立完成。云平台可以提供所需资源,但数据隐私问题使得将敏感信息共享给第三方存在风险。分割学习(Split Learning)作为一种有前景的解决方案,将模型划分为客户端和服务器两部分,通过交换中间数据实现协作且安全的训练,从而使资源受限的参与者能够安全地适配LLM。近年来,涌现了大量研究来推进这一范式,提出了多种模型方法、系统优化以及隐私防御-攻击技术。为了理清该领域的发展脉络,本文首次全面综述了针对LLM微调的分割学习。我们提出了一种统一的细粒度训练流水线来定位关键操作组件,并从三个核心维度:模型级优化、系统级效率和隐私保护,对现有工作进行系统回顾。通过这一结构化分类,我们为推进可扩展、鲁棒且安全的协作式LLM适配奠定了基础。本文适合对LLM微调、隐私保护分布式学习感兴趣的研究人员和工程师阅读。

💡 推荐理由: 分割学习允许资源受限的参与者安全地微调LLM,解决了云上微调的数据隐私痛点,是连接低成本与隐私保护的关键技术。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)