#verifiable-training

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Hongxu Su, Jianzhu Yao, Xuechao Wang, Pramod Viswanath

联邦学习允许多个客户端在不共享私有数据的前提下协同训练模型,但服务器对本地训练过程缺乏可见性,既无法确认客户端是否严格遵循既定训练流程,也难以发现模型投毒等恶意更新。一种直观的验证思路是“重放”客户端训练:用相同配置重新执行训练并比对结果。然而在隐私保护场景下,重放必须在密码学保护下进行,其数值结果与客户端本地 GPU 上真实执行的浮点结果无法逐位对齐,导致“不一致”既可能源于恶意篡改,也可能只是运行环境差异,直接比对会产生大量误报。 针对这一矛盾,作者提出 OPFL——面向隐私保护联邦学习的乐观验证框架。OPFL 将重放放在安全多方计算(MPC)中执行以保护数据隐私,并观察到:尽管 MPC 与本地 GPU 计算出的梯度并非逐位相同,但两者之间的绝对差值具有稳定且有界的统计特性。基于此,OPFL 先离线校准一个“经验边界”,在线阶段用该边界判断偏差属于良性数值噪声还是恶意操纵。为降低 MPC 重放的高昂开销,OPFL 采用乐观验证策略:不对全部训练步骤重放,而是按概率抽样、事后审计部分训练步骤,抽样结果落在边界内即接受更新。 实验在 LeNet、BERT、Qwen 上进行,结果显示经验边界可跨数据集、输入长度和 GPU 泛化;在模型投毒与 PGD 类攻击下达到 0% 攻击成功率(ASR)。在 LeNet 负载、采样率 p=0.01 时,OPFL 比全量 MPC 联邦学习快约 98.6 倍,比基于零知识证明(ZK)的方案快约 625.5 倍。该工作适合研究联邦学习安全、可信机器学习、MPC/零知识证明系统,以及构建可验证分布式训练平台的研究者与工程师阅读。

💡 推荐理由: 为联邦学习“可验证性”提供兼顾隐私与效率的工程路径:不必放弃 MPC 隐私保护即可审计客户端训练,并把开销压到可用量级,对模型投毒防御与可信训练审计有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Li Ge, Wenjie Qu, Weitao Feng, Yi Zeng, Jiaheng Zhang, Xiaofeng Wang, Wei Dong

随着机器学习广泛部署,监管与政策对训练数据保护的要求日益严格,差分隐私(DP)成为关键技术;但一个研究不足的问题是,如何在不接触私有训练数据的前提下,由外部验证者认证已发布的模型确实按声称的 DP 保护完成训练。现有基于零知识证明等密码学方案虽能提供强保证,却往往带来数量级的高昂开销。TEE 是更高效的替代路径,但支撑大语言模型训练与微调所需的多 GPU TEE 能力仅存在于较新平台,在旧 GPU 上缺失或效率低下。本文提出一套可验证 DP 训练的实用框架:以 CPU 侧 TEE 配合不可信 GPU。该设计直面效率与安全的根本矛盾——全部在 CPU TEE 内训练过慢,而无限制地向 GPU 卸载又可能让恶意方偏离 DP。方案将昂贵的梯度计算卸载到 GPU,同时在 CPU TEE 内通过概率性检查高效验证梯度上 DP 是否被正确强制执行。实验表明,框架能以高概率检出频繁的完全 DP 偏离;对于本文评估的面向效用的伪造梯度攻击,稀疏偏离带来的效用收益有限,且未观察到可测量的额外成员泄漏。整体上接近“免费午餐”:相比标准 GPU DP 训练仅增加适度开销,同时有效约束对声称 DP 执行的恶意偏离。

💡 推荐理由: 为需要向监管或客户证明 DP 合规的团队提供低开销、可在旧 GPU 上落地的可验证训练路径,把 DP 声明从自证变为可被第三方审计的对象。

🎯 建议动作: 研究跟进,并纳入内部评估其与现有 DP 训练流水线的集成成本

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)