该论文提出 Mosformer,据称是首个支持大型 Transformer(如 BERT 和 GPT)的恶意安全三方计算(3PC)推理框架。基于 Transformer 的模型在众多 AI 任务中表现优异,但当以云推理服务形式部署时,用户输入和模型参数均面临隐私泄露风险。现有基于安全多方计算(MPC)的 Transformer 推理协议大多假设半诚实攻击者,而扩展到恶意安全模型面临极大开销,尤其是对复杂非线性函数的求值。Mosformer 的核心贡献在于:首先利用可验证分布式点函数(VDPFs)设计了恶意安全下的常数轮比较协议和查表协议;随后基于这些原语构建了一套高效且安全的 3PC 协议,用于求值 Transformer 中的复杂非线性函数(如 GELU、Softmax、LayerNorm 等)。结合优化的模数转换方法,Mosformer 在保持模型精度的同时显著降低了安全推理的开销。实验在 vanilla Transformer 模块上显示,与先前的恶意安全协议相比,Mosformer 实现了最高 5.3 倍的加速和 4.3 倍的通信量减少。在完整规模的 BERT 和 GPT-2 模型上,尽管提供了更强的安全保证,Mosformer 的在线性能仍可与当前最优的半诚实 2PC/3PC 框架(如 BOLT、BumbleBee、SHAFT、Ditto)相当甚至更优。该研究适合关注隐私保护机器学习、安全推理和密码学协议设计的蓝队研究人员阅读,其方法有望为隐私计算在实际部署中的安全性提升提供新思路。
💡 推荐理由: 该论文首次在恶意安全模型下实现高效的大型 Transformer 推理,弥补了现有 MPC 推理系统仅针对半诚实模型的不足,对云推理场景中的模型与数据隐私保护具有重要参考价值,可帮助蓝队评估安全推理方案的现实威胁模型。
🎯 建议动作: 研究跟进