该论文针对长文本隐私推理中的性能瓶颈问题,提出了一种名为FESC(Factorized Encrypted Scan-Contract)的混合FHE-MPC系统。传统隐私推理系统主要优化或分布式实现Transformer的加密注意力机制,但注意力机制的二次方token-pair计算复杂度随着序列长度增长成为主要瓶颈。状态空间模型(SSM)具有线性时间递归特性,但直接加密实现会导致线性乘法深度、全序列状态驻留或密集的FHE-MPC转换开销。FESC通过因子化扫描-收缩(factorized scan-contract)方法,将输入相关的状态转换保持紧凑并跨越转换边界,无需密集扩展即可组合,按需流式传输状态块,并在转换前收缩输出。该系统展示了扫描-收缩实现在不变和选择性SSM架构上的接口兼容性。论文针对Mamba-2实例设计了GPU优化的CKKS核用于线性计算,以及针对SiLU、softplus、指数和RMSNorm的MPC协议,并结合近似感知微调。据作者所述,FESC是首个在单GPU上完成L≥1024原生端到端执行的私有长文档推理系统。在L=2048时,12层Mamba-base模型在单个A100 GPU上完成推理耗时77.3分钟,峰值内存占用32.7GB,并在评估的长文档任务上保持接近明文精度的准确性。该研究为长上下文隐私推理提供了新的架构思路,证明了SSM在隐私计算中的可行性。适合对隐私保护机器学习、同态加密、安全多方计算以及大规模语言模型推理优化感兴趣的研究人员和工程师阅读。
💡 推荐理由: 该研究突破了长文本隐私推理的性能瓶颈,首次在单GPU上实现长序列SSM的端到端私有推理,为处理敏感长文档(如医疗记录、法律文件)提供了可行方案,对隐私计算与LLM结合的方向有重要推动作用。
🎯 建议动作: 研究跟进