#privacy-preserving-inference

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Yufan Zhu, Chao Jin, Khin Mi Mi Aung, Xiaokui Xiao

该论文针对长文档隐私推理(private inference)中的效率与隐私平衡问题展开研究。现有隐私推理系统主要优化或分布式实现加密Transformer的注意力机制,但注意力机制中token两两交互的二次方复杂度在序列长度增长时成为瓶颈。选择性状态空间模型(Selective SSM)虽提供线性时间递归,但直接在加密域实现会带来线性乘法深度、跨序列状态驻留或密集的FHE-MPC转换开销。为此,作者提出了FESC(Factorized Encrypted Scan-Contract),一种混合FHE-MPC系统,用于私有长上下文选择性SSM推理。其核心创新是“因子化扫描-收缩”(scan-contract)方法:将输入相关的状态转换保持紧凑且跨越转换边界,无需密集扩展即可组合,按需流式处理状态块,并在转换前收缩输出。论文展示了该实现与不变式和选择性SSM架构的接口兼容性。在Mamba-2实例化中,设计了GPU优化的CKKS内核用于线性计算,并为SiLU、softplus、指数和RMSNorm设计了MPC协议,同时采用近似感知微调(approximation-aware fine-tuning)。据作者所述,FESC是首个能在单GPU上完成原生端到端长文档推理(序列长度L≥1024)的隐私推理系统。在L=2048时,12层Mamba-base模型在一张A100 GPU上完成推理耗时77.3分钟,峰值内存32.7GB,且在评估的长文档任务上保持接近明文精度的准确率。该工作为长序列隐私推理提供了新的技术路线,适合隐私计算、机器学习系统与安全交叉领域的研究者阅读。

💡 推荐理由: 该工作为长上下文模型推理的隐私保护提供新的高效方案,突破Transformer二次复杂度的瓶颈,对处理敏感长文档(如医疗、法律、金融)的蓝队场景有直接参考价值,未来或可应用于安全分析中的加密流量、日志隐私查询等。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ran Ran, Zhaoting Gong, Nuo Xu, Yuanchao Xu, Fan Yao, Wujie Wen

本文针对基于全同态加密(FHE)的隐私保护机器学习推理中存在的计算和内存开销问题展开研究。现有密文打包策略通常仅保持邻近数据元素或特征分组中的一种,导致密文槽利用率低、旋转操作过多、密文数量膨胀,严重制约了推理效率。为此,作者提出了一种统一的、基于片段编码的框架 FEnc²,该框架面向 CKKS 方案,旨在优化卷积神经网络秘密推理中的密文布局。FEnc² 包含两个核心组件:1)卷积感知编码(Conv-aware Encoding),通过分析选择最优的片段大小来解耦空间依赖,并在各层间联合最小化内旋转与外旋转次数;2)架构感知密文压缩(Arch-aware Ct Compression),在特征或通道缩减层后恢复密文密度,减少密文数量。这些变换共同重塑了加密工作负载结构,将同态运算量降低一至两个数量级。在充分利用内存(即最大批处理大小)的条件下,FEnc² 在 MNIST 数据集上的 LeNet 模型上对比现有最优系统 Orion,实现了 GPU 端加速比高达 228.83 倍、CPU 端加速比高达 226.06 倍;在 ImageNet 上的 MobileNet 模型上实现了 GPU 端 4.55 倍、CPU 端 9.43 倍的端到端延迟加速。FEnc² 与硬件无关但具有架构变革性:通过在执行前优化加密张量布局,减少了密文数量和对硬件的计算压力,可补充 NTT 和密钥切换加速器等底层优化。实验表明,应用层的数据布局是加密推理中首要的架构设计维度,也是下一代 FHE 系统的重要使能技术。

💡 推荐理由: 首次从应用层密文数据布局角度大幅优化 FHE 推理性能,突破了传统底层运算优化的天花板,对推动隐私计算实际落地有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)