随着同态加密(HE)技术被用于保护神经网络推理中的隐私数据,其计算和存储开销成为主要瓶颈。结构化剪枝是降低HE加密神经网络(ENN)计算复杂度的有效手段,但现有剪枝方法主要关注压缩率或精度保持,而忽略了剪枝对模型可靠性的影响。本文首次系统性地刻画了CKKS加密神经网络在剪枝后的可靠性特征,并提出了一种可靠性感知的结构化剪枝方法——多项式敏感性感知剪枝(PSAP)。PSAP在剪枝决策中联合考虑三个指标:权重幅度(传统重要性)、多项式激活敏感性和旋转成本。其中,多项式激活敏感性衡量模型对激活函数输出扰动的容忍度,旋转成本则与HE中重排操作的效率直接相关。通过将剪枝集中在故障容忍度较高的区域,PSAP能够在保持竞争力的效率的同时显著增强抗比特翻转能力。实验覆盖两个架构(ResNet-32、VGG-16)、两个数据集(CIFAR-10、CIFAR-100)、两种数值表示(定点、浮点)和五种比特错误率(BER),共40个全模型和108个逐层实验。结果显示,PSAP剪枝模型将灾难性精度下降(>10个百分点)的层数约束在最多2个,而幅度剪枝基线为5至14个;在int32比特翻转注入下,最坏情况脆弱性降低最高达29倍。直接CKKS加密故障注入表明安全操作边界接近BER≈10^{-5},并验证了int32注入可作为保守的可靠性代理。此外,故障关键的结构层仅占参数总量的1.1%,为选择性加固提供了极小开销的方案。在效率方面,PSAP在ResNet-32上减少Halevi-Shoup旋转次数达45.2%,并利用自适应混合度分配将乘法深度从66降至56,从而无需自举即可实现层级推理。本文的核心贡献在于:揭示了剪枝对ENN可靠性的影响,提出了同时考虑效率和可靠性剪枝方法,并通过全面实验证明了该方法在安全性与计算效率之间的良好权衡。该工作对隐私保护机器学习的可靠部署具有重要指导意义。
💡 推荐理由: 同态加密下的神经网络部署面临硬件故障(如比特翻转)导致的严重精度下降风险。本文首次系统研究剪枝对加密模型可靠性的影响,并提出了同时优化效率与鲁棒性的结构化剪枝方法,对于构建安全且高效的隐私保护推理系统具有直接实用价值。
🎯 建议动作: 研究跟进