本文研究了同态加密(HE)环境下神经网络推理的结构化剪枝对模型可靠性的影响,并提出了多项式敏感度感知剪枝方法(PSAP)。背景:同态加密允许对加密数据进行计算,但计算开销大,结构化剪枝是降低开销的关键技术,然而剪枝可能引入可靠性问题,如对位错误敏感。核心贡献:PSAP联合考虑权重幅度、多项式激活敏感度和旋转成本对滤波器进行评分,将剪枝集中在容错区域。实验在两种架构(ResNet-32等)、两个数据集、两种数值表示(int32, CKKS)和五种比特错误率下进行,包含40个全模型和108个每层实验。结果显示,PSAP剪枝模型将灾难性精度下降(>10%准确率下降)的层数限制在最多2层,而基于幅度的基线模型有5-14层受影响;在int32比特翻转注入下,最坏情况脆弱性降低最多29倍。直接CKKS加密故障注入表明安全操作边界在比特错误率(BER)约10^{-5}附近,支持int32注入作为保守可靠性代理。关键结构层仅占总参数量的1.1%,可选择性加固且开销极小。效率方面:在ResNet-32上,PSAP减少Halevi-Shoup旋转次数达45.2%;自适应混合度数分配方案将乘法深度从66降至56,无需bootstrapping即可实现分级推理。该论文是首个系统表征剪枝对同态加密神经网络可靠性影响的工作,为安全高效的加密推理提供了新方法。
💡 推荐理由: 首次系统揭示结构化剪枝对同态加密神经网络可靠性的影响,提出的PSAP方法在保持效率的同时显著增强抗位错误能力,对部署安全ML推理系统具有直接指导意义。
🎯 建议动作: 研究跟进:将PSAP方法纳入内部加密推理可靠性评估流程,特别适用于需要高可靠性的同态加密部署。