#neural-network-pruning

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Xiaoyong Yuan, Lan Zhang 0005

本文首次系统研究了神经网络剪枝过程中的隐私风险,特别是成员推理攻击(Membership Inference Attacks)的影响。作者指出,现有的剪枝研究主要关注如何在保持模型精度的同时提高稀疏性,但忽略了剪枝可能带来的训练数据记忆化风险。通过实验,他们发现剪枝过程会导致模型在成员(训练集数据)和非成员(非训练集数据)上的预测行为产生差异(即预测发散),并且这种发散在不同类别上表现不同。基于此观察,作者提出了一种基于自注意力机制的成员推理攻击方法,专门针对剪枝后的神经网络。该攻击利用剪枝导致的预测发散,通过自注意力权重聚焦于发散显著的样本,从而更准确地推断数据是否属于训练集。实验表明,该方法在多个剪枝方法、稀疏度水平和攻击知识假设下,均优于现有的八种成员推理攻击。此外,作者还提出了一种基于KL散度的防御机制,通过最小化剪枝前后模型预测分布的差异来缓解预测发散,从而保护隐私。实验证明,该防御在保持模型稀疏性和精度的同时,有效降低了成员推理攻击的成功率。该研究适合AI安全研究人员、隐私保护工程人员以及模型压缩领域的从业者阅读。

💡 推荐理由: 模型剪枝广泛用于边缘部署,但本文揭示其可能加剧数据记忆,导致训练数据隐私泄露。对设计隐私友好的模型压缩方案至关重要。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Sahaj Majavdia, Mahdi Taheri

随着同态加密(HE)技术被用于保护神经网络推理中的隐私数据,其计算和存储开销成为主要瓶颈。结构化剪枝是降低HE加密神经网络(ENN)计算复杂度的有效手段,但现有剪枝方法主要关注压缩率或精度保持,而忽略了剪枝对模型可靠性的影响。本文首次系统性地刻画了CKKS加密神经网络在剪枝后的可靠性特征,并提出了一种可靠性感知的结构化剪枝方法——多项式敏感性感知剪枝(PSAP)。PSAP在剪枝决策中联合考虑三个指标:权重幅度(传统重要性)、多项式激活敏感性和旋转成本。其中,多项式激活敏感性衡量模型对激活函数输出扰动的容忍度,旋转成本则与HE中重排操作的效率直接相关。通过将剪枝集中在故障容忍度较高的区域,PSAP能够在保持竞争力的效率的同时显著增强抗比特翻转能力。实验覆盖两个架构(ResNet-32、VGG-16)、两个数据集(CIFAR-10、CIFAR-100)、两种数值表示(定点、浮点)和五种比特错误率(BER),共40个全模型和108个逐层实验。结果显示,PSAP剪枝模型将灾难性精度下降(>10个百分点)的层数约束在最多2个,而幅度剪枝基线为5至14个;在int32比特翻转注入下,最坏情况脆弱性降低最高达29倍。直接CKKS加密故障注入表明安全操作边界接近BER≈10^{-5},并验证了int32注入可作为保守的可靠性代理。此外,故障关键的结构层仅占参数总量的1.1%,为选择性加固提供了极小开销的方案。在效率方面,PSAP在ResNet-32上减少Halevi-Shoup旋转次数达45.2%,并利用自适应混合度分配将乘法深度从66降至56,从而无需自举即可实现层级推理。本文的核心贡献在于:揭示了剪枝对ENN可靠性的影响,提出了同时考虑效率和可靠性剪枝方法,并通过全面实验证明了该方法在安全性与计算效率之间的良好权衡。该工作对隐私保护机器学习的可靠部署具有重要指导意义。

💡 推荐理由: 同态加密下的神经网络部署面临硬件故障(如比特翻转)导致的严重精度下降风险。本文首次系统研究剪枝对加密模型可靠性的影响,并提出了同时优化效率与鲁棒性的结构化剪枝方法,对于构建安全且高效的隐私保护推理系统具有直接实用价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)