#activation-function

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

本文针对嵌入式微控制器(如ARM Cortex-M4)上神经网络推理过程中的激活函数(ReLU, sigmoid, tanh, GELU, Swish)存在的时序侧信道泄露问题,提出了一种常量时间(constant-time)实现方法。该方法通过结合无分支选择、基于Padé近似的固定成本计算、虚拟算术操作以及循环对齐等技巧,确保所有激活函数在不同输入下消耗相同的时钟周期数,从而消除时序侧信道。作者首先评估了一种基于去同步化的防御措施,并证明其仍易受模板化时序攻击,进而提出防御方案。实验结果表明,保护后的实现在三函数和五函数场景下分别实现恒定的88和108周期计数,同时数值误差分析显示近似非线性函数保持高精度。该研究为嵌入式推理中构建抗侧信道的激活函数提供了实用基础,适用于需要安全部署深度学习模型的嵌入式系统开发者及侧信道防御研究人员。

💡 推荐理由: 首次提出针对嵌入式激活函数的系统化常量时间实现方法,填补了该领域空白,为物联网设备中的神经网络推理提供强时序侧信道防护。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Rui Li, Wenyuan Wu, Weijie Miao

全同态加密(FHE)仅支持加法和乘法运算,因此在FHE环境下进行神经网络推理时,需要用多项式近似替代ReLU激活函数。传统方法通过在经验激活区间上进行多项式拟合来控制逼近误差,通常需要较高次数的多项式,导致同态求值开销增加。然而,分类结果仅由最终logit的决策边界决定,激活函数的局部近似误差不一定影响分类准确性。本文从决策感知的角度重新审视ReLU替换问题:给定一个训练好的单隐层ReLU MLP和一个指定的校准集,能否在不重新训练的情况下,找到一个低次(二次)HE友好的多项式替换ReLU,同时保持校准集上的决策结果?作者聚焦于二次替换(最低次的保持单单元非线性的选择)。对于在升维空间中正间隔可分的校准集,他们将二次替换建模为线性可分问题,给出了校准无损替换的充要条件,并提出了构造系数的算法。当正间隔条件不成立时(通常由少数误分类校准样本导致),他们通过约简凸壳和拉格朗日对偶软间隔松弛扩展了相同的几何框架,从而限制任何单个样本的影响,将问题转化为较小的凸二次规划,得到近似可行的系数,并在校准集决策上具有较高的经验一致性。特别地,在最大权重上限μ=1时,约简凸壳松弛退化为严格可分情况下的凸壳分离;该松弛连续地扩展了精确理论。在CKKS加密方案下,该二次替换在多个基准测试上匹配明文top-1精度,激活模块运行速度比Remez-7快3.7–4.1倍,端到端速度提升1.18–1.68倍。本文方法适用于需要FHE推理且希望降低多项式次数的场景,尤其适合隐私计算和机器学习即服务(MLaaS)中处理敏感数据的情况。

💡 推荐理由: 该研究提出了一种决策感知的方法来近似ReLU,显著降低FHE推理中激活模块的计算开销,同时保持分类精度。对于隐私计算和同态加密部署具有实际应用价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)