本文研究了可学习参数化激活函数（PAFs）与对抗训练结合时对深度神经网络鲁棒性的影响。以往工作主要关注网络宽度和深度对鲁棒性的作用，而激活函数形状的影响尚未被系统研究。作者首先设计了一组参数化激活函数，其参数可以独立控制负输入、接近零的输入和正输入区域的行为。通过固定参数值并使用对抗训练训练模型，他们发现激活函数的各个区域都会影响最终模型的鲁棒性，但只有在特定区域（接近零和正输入区域）的变化才能相比ReLU提升鲁棒性。随后，作者将可学习的PAFs与对抗训练结合，分析鲁棒性能。实验结果表明，激活函数的选择会显著影响对抗训练模型的鲁棒性，但只有特定类型的PAFs（如光滑PAFs）能够显著超越ReLU的鲁棒性。整体上，该工作揭示了激活函数在对抗训练模型中的重要性，为设计更具鲁棒性的神经网络架构提供了新视角。

本文针对嵌入式微控制器（如ARM Cortex-M4）上神经网络推理过程中的激活函数（ReLU, sigmoid, tanh, GELU, Swish）存在的时序侧信道泄露问题，提出了一种常量时间（constant-time）实现方法。该方法通过结合无分支选择、基于Padé近似的固定成本计算、虚拟算术操作以及循环对齐等技巧，确保所有激活函数在不同输入下消耗相同的时钟周期数，从而消除时序侧信道。作者首先评估了一种基于去同步化的防御措施，并证明其仍易受模板化时序攻击，进而提出防御方案。实验结果表明，保护后的实现在三函数和五函数场景下分别实现恒定的88和108周期计数，同时数值误差分析显示近似非线性函数保持高精度。该研究为嵌入式推理中构建抗侧信道的激活函数提供了实用基础，适用于需要安全部署深度学习模型的嵌入式系统开发者及侧信道防御研究人员。

全同态加密（FHE）仅支持加法和乘法运算，因此在FHE环境下进行神经网络推理时，需要用多项式近似替代ReLU激活函数。传统方法通过在经验激活区间上进行多项式拟合来控制逼近误差，通常需要较高次数的多项式，导致同态求值开销增加。然而，分类结果仅由最终logit的决策边界决定，激活函数的局部近似误差不一定影响分类准确性。本文从决策感知的角度重新审视ReLU替换问题：给定一个训练好的单隐层ReLU MLP和一个指定的校准集，能否在不重新训练的情况下，找到一个低次（二次）HE友好的多项式替换ReLU，同时保持校准集上的决策结果？作者聚焦于二次替换（最低次的保持单单元非线性的选择）。对于在升维空间中正间隔可分的校准集，他们将二次替换建模为线性可分问题，给出了校准无损替换的充要条件，并提出了构造系数的算法。当正间隔条件不成立时（通常由少数误分类校准样本导致），他们通过约简凸壳和拉格朗日对偶软间隔松弛扩展了相同的几何框架，从而限制任何单个样本的影响，将问题转化为较小的凸二次规划，得到近似可行的系数，并在校准集决策上具有较高的经验一致性。特别地，在最大权重上限μ=1时，约简凸壳松弛退化为严格可分情况下的凸壳分离；该松弛连续地扩展了精确理论。在CKKS加密方案下，该二次替换在多个基准测试上匹配明文top-1精度，激活模块运行速度比Remez-7快3.7–4.1倍，端到端速度提升1.18–1.68倍。本文方法适用于需要FHE推理且希望降低多项式次数的场景，尤其适合隐私计算和机器学习即服务（MLaaS）中处理敏感数据的情况。