Parameterizing Activation Functions for Adversarial Robustness.
本文研究了可学习参数化激活函数（PAFs）与对抗训练结合时对深度神经网络鲁棒性的影响。以往工作主要关注网络宽度和深度对鲁棒性的作用，而激活函数形状的影响尚未被系统研究。作者首先设计了一组参数化激活函数，其参数可以独立控制负输入、接近零的输入
#activation-function
共收录 3 条相关情报。
← 返回所有主题A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers
本文针对嵌入式微控制器（如ARM Cortex-M4）上神经网络推理过程中的激活函数（ReLU, sigmoid, tanh, GELU, Swish）存在的时序侧信道泄露问题，提出了一种常量时间（constant-time）实现方法。该方
Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference
全同态加密（FHE）仅支持加法和乘法运算，因此在FHE环境下进行神经网络推理时，需要用多项式近似替代ReLU激活函数。传统方法通过在经验激活区间上进行多项式拟合来控制逼近误差，通常需要较高次数的多项式，导致同态求值开销增加。然而，分类结果仅