推荐 9.5
Conf: 50%
深度神经网络对对抗性扰动输入存在脆弱性,对抗训练是一种常用的防御手段,其效果受到模型架构的影响。以往研究探讨了改变模型宽度和深度对鲁棒性的影响,但尚未系统研究使用可学习参数化激活函数(PAF)的影响。本文旨在探究PAF是否能在对抗训练中提升鲁棒性。作者首先提出一个问题:改变激活函数形状能否提高鲁棒性?为此,他们选取了一组可调参数的PAF,能够独立控制负输入、接近零输入和正输入区域的行为。使用这些PAF,在固定形状参数下进行对抗训练,发现各个区域都会影响鲁棒性,但仅在某些区域(接近零和正输入)的调整能优于ReLU。随后,他们将可学习PAF与对抗训练结合,分析鲁棒性能。结果表明,激活函数的选择显著影响训练模型的鲁棒性,只有特定PAF(如平滑PAF)能在ReLU基础上显著提升鲁棒性。总的来说,该工作凸显了激活函数在对抗训练模型中的重要性。
💡 推荐理由: 激活函数的选择常被忽视,本文首次系统证明可学习参数化激活函数能显著提升对抗鲁棒性,为设计更鲁棒的神经网络架构提供了新方向。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)