#computer vision

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Niklas Bunzel

过去十年中,对抗鲁棒性研究产生了数百种防御模型,但文献几乎普遍孤立地报告鲁棒性结果:仅展示鲁棒模型的标准(干净)准确率和对抗准确率,而很少量化与对应普通模型(vanilla model)的差距。本文提出 VanillaBench,一个系统化的基准测试,明确揭示这一差距。针对 RobustBench 收录的四种威胁模型下的所有对抗训练模型,本文计算了其与 Papers with Code 中多个普通参考模型的准确率差异,参考类型包括所有条目、无额外数据条目、鲁棒模型发表年份的最佳普通模型,以及架构匹配的基线。对全部 186 个鲁棒模型的评估显示,相对于最佳普通模型的平均干净准确率差值范围为 -7.7 到 -29.5 个百分点;即使每条赛道最鲁棒的模型,与其同期普通模型相比仍落后 4.0 到 21.0 个百分点。架构匹配比较(隔离对抗训练的影响)揭示了 -3.5 到 -17.5 个百分点的平均差距;进一步限制为在完全相同的架构上已知普通准确率的模型时,差距缩小至 -4.0 到 -14.0 个百分点。这些结果表明,鲁棒性-准确率权衡比单个论文通常传达的要大得多。对于实践者和决策者而言,在真实场景中部署模型时,鲁棒性的准确率代价直接影响业务成果,而当前出版物并未提供评估所需的普通基线。本文认为,未来的鲁棒性评估应将普通参考准确率差距作为标准组成部分报告。该工作适合机器学习工程师、安全研究人员和模型部署决策者阅读。

💡 推荐理由: 该基准首次系统量化了对抗鲁棒性带来的准确率损失,揭示了现有文献严重低估的 trade-off,帮助安全从业者在选择鲁棒模型时权衡安全性与业务指标。

🎯 建议动作: 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)