#relu-networks

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Gorka Abad, Claude Carlet, Ermes Franch, Stjepan Picek, Vincent Rijmen

本文重新审视了针对 ReLU 前馈神经网络的"密码分析式"模型提取问题,即把神经网络权重与偏置的恢复类比为对密码算法的密钥恢复,从几何与代数两个视角对这一问题给出新的刻画。论文指出,以往工作大多把注意力集中在网络的单个输出分量上(例如沿某一输出维度做标量探测),从而只能恢复所谓的"行签名"(row-signature)信息。作者转而研究相邻线性区域(ReLU 激活模式切换所形成的多面体分段线性区域)上完整的向量值输出行为,由此得到一个关键结论:相邻区域之间 Jacobian(局部线性映射矩阵)的差分具有秩一(rank-one)结构。这一秩一刻画不仅能够在统一框架内重新导出传统的行侧签名信息,还额外暴露出此前被忽略的"列侧"互补信息,即矩阵差分的方向向量与尺度因子在行、列两个方向上都携带可被利用的结构。基于该刻画,作者设计了相应的提取流程,并在不同数值精度条件下(float64、float32、float16)进行了实验评估。实验表明,向量值输出所引入的额外结构可以提升提取的效果,并在数值估计的稳健性上带来改善,尤其是在低精度算术下仍能维持可用性。论文的一个显著贡献是把分析范围从文献中常见的高精度、输出经过舍入(output-rounding)的理想化设定,推进到实际部署中更常见的低精度场景(如半精度浮点推理、量化/近似计算环境),说明即便是输出精度受限的情形,攻击者(或评估者)仍可能从向量化输出中挖掘出额外的权重信息。整体上,这是一篇融合密码分析、分段线性几何与机器学习安全的交叉研究,适合模型窃取/模型提取方向的研究者、负责模型知识产权保护的工程与安全团队,以及对神经网络权重保密性评估感兴趣的读者。

💡 推荐理由: 模型权重是核心资产,该工作说明仅限制单输出分量或提高输出精度并不足以阻断权重泄露;向量值输出与低精度部署场景(float16 / 量化推理)同样可能成为信息泄露面,对模型保密性评估与 API 防护有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)