本文研究神经网络模型窃取中的一个经典问题:密码分析式提取(cryptanalytic extraction)。这类攻击仅凭对模型原始输出(如 logits 或完整概率向量)的黑盒访问,就能恢复网络参数。然而,以往所有此类攻击都建立在一个根本性假设之上——攻击者已经知道目标网络的架构,例如对于基于 ReLU 激活的全连接网络,攻击者事先知道网络深度以及每个隐藏层的维度。本文要回答的核心问题是:这一架构先验假设能否被去掉?作者聚焦 ReLU 全连接网络,提出一个“猜测—确定(guess-and-determine)”框架,把架构恢复与参数恢复联合起来完成,而不是先知道架构再恢复参数。其核心是一组简单但有力的观察:对隐藏层维度进行猜测时,会在参数恢复流程中留下对维度和架构高度敏感的痕迹。作者识别出两类这样的痕迹:其一是在签名恢复(signature recovery)产生的合并权重向量中出现“零后缀(zero suffix)”,其后缀长度能够揭示猜测维度相对于真实维度的超出量;其二是在基于原像的符号恢复(preimage-based sign recovery)中出现的“等式模式(equality pattern)”,该模式仅在维度猜测正确时才出现。这两类信号分别对应两条互补的恢复路径,使攻击者既能判断猜测是否过大,也能确认猜测是否正确。此外,作者还提出两条用于识别倒数第二层的判定准则,因为只有准确定位该层,才能在正确深度上终止猜测过程。作者在大量 ReLU 网络上实现了端到端攻击,覆盖扩张型(expansive)与非扩张型(non-expansive)两类架构。据作者所述,这是首个去除了“已知网络架构”这一前提假设的密码分析式提取攻击。
💡 推荐理由: 模型提取此前多依赖“已知架构”这一不现实前提;本文将其移除,意味着仅凭黑盒输出即可同时还原架构与参数,直接抬高了模型知识产权泄露与下游对抗攻击的风险,对模型托管服务与 ML 平台的安全评估有参考价值。
🎯 建议动作: 研究跟进:纳入内部模型提取风险评估,复核对外推理接口的输出粒度与查询配额策略