#model-extraction

共收录 24 条相关安全情报。

← 返回所有主题
👥 作者: Shang Wang, Tianqing Zhu, Huajie Chen, Jiayang Li, Meng Yang, Bo Liu

该论文针对新兴的 "Jev" 接口开展首次系统性安全、隐私与双用途研究。Jev 能将自然语言问题转化为带类型的答案与概率,具备低延迟、低成本特点,可作为应用决策层,用于请求路由、工具选择等。作者使用官方 Jev API 与本地可训练、可更新的模型 NanoJev,围绕三个研究问题展开:(1) Jev 作为应用决策层会引入哪些安全威胁;(2) 尽管输出受限于固定类型,Jev 仍可能泄露哪些隐私信息;(3) Jev 的通用决策能力如何被用于防御或恶意目的。在安全方面,作者发现 Jev 的决策依赖应用状态并可能受用户输入影响,因此适配提示注入与对抗后缀来操纵其决策;同时,开源 Jev 的分发与更新会引入供应链风险,作者通过在 NanoJev 训练数据中植入后门来验证该类风险。在隐私方面,由于 Jev 的输出同时反映应用状态与训练中学到的信息,作者改造成员推理、私有属性推理与内部知识推理攻击,证明即便输出格式受约束仍可恢复敏感信息。在双用途方面,作者将 Jev 视为通用决策预言机,通过四类检测任务(提示注入、越狱输入、有害内容、AI 生成文本识别)展示其防御价值,同时也分析了越狱与模型抽取等滥用场景。实证评估表明:Jev 对上述安全与隐私威胁仍然脆弱,而其决策能力既可支撑有益用途,也可被恶意利用。该工作为将大模型作为决策层的系统提供了风险画像与攻击面梳理,适合 LLM 应用架构师、AI 安全研究员、SOC 与模型供应链治理人员阅读。

💡 推荐理由: 许多 LLM 应用正把类型化输出接口当作决策层;论文证明该类接口在提示注入、训练数据后门下仍可被操纵,且受约束的输出不足以阻止成员推理等隐私泄露,直接影响应用路由与工具调用的可信性以及模型供应链安全。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Shuze Liu, Kaixiang Zhao, Runyang Xu, Jingzhi Chen, Nathan Wu, Yu Wang, Yushun Dong

该论文针对大语言模型(LLM)通过纯文本 API 部署时面临的模型提取风险展开研究。攻击者可通过收集模型响应训练替代模型,从而复制受害模型的能力。尽管已有工作提出了多种提取攻击与防御方法,但现有评估在访问假设、模型配置、查询预算和安全目标上高度碎片化,导致不同方法之间难以横向比较,也无法判断防御在跨攻击场景下的真实有效性。为此,作者提出一个统一的基准测试框架,涵盖六种提取攻击、十种防御方法,以及两种自适应攻击——这两种自适应攻击会对受保护的响应进行改写或回译,再用于训练替代模型,从而检验防御在主动规避下的鲁棒性。该基准在每个比较组内控制模型配置、查询数据、查询预算和留出评估条件,同时保留各攻击特有的查询与训练流程。评估指标包括替代模型的能力、对受害模型的保真度、使用 Rep-4 衡量的输出质量,以及查询预算敏感性;防御侧则结合其自身安全指标与替代模型性能。对于自适应攻击,研究还联合测量溯源检测器得分,以及基于改写响应训练出的替代模型的能力和保真度。最终,该工作为在纯文本访问条件下比较提取方法及其与防御的交互提供了可复现的基础,代码与工件已公开。

💡 推荐理由: LLM API 面临模型提取威胁,直接影响知识产权与滥用风险。该基准统一了碎片化的攻防评估,并引入自适应攻击检验防御鲁棒性,可帮助安全团队更可靠地选型和验证防御措施。

🎯 建议动作: 研究跟进,并纳入内部评估。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ying Song, Xiaowei Jia, Balaji Palanisamy

随着图神经网络(GNN)被广泛以机器学习即服务(MLaaS)的形式对外提供 API,模型窃取攻击已成为关键安全威胁:攻击者仅通过查询受害模型的黑盒接口,就能训练出一个功能等价的替代(代理)模型,从而窃取专有知识产权并危及依赖该模型的下游安全机制。然而,论文指出现有 GNN 窃取研究普遍建立在过于宽松的假设之上,例如假设 API 返回软标签(置信度向量)、允许极大的查询预算、可获取整图的查询权限,以及事先知晓受害模型所用的骨干网络结构;这些条件在真实部署中往往并不成立。为此,作者形式化了一个严格受限的威胁模型:黑盒、仅硬标签输出、骨干无关(backbone-agnostic),且查询预算紧张。在这一现实约束下,论文识别出四个相互纠缠的根本性挑战:(1)局部子图稀疏且存在孤立节点,导致从受害模型获得的标签质量低下;(2)硬标签带来的监督信号严重不足;(3)查询样本类别覆盖不全,造成系统性的类别不平衡;(4)代理模型与受害模型的骨干结构不匹配。为同时化解这些障碍,作者提出 Dagger——一种基于解耦思想的两阶段攻击框架。第一阶段:使用解耦的信息传播机制预训练代理模型,在稀疏的局部子图上保留结构上下文,并妥善处理孤立节点;同时引入流形层面的节点 mixup,合成连续的监督信号以平滑决策边界、缓解硬标签信息量不足的问题。第二阶段:冻结已训练好的编码器,仅对分类头进行微调,采用类别平衡采样配合 logit 调整(logit adjustment)来纠正严重的查询类别不平衡,且无需额外查询受害模型。在四个基准图数据集和四种 GNN 骨干网络上的大量实验表明,Dagger 一致优于当前最先进的 GNN 窃取方法,保真度最高提升 18.16%,而使用的查询次数比最强基线少 12.23 倍。论文适合关注 AI 供应链安全、模型知识产权保护、MLaaS 威胁建模与防御的研究者与安全工程师阅读。

💡 推荐理由: 它把 GNN 模型窃取的威胁模型拉回真实部署条件(仅硬标签、低查询预算、不知骨干),说明以往认为'不现实'的窃取如今在严格约束下依然可行,直接冲击 MLaaS 的模型 IP 保护与 API 风控假设。

🎯 建议动作: 研究跟进:将本论文的受限威胁模型纳入内部 MLaaS/GNN 服务的模型窃取风险评估基线,复盘现有查询配额与日志监控是否覆盖上述检测信号。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Shidan Javaheri, Alexander Panfilov, Oliver Britton, Yarin Gal, Yonatan Gideoni

该论文研究了针对大语言模型蒸馏攻击的防御措施在攻击者后续进行强化学习训练时失效的问题。蒸馏攻击指攻击者系统性地收集闭源前沿模型的推理轨迹,并以此训练自己的模型,从而以低成本复制其推理能力。现有防御通常只在蒸馏完成后立即评估,隐含假设攻击者不会进一步训练。本文指出更现实的威胁模型应包含蒸馏后的强化学习微调。作者论证,威胁模型设定不当会带来虚假安全感:一些在蒸馏后看似有效的防御,在后续RL训练后可能被突破。实践上,RL降低了蒸馏攻击生效的门槛。他们展示,简单攻击即可利用当前API容易获取的数据从现有闭源语言模型中窃取推理能力,其推理提升效果等同于那些提取完整隐藏轨迹的更复杂攻击。结果表明,任何泄漏足以重建近似推理轨迹信息的蒸馏防御很可能无效。最后讨论了更广泛的影响以及可能更有效的批量级蒸馏防御。

💡 推荐理由: 该研究揭示现有蒸馏防御评估的盲区:忽略攻击者后续RL训练会导致虚假安全感。安全团队在评估模型窃取与知识蒸馏风险时,应将持续训练/微调纳入威胁模型,并优先考虑批量级防御与输出信息最小化,避免仅依赖蒸馏后单点评估。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Gorka Abad, Claude Carlet, Ermes Franch, Stjepan Picek, Vincent Rijmen

本文重新审视了针对 ReLU 前馈神经网络的"密码分析式"模型提取问题,即把神经网络权重与偏置的恢复类比为对密码算法的密钥恢复,从几何与代数两个视角对这一问题给出新的刻画。论文指出,以往工作大多把注意力集中在网络的单个输出分量上(例如沿某一输出维度做标量探测),从而只能恢复所谓的"行签名"(row-signature)信息。作者转而研究相邻线性区域(ReLU 激活模式切换所形成的多面体分段线性区域)上完整的向量值输出行为,由此得到一个关键结论:相邻区域之间 Jacobian(局部线性映射矩阵)的差分具有秩一(rank-one)结构。这一秩一刻画不仅能够在统一框架内重新导出传统的行侧签名信息,还额外暴露出此前被忽略的"列侧"互补信息,即矩阵差分的方向向量与尺度因子在行、列两个方向上都携带可被利用的结构。基于该刻画,作者设计了相应的提取流程,并在不同数值精度条件下(float64、float32、float16)进行了实验评估。实验表明,向量值输出所引入的额外结构可以提升提取的效果,并在数值估计的稳健性上带来改善,尤其是在低精度算术下仍能维持可用性。论文的一个显著贡献是把分析范围从文献中常见的高精度、输出经过舍入(output-rounding)的理想化设定,推进到实际部署中更常见的低精度场景(如半精度浮点推理、量化/近似计算环境),说明即便是输出精度受限的情形,攻击者(或评估者)仍可能从向量化输出中挖掘出额外的权重信息。整体上,这是一篇融合密码分析、分段线性几何与机器学习安全的交叉研究,适合模型窃取/模型提取方向的研究者、负责模型知识产权保护的工程与安全团队,以及对神经网络权重保密性评估感兴趣的读者。

💡 推荐理由: 模型权重是核心资产,该工作说明仅限制单输出分量或提高输出精度并不足以阻断权重泄露;向量值输出与低精度部署场景(float16 / 量化推理)同样可能成为信息泄露面,对模型保密性评估与 API 防护有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yiqing Feng, Haozhe Feng, Shunan Shang, Xiaoyu Zhang, Jian Lou, Haodong Zhao, Mingxun Zhou

该论文关注大语言模型智能体(LLM Agent)面临的非法蒸馏(模型窃取)问题:Agent 通过多步交互与工具调用获得复杂能力,但其完整交互轨迹(trajectory)可能被第三方收集,用来训练能力相近的“学生 Agent”,从而绕过授权与收费。作者指出,现有水印方案存在两类缺陷:一是为单轮文本生成设计,无法适配 Agent 场景中结构化、多轮、带工具调用的交互形态;二是跨任务与跨学生模型架构时有效性不稳定,容易被任务迁移或架构差异削弱。 为此,作者提出 AuxMark——一种面向 Agent 蒸馏溯源的行为水印框架。其核心思路是不在文本层面嵌入隐蔽模式,而是在教师 Agent 的交互轨迹中动态插入安全且“非必要”的辅助动作(auxiliary action,即对完成任务并非必须、但不影响任务正确性的行为),并将这些动作对应的上下文保存为私有的“证据卡”(evidence cards)。当需要审计一个可疑的学生模型时,AuxMark 依据证据卡构造成对的真实探针与伪造探针(paired real/fake probes),通过卡片级符号检验(card-level sign test)判断该模型是否对这些水印行为表现出统计上显著的一致性偏好。整个过程是黑盒协议,无需访问模型权重或训练数据,并同时支持两个粒度:模型级检测(该模型是否为蒸馏产物)与轨迹级归因(具体哪些轨迹被用于蒸馏)。 实验方面,作者在三个 Agent 基准、两个教师 Agent 和四种学生架构上进行了评估:AuxMark 成功检测出全部 24 个蒸馏模型,并在 48 个干净模型上实现零误报;同时保持原始任务效用,且在数据洪泛(data flooding)、改写、截断以及自适应清洗(adaptive cleaning)等对抗性规避手段下仍然有效。作者表示代码将后续公开。该工作把“水印/溯源”从文本生成层面扩展到 Agent 行为层面,属于面向模型知识产权保护的防御性研究,适合模型提供方、MaaS 平台、合规与安全审计团队以及 Agent 安全研究者阅读。

💡 推荐理由: Agent 轨迹被非法采集用于蒸馏,是模型提供方与 MaaS 平台现实存在的知识产权与授权合规风险。AuxMark 提供了黑盒、无需权重访问的检测与归因手段,使防御方能够发现并取证未授权的模型蒸馏行为。

🎯 建议动作: 研究跟进:评估该行为水印方案在自有 Agent 产品线上的可落地性与对任务效用的影响

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jiashuo Liu, Ruijie Ma, Manman Li, Yi Chen, Shaozhen Chen

该论文研究卷积神经网络(CNN)的密码分析式模型提取(cryptanalytic extraction),即在无法接触模型内部实现的前提下,仅通过黑盒查询反推网络结构与权重参数。此前的同类攻击普遍假设目标网络的架构已知,攻击目标仅限于恢复模型参数。本文首次证明,对于同时使用最大池化与平均池化的 CNN,这一"架构已知"前提可以被彻底移除。 作者的核心发现是:现有参数恢复攻击所得到的权重向量,其空间几何结构会自然泄露架构信息。论文对这种几何进行形式化,并建立其与卷积层架构知识的对应关系,具体包括三方面:(1) 权重向量与卷积感受野在稀疏性上的一致性,可揭示层类型、卷积核尺寸与步长;(2) 与卷积核参数在数值上的一致性,可揭示填充模式和输出通道数;(3) 与池化操作在结构上的一致性,可揭示池化类型、窗口大小与步长。 关键之处在于,无论攻击者获得的是原始输出(raw-output / logits)还是硬标签(hard label)反馈,虽然恢复权重所用的具体方法不同,但恢复出的向量空间几何保持一致,因此该架构恢复过程是反馈无关的(feedback-agnostic)。将其与参数恢复攻击结合,即可构成一个完整的黑盒密码分析提取框架,同时恢复网络架构与全部模型参数。 论文在多种 CNN 上开展了逐层与端到端实验,结果表明同时恢复架构与参数在实际中是可行的。该工作把 CNN 模型提取的攻击前提从"架构已知"降低到"完全未知",对模型知识产权保护与推理 API 侧防护提出了新的挑战。适合模型安全、AI 攻防与密码分析方向的研究者阅读。

💡 推荐理由: 模型提取此前被认为需要预先掌握网络架构,本文表明该前提可被消除:仅凭黑盒查询即可同时还原架构与权重。以"隐藏架构"作为主要防护手段的部署方式风险显著上升,模型窃取与知识产权流失门槛降低,API 提供方需重新评估限速、查询审计与输出最小化等策略。

🎯 建议动作: 研究跟进,并纳入内部模型 API 安全评估

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Akira Ito, Takayuki Miura, Yosuke Todo

该论文关注深度学习模型的知识产权安全问题。深度神经网络(DNN)的训练参数被视为有价值的资产, 近年来在 IACR 系列会议上, 仅通过查询模型接口来还原参数(模型提取/模型窃取)的攻击受到广泛研究。其中最具挑战性的设置是「硬标签」(hard-label): 攻击者只能观察到模型最终输出的类别标签(如「狗」「猫」), 而看不到置信度或 logits。在 Eurocrypt 2025 上, Carlini 等人提出了针对基于 ReLU 的 MLP 的多项式时间硬标签提取方法, 但该攻击流程中的关键一步——符号恢复(sign recovery)——需要大量查询和可观的计算开销, 使其在黑盒条件下难以落地; 因此, 在已训练的深层 ReLU MLP 上实现完全黑盒、端到端的提取演示一直是悬而未决的难题。本文针对这一瓶颈提出了一种基于与既有方法完全不同原理的全新符号恢复算法: 该方法不需要为符号恢复专门发起额外查询, 从而显著降低查询与计算成本。实验表明, 新算法在符号恢复准确率上优于现有方法, 即使面对已训练好的模型也能高效完成符号恢复。在此基础上, 作者把硬标签模型提取的全部步骤都实现为黑盒可执行流程, 并将各步骤组合起来, 对在 MNIST 与 Fashion-MNIST 上训练、宽度为 16、含 4 或 6 个隐层的模型成功完成了端到端提取, 提取模型与原模型的标签一致率超过 98%。

💡 推荐理由: 模型窃取直接威胁模型知识产权与商业机密。该工作把最难的硬标签黑盒提取推进到端到端可行, 意味着即便只暴露推理标签接口, 模型也可能被近似复制, 安全团队需重新评估 API 暴露面风险。

🎯 建议动作: 研究跟进, 并纳入内部 AI 模型保密性与 API 暴露面的评估清单

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Shi Tang, Zirui Chen, Yongjia Su, Zhengchao Gao, Lingyue Qin, Xiaoyang Dong

该论文研究硬标签(S1)深度神经网络的密码分析式模型提取问题。背景:在 EUROCRYPT 2025 上,Carlini 等人首次证明,在只能获得模型最终预测类别(硬标签)的黑盒条件下,攻击者可在多项式时间内恢复网络各层神经元的符号(sign)以及等价“签名”,从而大幅降低完整提取模型的代价,打破了此前认为硬标签场景下提取必须依赖指数级复杂度的认知。然而其 Future Toggle 符号恢复方法相对随机猜测的优势很小,在深层网络中会给出高置信度的错误符号预测,必须依赖代价高昂的指数级枚举来纠正。本文提出 Normal Alignment:利用相邻决策面在对偶点处投影法向量的期望长度差,通过“法向量—签名”对齐关系进行统计推断来判定神经元符号。该方法提高了投票准确率,并把错误预测排到低置信度位置,进而可与硬标签 SOE 扩展结合成 eSOE + Alignment 组合策略,消除大规模枚举开销,实现精确的多项式时间全符号恢复。实验显示,该方法对深层网络尤为有效:对 CIFAR-10 的 192-64×8-10 架构和 MNIST 的 64-96×3-32-10 架构,可在多项式时间内完整恢复全部符号;相比之下,Carlini 等人的方法需要 2^52 与 2^82 规模的符号猜测枚举。

💡 推荐理由: 模型提取是 AI 供应链与模型知识产权保护的核心威胁。该工作把硬标签黑盒下的神经元符号恢复从指数枚举推进到实用多项式时间,意味着仅暴露推理 API 的部署方式对深度网络的知识产权保护更弱,防御方需重新评估 API 限速、查询审计与输出粒度策略。

🎯 建议动作: 研究跟进 / 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zihan Wang, Boheng Li, Rui Zhang, Wenshu Fan, Qingchuan Zhao, Tianwei Zhang, Hongwei Li, Guowen Xu

本文研究的是文生图(Text-to-Image, T2I)服务面临的一类知识产权窃取风险:黑盒输出蒸馏(black-box output-based distillation)。攻击者无需接触模型权重,只需反复调用在线服务、收集大量「提示词—生成图像」配对数据,就能训练出一个模仿原服务生成行为的未授权替代模型,从而绕开订阅或授权机制、复用服务商的核心生成能力。现有的防御思路是「扰动式防御」:对每一张生成的图像做逐样本(sample-wise)优化,使其在视觉上仍然自然,但一旦被用于训练就会污染替代模型,降低其生成质量。问题在于,逐样本优化需要在线反复迭代,带来巨大的算力开销与推理时延,直接损害线上服务的可用性和用户体验。一个自然的改进方向是把防御性扰动直接「编译」进 VAE 解码器,让受保护的模型在生成阶段就自动输出带防御效果的图像,彻底免除在线逐样本优化。但作者通过实证发现,这种共享解码器方案存在目标可达性困境:与逐样本优化相比,共享解码器引起的隐空间偏移(latent shift)明显更小,即原有目标函数在共享参数的设定下「够不到」预期的破坏强度,说明在该场景下目标的可达性比单样本的破坏性更重要。为此论文提出 RAPID 框架:一是自参考隐空间最大化(self-referenced latent maximization),去除对外部参考模型的依赖,并让同一次模型更新在各类训练样本上都能产生一致的破坏效果,从而提升目标可达性;二是重建引导的颜色正则化(reconstruction-guided color regularization),阻断模型利用隐空间「捷径」绕开扰动、并强化视觉层面的破坏性。作者在四个 T2I 模型、四个数据集上,与五种代表性基线方法对比,结果显示 RAPID 能在保持服务自身图像视觉保真度的前提下,稳定降低替代模型的生成质量。该工作为部署态 T2I 系统提供了一种实时、可落地的防未授权蒸馏范式。

💡 推荐理由: 模型蒸馏/模型窃取是 AI 服务上线后的现实威胁,而现有防御要么算力代价过高、要么无法在推理路径上落地。RAPID 把防御前移到 VAE 解码器,使实时防护成为可能,对运营 T2I API 的团队具有直接工程参考价值,也提示了「目标可达性」这一被忽视的防御设计要点。

🎯 建议动作: 研究跟进,并纳入内部模型服务防护方案评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yantian Shen, Yi Chen, Anyu Wang, Hongbo Yu, Xiaoyun Wang

本文研究神经网络模型窃取中的一个经典问题:密码分析式提取(cryptanalytic extraction)。这类攻击仅凭对模型原始输出(如 logits 或完整概率向量)的黑盒访问,就能恢复网络参数。然而,以往所有此类攻击都建立在一个根本性假设之上——攻击者已经知道目标网络的架构,例如对于基于 ReLU 激活的全连接网络,攻击者事先知道网络深度以及每个隐藏层的维度。本文要回答的核心问题是:这一架构先验假设能否被去掉?作者聚焦 ReLU 全连接网络,提出一个“猜测—确定(guess-and-determine)”框架,把架构恢复与参数恢复联合起来完成,而不是先知道架构再恢复参数。其核心是一组简单但有力的观察:对隐藏层维度进行猜测时,会在参数恢复流程中留下对维度和架构高度敏感的痕迹。作者识别出两类这样的痕迹:其一是在签名恢复(signature recovery)产生的合并权重向量中出现“零后缀(zero suffix)”,其后缀长度能够揭示猜测维度相对于真实维度的超出量;其二是在基于原像的符号恢复(preimage-based sign recovery)中出现的“等式模式(equality pattern)”,该模式仅在维度猜测正确时才出现。这两类信号分别对应两条互补的恢复路径,使攻击者既能判断猜测是否过大,也能确认猜测是否正确。此外,作者还提出两条用于识别倒数第二层的判定准则,因为只有准确定位该层,才能在正确深度上终止猜测过程。作者在大量 ReLU 网络上实现了端到端攻击,覆盖扩张型(expansive)与非扩张型(non-expansive)两类架构。据作者所述,这是首个去除了“已知网络架构”这一前提假设的密码分析式提取攻击。

💡 推荐理由: 模型提取此前多依赖“已知架构”这一不现实前提;本文将其移除,意味着仅凭黑盒输出即可同时还原架构与参数,直接抬高了模型知识产权泄露与下游对抗攻击的风险,对模型托管服务与 ML 平台的安全评估有参考价值。

🎯 建议动作: 研究跟进:纳入内部模型提取风险评估,复核对外推理接口的输出粒度与查询配额策略

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 8.6
Conf: 50%
👥 作者: Abdullah Caglar Oksuz, Anisa Halimi, Erman Ayday

该论文是一篇系统性综述 (SoK), 聚焦于一个长期被分散讨论的安全议题: 可解释人工智能 (XAI) 所输出的解释信息, 如何反过来成为攻击者窃取模型机密与训练数据隐私的入口。作者指出, 机器学习解释原本用于提升模型透明度, 但它揭示的是预测之外的模型内部行为, 因此天然扩大了对模型机密性 (model confidentiality) 与数据隐私 (data privacy) 的攻击面。论文系统梳理了 25 项利用解释信息实施模型窃取 (model extraction)、成员推断 (membership inference) 与模型反演 (model inversion) 的研究, 并将属性推断 (attribute inference) 视为模型反演的部分形式统一纳入分析框架。 论文的核心批评是: 现有工作往往只用黑盒 / 白盒二分法来标注威胁模型, 这种标签掩盖了关键差异 —— 攻击者究竟通过什么途径获得解释信号, 以及获得的是哪种解释信号。为此作者提出两层解耦: 把"对模型的先验知识"与"解释信息的获取方式"分开, 并归纳出五条解释获取路径: 目标方主动发布 (target-released)、攻击者自行推导 (attacker-derived)、二次披露 (secondary disclosure)、特权访问 (privileged access)、以及公开发布的全局产物 (released global artifacts)。 沿这五条路径, 论文给出了机制层面的结论: 解释可以显著降低模型抽取的成本; 通过解释统计量、追索距离 (recourse distance) 以及解释引导的鲁棒性信息, 会暴露成员信号; 解释还可支撑对私有输入的空間或代数重建。随后论文在多维度上对研究进行横向对比, 包括系统与威胁模型、解释信号类型、辅助知识、目标模型、数据模态、查询预算、评估指标、报告性能以及防御手段。 最重要的结论是: 不存在"一律不安全"的解释族, 也不存在"普遍有效"的防御。风险高低取决于四个变量 —— 暴露的是哪种信号、信号如何被获取、攻击目标是什么资产、以及攻击者已掌握哪些先验知识。作者因此主张把"解释隐私"当作端到端的信息披露问题来评估, 并让防御措施与具体的获取路径和被保护资产相匹配, 而不是笼统地禁用或信任某一类解释方法。该文适合 XAI 研究者、ML 隐私与模型安全工程师、以及需要评估第三方解释服务 (如解释 API) 风险的安全架构师阅读。

💡 推荐理由: 企业越来越多地对外提供模型解释或解释 API, 却普遍按黑盒/白盒简单划分风险。该文说明解释信号本身即可降低模型窃取成本、放大成员与属性推断, 并给出按获取路径匹配防御的评估框架, 可直接用于 ML 服务上线的隐私威胁建模。

🎯 建议动作: 研究跟进: 将五条解释获取路径纳入内部 ML 隐私威胁模型模板, 对自研解释服务做一次端到端披露评审

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ruoyu Wu, Muqi Zou, Arslan Khan, Taegyu Kim, Dongyan Xu, Dave (Jing) Tian, Antonio Bianchi

本文针对边缘设备上部署的深度神经网络(DNN)面临模型逆向工程风险这一问题,提出并实现了一种基于动态分析的模型重构框架,称为 NeuroScope。在现实生活中,智能摄像头、智能音箱、工业控制器等边缘设备往往依赖第三方深度学习模型完成推理任务,这些模型承载着厂商的知识产权与核心算法,但设备本身可能被攻击者物理获取或通过固件提取等方式全面接触。论文希望回答一个关键问题:在没有内部架构信息、没有专用调试接口的条件下,能否通过观测设备在运行期间的动态行为来还原模型结构?NeuroScope 将运行中的 DNN 推理进程视为黑盒,通过插桩与轻量级监控采集到内存缓冲区的读写模式、函数调用路径、系统调用序列以及指令流特征,并以此推断网络各层之间的连接关系、层类型、卷积核尺寸、步长、全连接层神经元数量等结构信息。该工具针对边缘设备普遍使用的 ARM 等资源受限架构进行了优化,构建了一套自动化分析流水线,可以逐层解构模型内部计算图的拓扑结构。作者在多种代表性硬件平台上评测了 NeuroScope,覆盖图像分类、目标检测等典型任务中使用的多种常见 DNN 结构,实验结果显示该方法能高保真地重建网络整体结构,且对内存开销与运行干扰控制在可接受范围。这项研究的核心贡献在于从攻击面角度验证了边缘设备上的模型保密性假设并不充分;同时,其分析框架也可以被防御者用于合规审计、恶意模型检测或模型水印验证,具有双向的技术价值。尽管本摘要基于公开标题与领域知识进行归纳,原始论文的具体实现细节和量化指标需以正式出版版本为准。

💡 推荐理由: 该研究揭示攻击者可仅通过动态观测从边缘设备中逆向提取 DNN 结构,直接威胁模型知识产权和设备安全防护;蓝队需要意识到封闭式部署并非安全边界,以便提前设计混淆与运行时保护。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 14.5
Conf: 50%
👥 作者: Hengrui Jia 0001, Christopher A. Choquette-Choo, Varun Chandrasekaran, Nicolas Papernot

本文针对机器学习模型被窃取(model extraction)的知识产权保护问题,提出了一种名为 Entangled Watermarking Embeddings (EWE) 的模型水印方法。传统模型水印通过让模型在训练时过拟合到一些远离任务分布的异常输入-输出对(即水印样本),从而在模型被窃取后,防御者可以通过向模型发起查询并验证是否返回预定的水印输出来证明所有权。但这种水印容易被攻击者通过模型压缩、微调或知识蒸馏等方式移除,因为水印样本与正常任务样本分布差异大,容易被识别并剔除。EWE 的核心思想是让模型在特征空间中将合法任务数据与水印数据‘纠缠’在一起,即强制模型学习同时区分正常分类任务和水印识别任务的特征。这样,攻击者在试图移除水印时,不仅需要删除水印相关的特征,还会不可避免地破坏模型在合法任务上的性能,从而提高了水印的鲁棒性。论文在 MNIST、Fashion-MNIST、CIFAR-10 和 Speech Commands 四个数据集上进行了实验验证,结果表明防御者可以在对被窃取模型进行不到 100 次查询的情况下,以 95% 的置信度成功主张模型所有权,同时水印对原始模型性能的平均损失不超过 0.81 个百分点。该方法为模型所有者提供了一种低开销、鲁棒性更强的模型取证与所有权验证手段。适合关注 AI 模型安全、模型知识产权保护及对抗性机器学习的研究人员和蓝队成员阅读。

💡 推荐理由: 模型提取攻击可导致商业模型的核心逻辑被窃取,传统水印易被清除。EWE 将水印与正常任务深度绑定,使攻击者无法在不牺牲模型性能的情况下移除水印,为模型所有权验证提供更可靠的技术方案,对 AI 模型的知识产权保护具有重要意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Munawar Hasan, Apostol Vassilev

本文提出一种针对光滑 Transformer 前馈网络(FFN)的结构性模型提取攻击方法,揭示了黑盒场景下二阶信息泄露内部参数几何的新通道。作者假设攻击者拥有对 FFN 分支的“选定输入-原始输出”(chosen-input raw-output)访问权限,即可以自由选择输入并获取未经过离散化或扰动的连续输出,但无法访问参数、梯度或内部激活。在此假设下,对于使用 GELU 或 SiLU 等光滑激活函数的 Transformer FFN,攻击者可通过构造特定输入并计算投影输入 Hessian 矩阵,观察到由 FFN 输入权重决定的隐藏对称秩一因子的混合信息。论文将收集到的 Hessian 集合形式化为部分对称分解问题,证明了局部可辨识性和稳定性条件,并利用向量输出模板复用技术将结构化查询成本降低 16 倍。在独立训练的 CIFAR-10 视觉 Transformer 上,仅需 16 个投影 Hessian(对应 8193 次黑盒查询)即可恢复隐藏 FFN 方向,平均绝对余弦对齐度超过 0.94,其中 GELU 和 SiLU 分别有 95.1% 和 91.9% 的方向对齐度超过 0.90。该恢复在多个独立训练的模型、重复提取实验以及所有 Transformer 块中均保持高度一致。进一步地,恢复出的结构可用于功能性提取:保持恢复方向固定,仅拟合剩余 FFN 参数,可获得超过 93% 的 top-1 一致性的高保真替代模型,测试准确率与原始模型仅相差 0.90%(GELU)和 0.62%(SiLU)。实验还表明,输出舍入和高斯噪声在固定攻击配置下能显著降低恢复效果,但攻击者通过自适应调整有限差分步长可将平均对齐度重新提升至 0.9603(GELU)和 0.9398(SiLU)。这项研究展示了从黑盒二阶观测到隐层结构恢复再到功能替换的完整攻击路径,证明光滑 FFN 的曲率特性泄露了仅靠行为模仿无法揭示的内部参数几何,对模型知识产权保护构成实质性威胁。

💡 推荐理由: 该研究揭示了 Transformer 模型在光滑激活函数下存在二阶信息泄露通道,攻击者无需内部访问即可高保真提取模型结构并进行功能替代。对于部署了 Transformer 模型的防御方,这意味着仅靠隐藏参数和梯度并不足以保护模型 IP,需要关注黑盒查询的输入模式与输出精度。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 9.6
Conf: 50%
👥 作者: Yanjiao Chen, Rui Guan, Xueluan Gong, Jianshuo Dong, Meng Xue 0001

本文提出了一种名为 D-DAE 的防御穿透式模型提取攻击框架,旨在突破基于扰动查询结果的模型提取防御。近年来研究表明,机器学习模型易受模型提取攻击:攻击者仅通过查询黑盒受害者模型,即可训练出一个性能接近的替代模型。为抵御此类攻击,防御方往往在返回查询结果前加入扰动,从而显著降低现有模型提取攻击的性能。D-DAE 首次系统性地尝试绕过这类扰动型防御,其核心包含两个模块:扰动检测模块与扰动恢复模块,二者可集成到通用模型提取攻击流程中。扰动检测模块在收到受害者模型返回的查询结果后,推断防御方采用的扰动机制;作者设计了一种基于元学习的检测算法,用于学习被扰动与未扰动查询结果分布之间的本质差异,该算法具有良好的泛化能力,即使无法访问受害者模型的原始训练数据也能有效工作。在检测到防御机制后,扰动恢复模块利用精心设计的生成模型,从被扰动的查询结果中恢复出干净的查询结果。作者在 MNIST、FashionMNIST、CIFAR-10、GTSRB 和 ImageNette 数据集上进行了广泛评估,实验表明,面对 4 种最先进的防御方法及其组合时,D-DAE 能将现有模型提取攻击的替代模型准确率最多提升 82.24%。此外,作者还验证了 D-DAE 在穿透 Microsoft Azure 和 Face++ 提供的真实世界 API 中未知防御的有效性。该研究揭示了当前扰动型防御的脆弱性,为设计更鲁棒的模型保护机制提供了新的视角。适合关注 AI 安全、模型窃取攻击与防御的研究人员、安全工程师及云服务提供商阅读。

💡 推荐理由: 首次提出穿透扰动型防御的模型提取攻击框架,证明现有防御手段可被系统性绕过,对依赖查询扰动的模型保护方案敲响警钟,推动更鲁棒的防御设计。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yan Wen, Zhenyi Wang, Heng Huang

图神经网络(GNN)是机器学习即服务(MLaaS)中高风险应用的核心技术,但其黑盒部署模式易受模型提取(Model Extraction)攻击:攻击者通过查询API窃取模型知识产权。现有防御措施存在根本性的'欧几里得偏差'——它们直接将图像领域的扰动策略(如随机噪声)迁移到图数据上,忽略了图节点间复杂的拓扑依赖,导致模型效用大幅下降;而水印等被动防御无法实时阻断窃取。针对这一问题,本文提出GraphRP(Graph Reprogramming Protection)——一个基于模型重编程的主动防御框架,将模型重编程思想转化为安全防护机制。GraphRP的核心里程碑在于提出结构感知门控机制(Structure-Aware Gating Mechanism),该机制由可学习的拓扑原型驱动,构建一道动态的'结构防火墙',能够选择性地调节模型决策边界:对位于训练数据流形上的良性查询保持高保真度,而对恶意查询则沿扰动方向最大化Fisher信息,从信息论层面增大攻击者的估计误差。作者在标准假设下(有界损失、最优攻击者、局部二阶近似)证明了攻击者误差的下界将随重编程噪声的结构敏感性而增加,从理论上验证了该方法的有效性。实验覆盖软标签与硬标签两类主流模型提取攻击,结果表明GraphRP能显著降低攻击成功率,同时几乎不影响良性查询的效用。该研究首次将模型重编程引入GNN防御领域,为保护图模型知识产权提供了全新思路,特别适合ML安全研究员、MLaaS服务提供商及GNN部署方阅读。

💡 推荐理由: GNN在MLaaS中广泛部署,模型提取攻击可导致核心知识产权泄露。现有防御因忽略图拓扑而失效,GraphRP作为主动防御新思路,能有效平衡安全性与效用,值得安全从业者关注。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zirui Chen, Shi Tang, Zhengchao Gao, Yongjia Su, Lingyue Qin, Xiaoyang Dong

本文针对神经网络模型提取攻击在硬标签(hard-label)场景下的计算效率瓶颈,提出了一种基于代数方法的近似签名向量(ASV)技术。现有最优攻击由 Carlini 等人在 EUROCRYPT 2025 提出,理论上具有多项式时间复杂度,但其核心的双点聚类依赖于奇异值分解(SVD),时间复杂度为 O(n^2*(d^(k))^3),实际运行开销巨大。为克服这一瓶颈,作者将 Carlini 等人的几何视角硬标签攻击转化为代数框架,利用两个关键观察:高维随机向量近似正交,以及实际深度神经网络中神经元倾向于学习解纠缠特征,从而提出 ASV 方法,将基于 SVD 的秩检查替换为简单的内积运算,使聚类复杂度降至 O(n*(d^(k))^3) 平均复杂度。此外,论文首次提出了针对硬标签最大池化卷积神经网络(CNN)的模型提取攻击,通过提出一种以卷积核为中心的聚类方案的改进 ASV 方法,替代传统的神经元中心聚类,充分利用了卷积中的权重共享特性,填补了 CNN 硬标签模型提取的密码分析空白。实验在 64-64×4-10 FCNN 和带最大池化的 LeNet-5 CNN 上进行,结果表明 ASV 方法大幅削减了聚类时间,并提升了模型提取的整体效率。该研究主要面向安全研究社区,特别是从事模型窃取攻击与防御、机器学习即服务(MLaaS)安全性研究的人员,为理解硬标签场景下的高效模型提取提供了新的代数视角和实用方法。

💡 推荐理由: 该研究显著提升了硬标签神经网络模型提取攻击的效率,将聚类复杂度从平方级降至线性级,并首次扩展到带最大池化的 CNN,对评估 MLaaS 中模型泄露风险具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhongjiang Yao, Shuangshuang Liang, Chun Yang, LiWei Chen, Gang Shi

随着越来越多模型服务以“公共基础模型 + 私有参数高效微调(PEFT)适配”的方式部署,一种新型的差分信息泄露风险逐渐显现:审计者或攻击者可以在本地运行公开的基础模型,并对比受害者服务的输出,从而推断出私有 PEFT 适配的结构。本文提出 VectorHijack-SR,一种系统性的测量方法,将成对的受害者/基础模型残差转换为经过校准的结构边界,覆盖 PEFT 家族、层局部性以及粗粒度秩,并区分元数据可见性、开放世界有效性与操作可利用性。该方法通过聚合查询级幅度、排序、熵、边际、长度、模板、局部性和频谱统计,形成服务级表示;利用服务不相交的分类器量化结构证据,并通过交叉拟合的分层拒绝器判断受害者样本是否落在校准的 LoRA 流形之外。实验在多个分类骨干上验证:家族泄露显著超过随机机会,例如 BERT/MNLI 上 8/12、RoBERTa/MNLI 上 21/24、DeBERTa-v3 在 MNLI 上 12/18 与 AG News 上 15/18;秩推断则呈现任务依赖性,BERT/MNLI 与 DeBERTa/AG News 达到 8/9,而 DeBERTa/MNLI 仅 4/9,经校正后与随机机会兼容。在十个种子的 BERT 开放集网格上,拒绝器达到池化 AUROC 0.804(95% CI [0.660, 0.927])和已知准确率 0.956,但对结构接近的 DoRA 和 LoRA+head 变体泛化有限。五个留出 LoRA-r64 服务的精确版本链接 AUC 达到 0.940。此外,实验揭示“可见性—可利用性”差距:两阶段恢复无法带来公平预算下的查询节省,后验选择的 PEFT 性能低于蒸馏后转换的 PEFT(0.356 对比 0.517),自由运行生成仍接近随机。整体结论是:在基础模型已知且输出信息丰富的情况下,PEFT 服务可能泄露可操作的结构与版本信息;但仅凭闭集置信度并不能确证通用的适配器恢复能力。该研究适用于模型服务提供商、安全审计者以及从事 PEFT 隐私风险研究的人员。

💡 推荐理由: 该研究首次系统量化了黑盒条件下 PEFT 适配的结构信息泄露风险,提示使用公共基座+私有微调的服务可能被逆向出家族、层位置甚至版本信息,直接影响模型知识产权与数据隐私,值得所有部署此类服务的蓝队关注。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.6
Conf: 50%
👥 作者: Ali Naseh, Kalpesh Krishna, Mohit Iyyer, Amir Houmansadr

本文首次展示了一种攻击方法,能够通过仅对语言模型(LM)进行典型的API访问,以极低的经济成本窃取其解码算法的类型和超参数。解码算法是语言模型生成文本的关键组件,决定了如何从LM输出的内部概率分布中选出文本。选择和调优解码算法需要大量时间、人工努力和计算资源,并且需要广泛的人工评估,因此其身份和超参数对模型拥有者极具价值。攻击针对GPT-2、GPT-3和GPT-Neo等流行文本生成API所用LM,作者证明了仅需几美元(例如,针对GPT-3的四个版本分别只需0.8、1、4和40美元)即可成功窃取这些信息。该攻击通过精心设计的输入输出查询,利用模型行为差异推断解码算法类型及参数设置。研究揭示了API感知的模型机密信息泄露风险,对模型提供商的商业秘密和知识产权保护提出警示。适合安全研究人员、AI模型提供商及依赖第三方LLM API服务的组织阅读。

💡 推荐理由: 首次证明从公开API中窃取语言模型解码算法(商业机密)的可行性,且成本极低,对模型所有者的知识产权构成直接威胁。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Shuze Liu, Qianwen Guo, Yushun Dong

本研究针对大型语言模型(LLM)通过托管API部署时面临的模型提取攻击威胁。模型提取攻击中,攻击者通过发送大量查询来窃取或复制目标模型的功能,但单个查询往往与正常用户请求难以区分。现有检测方法多基于单条查询异常评分或纯良性用户与攻击者用户分类场景,缺乏对混合多用户流量中攻击的有效检测。本文提出一种简单有效的检测方法:将传入查询嵌入语义空间,然后利用最大均值差异(MMD)检验其聚合分布是否偏离历史良性流量。具体地,仅通过良性流量之间的比较来设定决策阈值,无需攻击样本。在四种提取场景、十四个攻击者-正常查询对上的实验表明,该方法在三种随机种子下实现了0.3%的良性假阳性率、100.0%的纯攻击者检测率、90.5%的平均攻击者检测率和95.1%的平衡准确率。与PRADA、SEAT、CAP、DATE和边际马氏距离等基线方法相比,该方法效果显著。代码已开源。本文核心贡献在于将模型提取检测视为良性校准的流量窗口分布测试问题,并证明了简单方法在混合多用户环境下的有效性。适合关注LLM安全、模型窃取防御的研究人员和工程师阅读。

💡 推荐理由: LLM API服务面临模型提取威胁,现有检测方法在混合流量中效果不佳。本文提出的轻量级分布测试方法无需攻击样本即可高效检测,为API安全防护提供了实用基线。

🎯 建议动作: 研究跟进该检测方法,评估在自身LLM API流量中的适用性

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kaixiang Zhao, Bolin Shen, Yuyang Dai, Shayok Chakraborty, Yushun Dong

该论文提出了 GraphIP-Bench,一个用于系统评估图神经网络(GNN)模型窃取攻击与防御的统一基准。作者指出,现有研究因数据集、威胁模型和评估指标不一致而无法回答“窃取GNN有多难”以及“能否阻止”这两个关键问题。GraphIP-Bench 在统一的黑盒协议下集成了12种模型提取攻击、12种防御方法(涵盖水印、输出扰动和查询模式检测三类)、10个公开图数据集(包含同质、异质和大规模图)、3种GNN骨干网络和3种图学习任务,并报告了保真度、任务效用、所有权验证和计算成本等指标。此外,还增加了联合攻击-防御赛道,对每个受保护目标运行所有攻击,并测量提取后替代模型上的水印验证效果。实验结果表明:在中等查询预算下,窃取GNN很容易,且大多数防御未能改变这一现状;多种水印在受保护模型上可靠验证,但在提取的替代模型上几乎失去验证信号,这暴露了单一模型评估遗漏的漏洞;异质图更难以窃取,而目标与替代模型之间的跨架构不匹配会降低但无法阻止提取。论文提供了开源代码。该研究对安全从业者理解GNN模型窃取风险及评估防御有效性具有重要参考价值。

💡 推荐理由: GNN云服务面临模型窃取攻击威胁,而现有评估缺乏统一标准。本文首次系统对比攻击与防御,揭示多数防御无效、水印易被移除等关键发现,为安全团队制定防护策略提供了实证依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

本文针对Transformer模型安全推断中的shuffling防御机制展开研究。在安全推断场景中,客户端通过加密协议仅获知模型最终输出,而服务器无法得知客户端输入。然而,非线性层的安全计算因通信轮数和数据传输量巨大而成为效率瓶颈。为提升效率,先前工作选择向客户端暴露中间激活值,使其可以在明文下计算非线性操作,但这一做法使得敌手可能从暴露的激活中提取模型权重。作为缓解措施,现有工作采用shuffling防御,即仅向客户端公开经过随机排列后的激活值,期望通过破坏激活值与权重的对应关系来阻止模型提取。本文证明该shuffling防御远不如先前声称的稳健。作者提出一种攻击方法,首先将不同轮次中经过不同随机排列的激活值对应到同一个排列空间(即对齐),进而利用这些对齐后的激活值恢复模型权重。具体地,攻击者通过观察多次推理中暴露的shuffled激活,利用激活值之间的统计关联推断出排列关系,实现高精度对齐。在Pythia-70m和GPT-2上的实验表明,所提出的攻击可以将shuffled激活对齐到均方误差仅为10^{-9}到10^{-6}的水平。进一步,在查询成本约为1美元的条件下,敌手恢复出的模型权重与真实权重之间的L1范数差异仅为10^{-4}到10^{-2},几乎完全恢复。该工作揭示了shuffling防御的根本缺陷,提示安全推断设计中需要更加稳健的保护机制。

💡 推荐理由: shuffling防御曾被认为是保护模型权重的有效方案,本论文证明其本质上不安全,攻击者能以极低成本(约1美元)恢复Transformer模型权重,对依赖该技术的安全推断系统构成直接威胁。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hao Luan, Xue Tan, Zhiheng Li, Jun Dai 0001, Xiaoyan Sun 0003, Ping Chen 0003

本文提出一种基于自监督学习的模型提取攻击方法,旨在同时实现数据集缩减和水印移除。传统模型提取攻击通常需要大量查询和完整训练数据,且可能保留原始模型的水印。作者利用自监督学习(如对比学习)从目标模型中提取知识,仅需少量未标记样本即可训练一个紧凑的替代模型。该方法通过构建正负样本对进行对比学习,使替代模型模仿目标模型的表示空间,从而在减少数据集规模(例如仅需原始数据集的10%)的同时,有效消除嵌入在目标模型中的水印。实验在多个图像分类数据集(CIFAR-10, CIFAR-100, SVHN)和不同架构(ResNet, VGG)上进行,结果显示替代模型在保持高准确率(接近目标模型)的同时,水印移除成功率显著高于基线方法。该研究揭示了自监督学习在模型窃取中的潜力,对模型水印保护机制构成新挑战。

💡 推荐理由: 该研究暴露了自监督学习可被用于高效模型窃取并绕过水印保护,威胁模型知识产权和安全性,需引起防御方重视。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)