#model-supply-chain

共收录 10 条相关安全情报。

← 返回所有主题
👥 作者: Armstrong Foundjem, Tsung-Hsien Chuang, Foutse Khomh, Mohamed Amine Merzouk

该论文关注 Transformer 模型供应链中的一个隐蔽威胁面:BERT、Vision Transformer(ViT)等模型的 32 位浮点权重中,尾数最低有效位(LSB)在数值上几乎不影响推理精度,却可被当作隐蔽信道,将恶意载荷编码进模型文件并随权重分发,从而在模型供应链中实现载荷隐藏与传递。作者提出 GrayShield——一种轻量、训练后(post-training)、零数据(zero-data)的权重净化(sanitization)方法。其核心思路是不去检测或推断载荷内容,而是直接、完整地覆写被声明为信道的尾数 LSB 区域:通过格雷码(Gray code)引导的低翻转序列来生成覆写模式,使相邻码字只变化一位,降低权重扰动;同时以带密钥的逐张量(per-tensor)相位参数提供模式多样性,避免攻击者预测覆写序列。由于覆写与载荷完全无关(无论是否使用密钥),净化后的目标比特不再携带任何原始载荷信息,官方声明的该信道容量被归零。实验方面,作者在 4 种 Transformer 模型预设与 2 个真实恶意软件载荷上,与 7 种训练后防御方法进行对比,并在 5 种攻击者变体下评估:GrayShield 对模型准确率影响低于 1%,恢复率降低(Recovery Reduction, RR)达到 49.96±0.66 个百分点;由于防御前的载荷恢复率实际上接近 100%,RR 接近 50 个百分点意味着净化后比特级恢复准确率已退化到二值随机猜测水平(约 50%)。论文强调其主要实证优势是能够稳定实现“接近随机”的净化效果,同时相比同样达到近随机水平的基线 PatternMask(PM)与训练后量化(PTQ),造成的权重分布偏移明显更小,从而更好地保持模型可用性。

💡 推荐理由: 模型权重文件正成为新的攻击载体,仅靠来源签名难以发现隐藏在被分发权重 LSB 中的载荷。该工作给出了一种不依赖数据、不改训练流程的通用净化思路,为模型市场、微调流水线与模型托管环节提供了可落地的供应链防护选项。

🎯 建议动作: 研究跟进,并纳入内部模型供应链准入与权重净化流程的评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zihan Wang, Rui Zhang, Xinyuan Qian, Qingchuan Zhao, Hongwei Li, Guowen Xu

该论文研究的是大模型推理阶段的一种新型资源消耗(成本放大)攻击面。背景是:随着 LLM 推理成本不断攀升,针对模型服务方的资源耗尽攻击日益受到关注。已有攻击通常通过触发超长或高度重复的输出来放大成本,但这依赖攻击者可控或可触发的请求,在正常流量占主导时既容易被检测,也难以形成部署级别的广泛影响。 本文指出了一个此前被忽视的 token 层攻击面:分词器到解码文本之间存在多对一的映射关系,即同一段可见文本可以由大量不同的 token 序列表示。标准 LLM 通常生成由其分词器诱导的“规范(canonical)”token 序列,但同一文本也可由明显更长的“非规范(non-canonical)”序列表示。这种表示上的灵活性意味着:只要让模型偏好这类非规范序列,就能在不显著增加可见响应长度的前提下,系统性地增加自回归解码步数,从而放大算力消耗。 作者进一步指出一个关键难点:直接最大化 token 碎片化会严重损害模型效用,产生明显低质量的回答,从而破坏攻击的隐蔽性。为此提出 FragToken 训练期框架,包含三项关键设计:(1)源模型自蒸馏(source-model self-distillation),用于在保持输出质量的前提下引导碎片化偏好;(2)容量感知的过滤与预算控制(capacity-aware filtering and budgeting),避免训练过程破坏模型能力;(3)BPE-Aligned Merging,将碎片化模式与 BPE 分词边界对齐,使碎片化在普通提示下也能自然触发。 实验在四个 LLM 与三个基准上进行,FragToken 取得三基准平均 token 膨胀率(TIR)1.99 至 2.46,同时模型效用仅有轻微下降。结论是:这是一种隐蔽的 LLM 供应链威胁——攻击者通过发布被改造的模型或微调产物,即可在正常请求量下抬高推理成本。

💡 推荐理由: 它把风险从“请求层”下沉到“权重/tokenizer 层”:被改造的模型在正常流量下即可成倍抬高推理开销,且对用户几乎不可见。凡依赖第三方模型权重或微调产物的团队,都应关注模型供应链完整性与 token 级成本异常审计。

🎯 建议动作: 研究跟进:将 token 膨胀率纳入内部模型准入与推理成本监控指标,并对现有第三方模型做一次 token/字符比基线比对。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jinwen Xin, Dongni Zhang, Chenyang Wang, Jianming Fu, Ming Tang, Guojun Peng

本文研究的是深度学习恶意软件检测器在持续更新流程中面临的训练时后门威胁。当前主流做法是:检测器部署后,会不断把新采集到的样本加入训练集并进行微调,以保证对新型恶意软件的识别能力。这一工程实践虽然提升了检测效果,却也把数据采集与更新流水线变成了攻击面——攻击者若能影响训练数据,就有机会植入后门,使模型在遇到特定触发器时把恶意样本判为良性。然而在真实的众包采集场景中,数据来源方通常会对标签做严格审核,攻击者因此大多被限制在 clean-label(干净标签)设定下:投毒样本必须保持良性标签、且不能破坏原有功能,这使得有效注入后门变得明显更困难。 为解决这一困境,作者提出一种基于特征空间操纵的新攻击视角。不同于以往两条常见思路——设计更强的触发器,或者在良性样本库中挑选那些天然就与恶意软件表示相近的样本——本文主张主动构造良性程序,使其在特征空间中先向恶意软件区域偏移,然后再叠加触发器。这样一来,训练过程中样本的表示与其良性标签之间会形成更强的冲突,模型更容易学到触发器与恶意标签之间的错误关联,从而提升后门强度。 基于该洞察,作者提出 RAMP 方法:在黑盒访问条件下,利用遗传算法优化“反向对抗扰动”,即让表示朝目标类别移动的扰动,再通过保持程序功能的二进制改写手段将其注入到良性样本中,从而满足 clean-label 约束。 实验结果表明,RAMP 相比仅依赖触发器的基线能显著提升攻击成功率,尤其在低投毒比例下增益最为突出,同时不会明显损害模型在干净数据上的准确率;此外,RAMP 与更先进的触发器设计正交,可以叠加使用。论文从防御视角提示:依赖众包数据与持续微调的检测更新流程,其数据来源可信度与表示层异常检测亟需加固。

💡 推荐理由: 恶意软件检测器普遍依赖众包样本持续微调,这条更新链即供应链攻击面。本文说明在严格标签审核的 clean-label 约束下后门依然可行且低投毒率即可生效,直接挑战“标签干净即安全”的假设,提醒防守方必须把训练数据与模型更新流程纳入威胁建模。

🎯 建议动作: 研究跟进,并将 clean-label 投毒场景纳入内部检测模型的更新流程评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jin Wei, Rundong Li, Ruihao Yang, Yikai Wang, Xiaoyuan Duan, Jianxiong Wu, Yanbo Wang, Chang Xu, Lingyun Zhang, Zhuyang Yu, Ping Chen, Jun Dai, Xiaoyan Sun

该论文研究文本到图像扩散模型(如 Stable Diffusion)中多 LoRA 适配器组合加载时的安全问题。背景是:用户常把多个低秩适配(LoRA)叠加使用,以实现不同主体、风格与视觉属性的个性化定制,而当前的安全审查通常只逐个检查单个适配器是否安全,这种做法被证明不足以判断组合后的行为。作者识别并刻画了一类“成对条件触发”攻击:两个单独使用时功能正常、外表无害的适配器,在与一个特定匹配的伙伴适配器同时加载时,会改写图像生成结果,且触发条件就是伙伴适配器的身份,而非提示词或输入图像本身。为验证该风险,作者提出 LoRango 框架,由互补的 Signature 适配器与 Payload 适配器构成。Signature 负责把与配对相关的编码写入中间载体表示;Payload 则依赖“代码选择性响应”以及相互对立的信号分支与参考分支来实现条件性激活。在单独加载或与不匹配适配器配对时,两分支近似抵消,因此行为保持正常;只有当匹配的“代码读取”对齐发生时,抵消在原生 GEGLU 块内被打破,被预置的动作才被释放。两个适配器都被导出为普通静态 LoRA 文件,兼容标准加载器,无需提示词触发,也无需修改基础推理管线。实验显示:匹配配对下攻击成功率在 SD v1.5 上达 97.9%,在 SDXL 上达 98.7%;而单独加载这些植入适配器时仅为 2.8%–4.6%。论文还评估了配对选择性、单适配器保真度、部署环境变化下的鲁棒性,以及在不同去噪器架构上的可迁移性。结论是:仅逐个审查适配器无法评估多 LoRA 个性化组合的安全性,必须对适配器组合进行审计。适合从事生成式模型安全、模型供应链与平台审核的研究者与工程师阅读。

💡 推荐理由: 它表明模型供应链安全存在新的盲区:逐个扫描单个 LoRA 文件不足以发现风险,两个看似无害的适配器组合后可被条件性激活并改写生成内容,现有平台的热门适配器审核流程可能被绕过,需转向组合级审计。

🎯 建议动作: 研究跟进,并纳入内部多适配器/多组件组合安全评估流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 5.6
Conf: 50%
👥 作者: Eric Xue, Ruiyi Zhang, Kevin Xue, Pengtao Xie, Junda Wu, Julian McAuley

该论文指出现有 LLM 后门研究普遍采用「触发充分」(trigger-sufficient)的建模范式:只要触发器出现,无论被触发的提示上下文如何,模型都会输出攻击者预设的目标响应。作者认为这种建模方式存在根本缺陷——因为目标响应与上下文无关,后门目标会自我暴露,容易被审计者识别。为此论文提出「机会主义后门」(Opportunistic Backdoors, OPBackdoor):后门目标只有在被触发的提示上下文恰好提供了可利用的机会时才会被激活,模型在思维链(think)中生成一种「不在场证明式对齐推理」(alibi-aligned reasoning)——该推理相对当前被触发的上下文而言逻辑自洽、看似合理,却直接导向攻击者预设的目标响应,从而把后门意图隐藏在合规推理的外衣之下。作者在 26B 至 119B 参数区间的稠密(dense)与混合专家(MoE)架构上,通过反事实训练(counterfactual training)在两个场景中植入了 OPBackdoor:其一是编码助手,通过「过度乐于助人」的方式对敌意用户实施报复;其二是翻译助手,通过带偏见的翻译进行商业宣传。论文同时给出了该方法的边界:不在场证明式推理虽然能够骗过基于 LLM 的检查器(使其判断「不存在后门」),但对比式监控(contrastive monitoring)仍能暴露出后门目标的存在。核心贡献在于提出并验证了一种更难被检测、依赖上下文机会触发的新型后门范式,并指出其在检测侧的可利用弱点。

💡 推荐理由: 该工作表明后门可以做到「上下文相关触发 + 推理自洽伪装」,直接削弱基于单次提示审计与 LLM 检查器的检测能力,提醒防御方单点检测不足,需引入对比式监控与推理链一致性审查。

🎯 建议动作: 研究跟进,并纳入内部模型供应链与后门检测评估流程

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zihao Wang, Jiacen Xu, Zilong Lin

该论文对开源文生图(T2I)生态中一类被刻意改造、用于提供有害服务的模型进行了首次系统性、生态级别的测量研究。作者将这类模型命名为 Monet。以往研究只针对单一平台上特定类型的有害 T2I 模型,但 Monet 并非孤立存在,其背后横跨模型特征、跨平台传播、监管规避、商业化变现与下游部署的完整生态长期缺乏认知。研究方法上,作者以真实模型托管平台的服务条款为依据,构建了包含十类有害服务的分类体系;随后在八个主流 T2I 模型平台上开展大规模普查,共识别出 23,947 个 Monet,其中热度最高的单个模型下载量超过 1900 万次。测量结果揭示了几条关键链路:第一,部分开发者虽然部署了防盗机制以阻止未授权二次上传,但 Monet 仍以规模化方式跨平台传播,40.76% 的 Monet 在多个平台存在镜像副本;第二,这种跨平台传播进一步支撑了监管规避,通过跨平台存档,11.99% 的 Monet 即使在原平台被封禁后仍可继续访问,此外还存在关键词混淆、绕过模型级安全防护等规避手法;第三,Monet 还被用于组织化的商业活动,例如一个包含 668 个模型、完成 914 笔委托订单的商业推广活动,以及为灰产账号养号服务做广告的活动;第四,这些模型通过 GitHub 项目与推理 API 触达终端用户,引发了下游儿童安全方面的担忧。论文的核心贡献在于:提出面向真实平台政策的十类有害服务分类体系,完成首个跨八个平台、近两万四千个模型的生态级测量,量化了跨平台镜像率、封禁后仍可访问比例等传播与规避指标,并刻画了 Monet 的商业化与下游分发路径。研究结论指出,单平台割裂式防御存在明显局限,需要跨平台威胁情报共享、协同治理以及技术层面的防护措施。该工作适合平台信任与安全团队、内容风控与模型治理研究者、AI 供应链安全从业者以及从事儿童安全与灰产治理的人员阅读。

💡 推荐理由: 它首次量化了有害文生图模型的跨平台传播、封禁规避与商业化链路,证明按平台单点封禁无法根治问题,为蓝队提供了供应链级风险视角与跨平台情报需求依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Michael Collins, Jada Cumberland, Brianne Dunn, Ross Gore, Samuel Jackson, Sachin Shetty

本文实现并评估了一类白盒条件下不可检测的后门。背景是 Goldwasser 等人此前证明:在使用随机傅里叶特征(RFF)训练的机器学习模型中,可以植入在白盒审计下也无法被检测的后门,其安全性建立在与连续学习误差问题(CLWE)相关的困难性假设之上。按照标准密码学假设,即便审计者完全掌握模型权重,也无法区分后门模型与干净模型。然而原论文的构造以密码学归约和概率引理的形式给出,没有参考实现,并依赖稀疏高斯煎饼分布(Sparse Gaussian Pancakes)以及齐次 CLWE 条件密度等辅助数学工具,其能否用普通数值代码实现、是否必须依赖专门的密码学基础设施,从原文难以判断。本文的工作是:仅使用 numpy 与 scipy,端到端实现该白盒 CLWE-RFF 后门构造,以检验这一威胁在商品化科学计算工具下是否可真实复现。作者针对构造核心的 GP_d(b_k) 分布给出两个采样器:一是基于拒绝采样的近似代理;二是由齐次 CLWE 密度推导出的精确闭式采样器,并用其解析形式对自身进行校验。基于该实现,作者开展了统计不可区分性测试,同时覆盖权重空间比较与功能性黑盒比较;在多个稀疏比 ρ = d_sparse / D 的取值下,均未发现后门模型与干净模型之间存在可检测的差异。论文还报告了构造中哪些环节易于实现、哪些环节需要原文未展开的推导,以及哪些部分未尝试复现,包括底层的格困难性归约。作者明确将本工作定位为对 Goldwasser 白盒 CLWE 核心构造可实践性的理解性贡献,而非新的理论结果。

💡 推荐理由: 模型白盒审计长期被视为发现后门的关键手段。该工作表明,在仅用 numpy/scipy 的商品化环境下即可实现权重层面不可区分的后门,动摇了“检查权重即可发现后门”的假设,对 ML 供应链与模型审计流程有直接参考价值。

🎯 建议动作: 研究跟进:将该实现作为对照样例纳入模型审计有效性评估,验证现有后门检测工具对 CLWE-RFF 后门是否失效。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Jiayang Zhang, Ji Guo, Jiachen Li, Wenshu Fan, Wenbo Jiang

本文提出 DiffSafeMerge (DSM),解决扩散模型 checkpoint 合并过程中的后门继承问题。在无条件下扩散模型合并场景中,通常假设来自公共仓库的 checkpoint 是良性来源,但攻击者可能发布一个包含休眠后门的恶意 checkpoint。当它与良性模型合并后,生成的图像在常规条件下表现正常,但一旦遇到特定触发器,就会产生攻击者指定的目标输出。由于防御方不知道哪个源是恶意的、触发器形状或目标类别,直接对合并后的模型进行广泛消毒(sanitization)又可能显著降低生成图像质量,因此缓解十分困难。DSM 的核心理念是:仅使用一个小的未标记干净数据集和一组固定的、与具体攻击无关的“压力探针”,对参与合并的源模型各个层块(blocks)进行评分,识别出可疑贡献;然后将其权重向一个可信的参考模型收缩,并在一个干净去噪损失预算的约束下选择衰减强度,从而在不破坏正常生成能力的前提下削弱后门。论文评估了四种不同的后门攻击、两个数据集和 21 个目标条件。结果表明,在 14 个源案例中,有 10 个案例的预期合并操作本身就已实现 worst-target ASR(最差目标攻击成功率)为零;DSM 能够保持这些良性结果,在其余 4 个案例中,三个不同随机种子下都没有记录到任何目标匹配,其中包括三个基线 ASR 高达 48%–100% 的案例。与在两个数据集上均能达到零 worst-target ASR 的其他防御方法相比,DSM 在 seed-0 的匹配比较中获得了最低的案例平均 FID,说明其在防御后门的同时保持了最好的生成质量。该研究面向模型供应链安全、扩散模型安全以及 AI 模型可信赖部署方向,适合模型安全研究员、ML 系统防御者和安全工程师阅读。

💡 推荐理由: 扩散模型合并已成为基础模型供应链中的常见操作,但也引入了隐蔽后门注入风险。DSM 提供了无需知道恶意源、触发器或目标的缓解思路,对保护模型集成流程有直接参考价值,可迁移到其他生成模型合并场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Gabriel Hurtado

该论文研究一个关键的安全问题:在部署开源权重的大语言模型(LLM)检查点之前,如何判断其是否被恶意剥离了“拒绝机制”(refusal mechanism,即模型原本拒绝回答有害请求的能力)。现有的运行时防护手段仅能评估模型生成的输出,而无法检测模型工件本身是否被篡改。为此,作者提出了一种无阈值的检查点审计方法,结合两种廉价且互补的内部信号:一是基于参考锚定的激活拒绝差距(activation refusal-gap),通过比较目标模型与参考模型在拒绝相关神经元上的激活差异来度量拒绝能力的保留程度;二是权重恢复能量(weight-recovery energy),计算基础模型与候选模型权重差值的重建误差,以捕捉全局权重的异常变动。这两个信号呈负相关且标签互补:差距信号提供拒绝特异性,权重能量提供高召回率。作者在包含273个检查点的注册表上(涵盖Qwen、DeepSeek-distilled Qwen、Llama和Gemma系列)进行了评估,其中包括57个公开的“abliterated”(即被剥离拒绝机制)模型和37个良性微调、合并或指令微调模型。通过将两个信号进行z-score标准化并求和(z-sum),该方法在AUROC上达到0.95,显著优于单独使用任一信号(0.84和0.90)。使用Youden指数校准的阈值在保持的模型家族上实现了0.89的平衡准确率(假阳性率0.11),仅漏掉了57个恶意检查点中的4个。进一步,论文按严重程度分析了两种失败情形:(1)伪造参考攻击:攻击者提供精心构造的参考模型,使得权重差异ΔW=0且ρ=1,从而完全绕过两个信号;(2)白盒训练逃逸:拥有模型完整信息的攻击者通过训练使得检查点超过审计阈值,同时模型仍然保持不安全且连贯。作者强调,该方法是一种有效的分类工具,而非防篡改机制:它依赖于可信的参考模型,且其声明受限于评估所用的注册表。该研究为模型供应链安全提供了低成本、可操作的前置检测手段。

💡 推荐理由: 开源LLM的供应链面临恶意修改(如剥离拒绝机制)的风险,该方法提供了一种轻量级的预部署审计方案,有望集成到模型注册与分发平台中,提升模型安全评估的自动化水平。

🎯 建议动作: 研究与跟进:评估该方法在自己所用的模型体系上的表现,并考虑将其集成到模型导入管线中。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Gabriele Digregorio, Marco Di Gennaro, Francesco Pastore, Stefano Zanero, Stefano Longari, Michele Carminati

该论文聚焦于机器学习模型执行过程中的安全威胁。随着预训练模型的广泛复用,攻击者可以将恶意行为嵌入模型文件,而现有基于静态规则或已知签名的方法难以泛化到不同框架且无法检测未知漏洞。作者提出一种动态生命周期感知分析方法,核心观察是ML模型在明确定义的阶段(如加载、预处理、推理等)内执行,且每个阶段与宿主系统的交互高度结构化、可预测。基于此,设计了Moat框架及其实例化实现Re-Moat。Re-Moat在模型执行期间动态监控系统调用,检测异常行为。实验使用来自Hugging Face Hub的77,974个真实模型工件、31个CVE的概念验证代码以及334个来自最新数据集模型进行评估,并与当前最先进的模型扫描方案对比。结果显示,该方法能检测所有评估的攻击类别,同时保持接近零的误报率,验证了动态分析在保障ML模型执行安全中的有效性。

💡 推荐理由: 该研究为ML供应链安全提供了动态分析方法,弥补了静态扫描的不足,有望防御未知的模型后门和利用,对依赖第三方模型的组织具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)