#model-integrity

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Anagha Dhekne

本文提出 Modelstamp,一个轻量级 Python 持久化库,旨在解决机器学习模型在反序列化之前的完整性验证与运行时环境状态核验问题。研究背景是:已持久化的 ML 模型可以保持字节完全一致,但其加载所依赖的软件环境会随时间演变,因此仅依赖工件完整性校验无法暴露环境漂移带来的潜在风险。Modelstamp 在持久化阶段为序列化工件生成一个 sidecar JSON 清单,其中包含 SHA-256 摘要、运行时元数据以及有界跟踪包集合中已安装包的版本;并通过单独记录的模型相关子集来决定哪些包版本参与漂移比较。可选支持基于共享密钥的 HMAC 认证,适用于生产者和验证者共享密钥的工作流。在验证阶段,反序列化之前会依据该清单对工件完整性以及表示的当前环境状态进行核查。作者通过 14 个受控环境漂移场景、8 个受控信任边界场景以及 10 MiB 到 1 GiB 的工件大小扩展基准进行评估。受控漂移实验在相关依赖变化、环境不变以及无关环境变化(包括噪声控制)下均按预期运行;信任边界实验也确认了预期检测与预期局限,包括共享密钥伪造和重放。基准测试中,中位验证时间从 10 MiB 时的 0.032 秒增加到 1 GiB 时的 3.334 秒,测量吞吐量约为 307–312 MiB/s。结果表明,Modelstamp 更适合作为反序列化前的参考状态验证控制,而非替代依赖管理系统、恶意模型检测、安全反序列化或公共发布者认证。论文适合关注 ML 供应链安全、模型工件生命周期管理以及反序列化安全的研究人员和工程团队阅读,以便在现有安全控制之外增加一道基于运行时环境状态的预检机制。

💡 推荐理由: 模型工件在字节不变时,环境漂移可能导致安全或功能风险,传统完整性校验无法覆盖。Modelstamp 提供反序列化前的轻量级状态参考验证,为 ML 供应链增加可实操的检测层,适合集成到模型发布与加载流程中。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 10.5
Conf: 50%
👥 作者: Rui Zhang, Wenbo Jiang, Hongwei Li, Zihan Wang, Rui Zhang, Chaoshun Zuo, Jianfei Sun, Guowen Xu

本文提出了一种针对混合专家(Mixture-of-Experts, MoE)大语言模型的新型供应链攻击方法——Load Hijack。在MoE模型的专家并行(Expert Parallelism, EP)服务架构中,不同专家被分布到多个GPU上,路由器(router)根据每个token的输入决定将其分配到哪些专家,从而间接决定GPU上的计算负载。这种调度机制暴露了一个可被恶意模型提供者利用的攻击面。攻击者仅需修改模型checkpoint中的router权重,发布被污染的模型,并保留一个私有触发器;当触发器出现在输入中时,被篡改的router会将少量token的专家分配集中到与单个GPU上共置的目标专家,使该GPU成为“掉队者”(straggler),迫使其他GPU等待,而普通输入的路由行为几乎与原始模型一致,难以察觉。作者指出,实现这种条件行为存在固有冲突:直接奖励触发输入使用目标专家的优化目标,也会导致普通输入偏向同一批专家。为解决该问题,Load Hijack设计了包含三个阶段优化的流程,在维持普通输入路由与干净参考模型接近的同时,实现强触发器依赖的专家集中。实验覆盖三个MoE模型家族和四个语料库,结果显示92.3%到95.6%的触发token分配被定向到目标专家。在真实的EP服务场景中,触发流量使得首token时间(time-to-first-token)提升至普通流量的1.43倍,吞吐量降至0.86倍。该研究首次证明了被投毒的路由器可充当触发器控制的设备调度器,从而对GPU集群造成性能降级或资源耗尽,呼吁业界对模型分发过程中的路由权重与运行时负载进行安全审计。本文适合关注大模型供应链安全、MoE推理框架鲁棒性以及模型权重完整性的安全研究人员阅读。

💡 推荐理由: 对使用MoE架构的云推理服务构成新型供应链后门威胁,攻击者无需修改推理逻辑即可造成GPU负载失衡和性能下降,且普通输入下不易被察觉,防御者需重视模型来源与权重完整性验证。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)