#ml-supply-chain

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Anagha Dhekne

本文提出 Modelstamp,一个轻量级 Python 持久化库,旨在解决机器学习模型在反序列化之前的完整性验证与运行时环境状态核验问题。研究背景是:已持久化的 ML 模型可以保持字节完全一致,但其加载所依赖的软件环境会随时间演变,因此仅依赖工件完整性校验无法暴露环境漂移带来的潜在风险。Modelstamp 在持久化阶段为序列化工件生成一个 sidecar JSON 清单,其中包含 SHA-256 摘要、运行时元数据以及有界跟踪包集合中已安装包的版本;并通过单独记录的模型相关子集来决定哪些包版本参与漂移比较。可选支持基于共享密钥的 HMAC 认证,适用于生产者和验证者共享密钥的工作流。在验证阶段,反序列化之前会依据该清单对工件完整性以及表示的当前环境状态进行核查。作者通过 14 个受控环境漂移场景、8 个受控信任边界场景以及 10 MiB 到 1 GiB 的工件大小扩展基准进行评估。受控漂移实验在相关依赖变化、环境不变以及无关环境变化(包括噪声控制)下均按预期运行;信任边界实验也确认了预期检测与预期局限,包括共享密钥伪造和重放。基准测试中,中位验证时间从 10 MiB 时的 0.032 秒增加到 1 GiB 时的 3.334 秒,测量吞吐量约为 307–312 MiB/s。结果表明,Modelstamp 更适合作为反序列化前的参考状态验证控制,而非替代依赖管理系统、恶意模型检测、安全反序列化或公共发布者认证。论文适合关注 ML 供应链安全、模型工件生命周期管理以及反序列化安全的研究人员和工程团队阅读,以便在现有安全控制之外增加一道基于运行时环境状态的预检机制。

💡 推荐理由: 模型工件在字节不变时,环境漂移可能导致安全或功能风险,传统完整性校验无法覆盖。Modelstamp 提供反序列化前的轻量级状态参考验证,为 ML 供应链增加可实操的检测层,适合集成到模型发布与加载流程中。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Qianlong Lan, Vinothini Pandurangan, Anuj Kaul, Indranil Sanyal

近年来,机器学习工件的安全性日益受到关注,特别是Pickle和PyTorch等格式可能嵌入恶意代码,静态安全扫描器(如ModelScan、ModelAudit和Fickling)被用于检测这些工件中的可执行或危险内容。然而,传统的评估指标(如F1分数)仅适用于扫描器给出可操作安全判断的样本,对于因各种原因(如格式异常、分析超时、不受支持的特征)而未能做出判断的样本,则被忽略,从而可能高估扫描器的实际效能。为此,本文提出了一个系统性评估框架,将扫描器的输出细分为非N/A覆盖率、分析完成率、确定性安全决策、非安全发现以及不支持的结果等五类,并据此衡量工具的性能。作者构建了一套受控且基于真实构件的基准测试,包含170个Pickle与PyTorch聚焦的合成工件,覆盖145个样本家族,其中135个家族具有二元的攻击性/良性ground truth标签,另有10个故意构造为畸形且不带标签。他们对该基准中的三个主流扫描器进行了全面比较。实验结果显示:ModelAudit在135个带标签家族上全部给出了确定性安全判断(覆盖率100%),Fickling覆盖了81.5%的家族,而ModelScan仅覆盖了49.6%。但有趣的是,在成功给出确定性判断的样本中,ModelScan的精确率、召回率和F1均达到了100%,说明其判断质量非常高,但可用性严重不足。此外,Fickling没有提供任何独有的真阳性家族,即它的有效发现完全被ModelAudit和ModelScan的组合所覆盖,工具级冗余较大。尤为关键的是,ModelScan未能完成分析的48个恶意家族中,ModelAudit和Fickling都产生了与事实一致的检测结果,证明了多工具联合使用的互补价值。本文的核心贡献在于:明确区分了判断准确性与判断可用性两个维度,并引入了增量检测覆盖率与工具冗余的概念,为AI模型安全扫描器的评测提供了更全面的方法论。对于安全防御者而言,该研究提醒我们,仅仅关注F1之类的单一指标是不够的,必须同时考量扫描器能对多大比例的样本给出可靠结论,并且应通过组合多个工具来弥补单一工具的覆盖率缺陷。该基准与评估框架可直接用于后续扫描工具的验证与选型,也适用于其他机器学习工件格式的安全检测场景。

💡 推荐理由: 该研究颠覆了只依赖F1评估扫描器的直观做法,揭示高精度工具可能因低覆盖率而大量漏检。对于蓝队而言,在选择ML工件安全工具时,必须将判断可用性纳入考量,并通过多工具组合避免盲区。论文提出的评估框架可直接用于内部工具测评,具有较强的实用参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Dhruv Pradhan, Sarang Nambiar, Ezekiel Soremekun

论文《ShadowPickle: Evading Machine Learning Model Scanners via Stealthy Pickle Deserialization Attacks》研究了针对预训练机器学习模型(PTM)托管中心(如Hugging Face)的供应链攻击。这类攻击利用恶意PTM在用户可信环境中执行远程代码。作者提出了三种名为SHADOWPICKLE的隐蔽pickle反序列化攻击,利用Pickle虚拟机的外部模块导入机制,在反序列化期间执行恶意载荷,从而规避现有最先进的模型扫描器。为了评估攻击,他们还开发了PICKLEBENCH基准测试,能够自动将SHADOWPICKLE注入任意良性PTM模型。实验表明,SHADOWPICKLE可以逃避十种最先进的扫描器和四种模型中心。其中“Overwritten”变体对扫描器的平均逃避率为63%,比现有攻击高出最多50%。PICKLEBENCH比三个现有基准测试的挑战性高25.6%。论文最后提供了缓解建议,指出了现有扫描器的局限性及改进方向。该研究适合机器学习安全研究人员、模型托管平台安全团队以及开发反序列化防护工具的人员阅读。

💡 推荐理由: 该研究揭示了当前主流机器学习模型扫描器在检测隐蔽pickle反序列化攻击方面的严重不足,提醒安全社区需要改进模型供应链安全防护。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)