近年来，机器学习工件的安全性日益受到关注，特别是Pickle和PyTorch等格式可能嵌入恶意代码，静态安全扫描器（如ModelScan、ModelAudit和Fickling）被用于检测这些工件中的可执行或危险内容。然而，传统的评估指标（如F1分数）仅适用于扫描器给出可操作安全判断的样本，对于因各种原因（如格式异常、分析超时、不受支持的特征）而未能做出判断的样本，则被忽略，从而可能高估扫描器的实际效能。为此，本文提出了一个系统性评估框架，将扫描器的输出细分为非N/A覆盖率、分析完成率、确定性安全决策、非安全发现以及不支持的结果等五类，并据此衡量工具的性能。作者构建了一套受控且基于真实构件的基准测试，包含170个Pickle与PyTorch聚焦的合成工件，覆盖145个样本家族，其中135个家族具有二元的攻击性/良性ground truth标签，另有10个故意构造为畸形且不带标签。他们对该基准中的三个主流扫描器进行了全面比较。实验结果显示：ModelAudit在135个带标签家族上全部给出了确定性安全判断（覆盖率100%），Fickling覆盖了81.5%的家族，而ModelScan仅覆盖了49.6%。但有趣的是，在成功给出确定性判断的样本中，ModelScan的精确率、召回率和F1均达到了100%，说明其判断质量非常高，但可用性严重不足。此外，Fickling没有提供任何独有的真阳性家族，即它的有效发现完全被ModelAudit和ModelScan的组合所覆盖，工具级冗余较大。尤为关键的是，ModelScan未能完成分析的48个恶意家族中，ModelAudit和Fickling都产生了与事实一致的检测结果，证明了多工具联合使用的互补价值。本文的核心贡献在于：明确区分了判断准确性与判断可用性两个维度，并引入了增量检测覆盖率与工具冗余的概念，为AI模型安全扫描器的评测提供了更全面的方法论。对于安全防御者而言，该研究提醒我们，仅仅关注F1之类的单一指标是不够的，必须同时考量扫描器能对多大比例的样本给出可靠结论，并且应通过组合多个工具来弥补单一工具的覆盖率缺陷。该基准与评估框架可直接用于后续扫描工具的验证与选型，也适用于其他机器学习工件格式的安全检测场景。