本文研究的是开放集(open-set)恶意软件家族识别任务中的拒识(rejection)问题:模型既要对训练集中出现过的已知家族正确分类,又要把训练中从未出现过的家族样本判定为「未知」并拒绝归类。作者针对基于函数调用图(FCG)的恶意软件家族识别流程,检验一个具体假设:在已有的图神经网络(GNN,具体为 GIN)嵌入之外,额外引入 Louvain 社区划分的摘要特征,是否能够提供增量式的未知家族拒识信息。为排除「结构特征只是变相编码了图的规模与通用拓扑」这一混杂因素,作者构造了维度匹配的通用拓扑(generic topology)基线,并利用仅含已知家族的训练数据,把社区特征对通用拓扑做残差化(residualization),再用最近原型(nearest-prototype)打分。实验使用经过去重与冲突审计的 FCG-MFD 语料,设置了 5 个留出家族(held-out families)和 3 个优化随机种子,以保证结论的稳健性。结果是否定性的:残差社区特征无法产生稳定的留出家族拒识能力。具体表现为——不同家族上的排序效应方向相反(说明效果不可泛化);在 95% 未知召回率(unknown recall)这一操作点上,每一个留出家族的假阳性率都变差;用验证集拟合出的阈值只能拒绝 4.48% 的未知样本,远不足以支撑实际部署。另一方面,已接受样本的已知类宏 F1 在每一个家族上都有提升,但由于只有 5 个独立的家族单元,精确双侧符号翻转检验的最小可达 p 值为 0.0625,统计上无法确证。此外,该社区得分仍与图的规模相关,而简单分类器不确定性在排序、高召回拒识和 OSCR 指标上均表现更好。作者由此得出结论:在这种 GIN/FCG-MFD 设定下,社区增强的原型只是改变了已知类的几何结构,并未创造出稳定的未知类判别边界;并建议图开放集评估应同时报告匹配拓扑对照、可操作阈值以及留出家族分析。适合关注机器学习安全、恶意软件家族分类与开放集识别评测方法的研究者与安全工程实践者阅读。
💡 推荐理由: 许多恶意软件分类产品依赖「未知家族」拒识能力来发现新型威胁。本文以严格对照实验证明,Louvain 社区等图结构特征在 FCG 场景下并不能带来稳定的未知家族拒识,且默认阈值几乎失效。这提醒防守方不要轻信结构增强带来的指标提升,必须做匹配拓扑对照与可操作阈值验证。
🎯 建议动作: 研究跟进:将结论纳入内部恶意软件 ML 分类器的评测规范,检查现有开放集拒识模块是否依赖未经验证的结构特征,并补充匹配拓扑对照与留出家族测试。