推荐 10.5
Conf: 50%
网络威胁情报(CTI)报告通常以非结构化格式编写,这给提取关键实体和对抗行为带来了困难。尽管现有研究提供了提取工具、知识图谱框架和基于MITRE ATT&CK映射的数据集,但能够保留复杂实体关系并规范化对抗行为的报告级数据集仍然有限。为解决这一局限,本研究手动构建了一个包含150份英文CTI报告的数据集,每份报告均表示为STIX 2.1图结构。数据集总计包含4777个STIX实体、5817个STIX关系以及1273个STIX攻击模式(对抗行为),映射到269个独特的MITRE ATT&CK企业技术和子技术。两位网络安全研究人员独立评估了25份随机抽样的报告,显示出较高的一致性(kappa系数)。对于不一致的标注,经裁决后建立了黄金标准参考数据集。随后,研究评估了四个本地部署的开源大语言模型(LLM)作为自动评判员的表现。其中Qwen3.6:27B表现最佳,在黄金标准样本上取得了最高kappa值0.803,微观F1分数超过92%,假阳性率低于5%。该数据集为CTI信息提取、知识图谱构建、事件分析和威胁归因提供了基准。研究还表明,本地部署的LLM可以辅助人工审核识别标注不一致,但专家验证仍然不可或缺。
💡 推荐理由: 该数据集填补了高质量、结构化CTI基准的空白,并首次系统性评估了LLM在CTI标注中的可靠性,对自动化威胁情报分析、知识图谱构建和ATT&CK映射工具开发具有直接参考价值。
🎯 建议动作: 研究跟进,评估将该数据集纳入内部CTI分析流程的可行性,并测试Qwen3.6等模型在自身场景下的表现。
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)