基于学习的漏洞检测高度依赖训练标签的质量。现有大规模数据集（BigVul、PrimeVul、DiverseVul 等）通常以「漏洞修复提交」为依据，把被补丁改动过的函数直接标注为「存在漏洞」，但被安全补丁修改并不等于该函数本身存在漏洞，由此引入系统性标签噪声，使检测器的评测结果失真。论文提出 VulValidate 框架：以 LLM 智能体驱动并协调多种动态分析工具，从运行时反馈中自动构造可触发漏洞的实验。给定一个被标注为脆弱的函数及其修复补丁，框架会重建漏洞版本与修复版本，自动选择合适的工具与执行路径，迭代精炼触发输入，并对比两个版本的运行时行为差异，从而在函数粒度上判定漏洞归属是否成立，并留下可执行的证据。作者据此审计了 BigVul、PrimeVul、DiverseVul 中全部 35,849 条原始「脆弱」标注：确认 20,510 条（57.2%），纠正 6,819 条（19.0%），7,981 条（22.3%）可被触发但结论未定，539 条（1.5%）无法成功度量。经冲突消解与逐字节去重后，修正版数据集包含 15,890 个互不相同的已确认脆弱函数体。对 581 条抽样判定进行盲审，专家共识支持 90.0%–92.0% 的确认结论和 92.6%–99.0% 的标签纠正。在模型参数固定的条件下，使用修正标签评测会让五个被测检测器在 BigVul 与 DiverseVul 上的 F1 全部下降；而用修正标签重训练后，两个数据集上各有四个检测器的 F1 得到提升。作者同时发布了可复用的 VulValidate 技能、修正数据集与可复现证据，供后续漏洞检测研究使用。

该论文对网络安全入侵检测领域广泛使用的基准数据集 CICIDS2017 进行了系统性的审查与重建。研究背景是：尽管机器学习技术在网络入侵检测中展现出不错的效果，但缺乏能够代表现代网络流量的高质量训练数据，一直是制约其在实际大规模网络环境中落地的主要障碍。CICIDS2017 是近年来为满足网络入侵检测代表性要求而构建的基准数据集之一，但作者认为其数据采集流程和标注质量存在严重问题。作者重新审视了该数据集的完整数据管道，包括流量生成、流构建、特征提取和标签标注等环节，并通过深入分析发现了一系列缺陷，这些缺陷严重影响了数据集的正确性、有效性和整体可用性。具体而言，作者识别出流量生成中的异常、流构建的逻辑错误、特征提取中的不一致以及标签标注的失误，并针对多数问题提出了改进的数据处理方法。通过该方法，超过 20% 的原始流量痕迹被重建或重新标注。最终，作者在修正后的数据集上重新运行机器学习基准测试，结果显示模型性能有显著提升。该研究通过具体案例揭示了数据采集问题可能对模型评估产生巨大影响，并为如何预期和避免此类问题提供了切实建议。适合网络入侵检测研究者、数据集构建者以及依赖基准数据进行安全机器学习模型评估的工程师阅读。