该论文针对 LLM/agent 驱动的漏洞验证工件(如 PoC 仓库、验证管道)的可复现性与可靠性进行了一项预注册的独立审计研究。研究背景是:随着大语言模型与自动化代理被用于漏洞挖掘和验证,安全社区产生了大量自动化生成的安全工件,但工件'可公开访问'、'可运行'、'能产生信号'、'语义上确认针对特定 CVE'这四级目标之间存在严重落差,而此前缺乏系统测量。作者通过检索 2023 至 2026 年间的文献,经双人筛选形成包含 104 篇论文的共识语料,其中 59 篇(56.7%)提供公开可获取的工件。随后作者对 18 篇论文级工件进行 R0(原环境)与 R1(仅修复环境依赖)两级复现,并对锚定基准(arXiv:2509.24037)的全部 102 个验证案例执行复现,对其中 30 个案例追加补丁反事实(在已修复版本上运行同一验证逻辑),对 19 个案例施加匹配的阴性输入对照。主要发现包括三方面:其一,102 个锚定案例中有 58 个(56.9%)案例的脚本内部 CVE 标识符与所在目录声称的 CVE 不一致,说明存在 CVE 混淆或错误标注;其二,18 个论文级工件在 R0 阶段仅 10 个(55.6%)能完整跑完声明的工作流,经 R1 修复提升到 11 个(61.1%),说明大量工件的可运行性欠佳;其三,工件自带的验证预言机(判定是否触发漏洞的信号逻辑)严重不可靠:30 个补丁反事实审计中有 20 个在已打补丁的构建上仍输出“已利用”信号,19 个阴性对照中有 7 个在良性输入上被误判为触发,预言机整体灵敏度仅 60%、特异性 45%。作者强调,仅凭在脆弱版本上的触发并不能证明对该 CVE 的准确复现,必须配合干净的补丁反事实与阴性对照。该研究的贡献在于提出一套可复用的复现审计协议,包括预注册后置条件、R0/R1 修复阶梯、G1-G3 语义证据级别和补丁反事实预言机等,为安全工件复现社区提供了模板。由于本研究为预注册探索性结果,外部效度受限,但方法值得借鉴。
💡 推荐理由: 该研究揭示 LLM/agent 自动生成的漏洞验证工件存在大量假阳性与 CVE 错配问题,直接冲击依赖自动化 PoC 的漏洞运营流程。防御者若仅以'触发信号'作为漏洞存在的依据,可能被误导,需要在响应流程中引入补丁反事实与阴性对照验证。
🎯 建议动作: 研究跟进(评估其审计协议,用于内部漏洞验证流程的可信度核查)