该论文针对语言模型智能体在完整软件仓库上执行安全分析的能力评估问题展开研究。作者指出,当前网络安全领域的评测工作主要关注智能体能否「检测」、「复现」或「修复」漏洞,却很少衡量一个更基础的能力:能否在陌生仓库中准确定位与特定弱点类别相关联的实现文件。为此,论文提出「漏洞定位」(vulnerability localization)这一独立任务,并构建了 Vulnerability Localization Benchmark(VLoc Bench)基准。该基准包含来自 290 个仓库、覆盖六大软件包生态与 147 个 CWE 类别的 500 个真实漏洞案例;每个任务都提供修复前与修复后的仓库快照配对。在漏洞版本快照上,智能体仅获得 CWE 描述与只读终端访问权限,必须返回受影响的文件;在已修补快照上,智能体则需判断所记录的漏洞是否已不存在。作者在统一智能体接口下评估了 27 个语言模型与 4 种静态分析工具。结果显示,仓库级漏洞定位仍然十分困难:表现最好的系统仅达到 0.229 的 File F1,且有 38.4% 的任务没有任何被评估模型给出正确本地化结果。论文进一步发现,更强的定位能力并不等同于修复后的可靠行为——那些能有效识别漏洞文件的系统,在已修补仓库上仍可能报告缺乏依据的位置。该工作将漏洞定位确立为一种独立的仓库级能力,并为研究安全智能体如何搜索易受攻击代码、以及何时应当避免报告提供了实验框架。
💡 推荐理由: 安全智能体正被广泛用于仓库级代码审计与告警收敛,但「定位准」不等于「修复后不误报」。该基准揭示了当前模型在仓库级定位上的真实下限,并暴露修复后仍乱报的可靠性缺口,对构建自动化审计流水线与降低误报噪声有直接参考价值。
🎯 建议动作: 研究跟进