该论文关注自主渗透测试编排框架(autonomous penetration-testing harness)中的决策可靠性问题。当前这类框架普遍使用大语言模型(LLM)完成侦察、利用与报告生成,但同时也让同一个 LLM 去确认漏洞发现是否属实、评定严重性等级、以及挑选下一步调用哪个子代理。作者指出,这种「生成模型自证自评」的做法会带来三类系统性风险:误报(不存在的漏洞被判定为存在)、严重性虚高(CVSS 或内部评级被夸大)、以及算力浪费(在无效路径上反复迭代或触发多余的确认循环)。 为此,论文提出引入 System One 决策模型(轻量、非生成式的分类器,输出带类型且经过校准的判定结果)作为决策层,与负责生成内容的 LLM 分工。作者给出五点贡献:第一,明确四个关键决策点——发现项裁定(finding adjudication)、严重性重校准(severity recalibration)、代理剪枝(agent pruning)、确认循环(confirmation loops)。第二,一个探索性 NeuroSploit 案例研究:对一个包含 13 个漏洞的 Web 目标分别运行「带 TypeSafe System One(Jev)」与「不带」两种配置,比较严重性分布、运行时间以及按暴露数据类型划分的评分差异;作者明确说明这些差异用于论证架构合理性,但尚未达到统计显著性。第三,梳理 Jev、Jev-Ultrafast 与开源 Laya 的公开规格,并强调不能假定其他基准测试上的结论可直接迁移到渗透测试场景。第四,讨论 RLHF、RLAIF、RLCD、RLHV 等训练范式,及其对安全决策可信度的影响。第五,提出领域自适应的 System One 模型 Rave,并给出其训练数据、评估协议与对编排框架保障能力的潜在作用。 适合阅读人群:LLM 代理安全、自动化渗透测试工具研发、以及关心 AI 输出校准与可信度的安全工程师与研究者。
💡 推荐理由: 多数自动化渗透测试框架让同一个 LLM 既生成结论又自评结论,导致误报与严重性虚高,直接影响工单质量与响应排序。本文提出的「生成归生成、判定归判定」分层思路与校准分类器,对蓝队评估 AI 代理输出可信度、降低误报治理成本有直接参考价值。
🎯 建议动作: 研究跟进:将其决策点划分与校准思路纳入内部 LLM 安全代理的评估设计,跟踪 Rave 的后续评估协议与开源实现。