#decision-model

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Joas Antonio dos Santos Barbosa

该论文关注自主渗透测试编排框架(autonomous penetration-testing harness)中的决策可靠性问题。当前这类框架普遍使用大语言模型(LLM)完成侦察、利用与报告生成,但同时也让同一个 LLM 去确认漏洞发现是否属实、评定严重性等级、以及挑选下一步调用哪个子代理。作者指出,这种「生成模型自证自评」的做法会带来三类系统性风险:误报(不存在的漏洞被判定为存在)、严重性虚高(CVSS 或内部评级被夸大)、以及算力浪费(在无效路径上反复迭代或触发多余的确认循环)。 为此,论文提出引入 System One 决策模型(轻量、非生成式的分类器,输出带类型且经过校准的判定结果)作为决策层,与负责生成内容的 LLM 分工。作者给出五点贡献:第一,明确四个关键决策点——发现项裁定(finding adjudication)、严重性重校准(severity recalibration)、代理剪枝(agent pruning)、确认循环(confirmation loops)。第二,一个探索性 NeuroSploit 案例研究:对一个包含 13 个漏洞的 Web 目标分别运行「带 TypeSafe System One(Jev)」与「不带」两种配置,比较严重性分布、运行时间以及按暴露数据类型划分的评分差异;作者明确说明这些差异用于论证架构合理性,但尚未达到统计显著性。第三,梳理 Jev、Jev-Ultrafast 与开源 Laya 的公开规格,并强调不能假定其他基准测试上的结论可直接迁移到渗透测试场景。第四,讨论 RLHF、RLAIF、RLCD、RLHV 等训练范式,及其对安全决策可信度的影响。第五,提出领域自适应的 System One 模型 Rave,并给出其训练数据、评估协议与对编排框架保障能力的潜在作用。 适合阅读人群:LLM 代理安全、自动化渗透测试工具研发、以及关心 AI 输出校准与可信度的安全工程师与研究者。

💡 推荐理由: 多数自动化渗透测试框架让同一个 LLM 既生成结论又自评结论,导致误报与严重性虚高,直接影响工单质量与响应排序。本文提出的「生成归生成、判定归判定」分层思路与校准分类器,对蓝队评估 AI 代理输出可信度、降低误报治理成本有直接参考价值。

🎯 建议动作: 研究跟进:将其决策点划分与校准思路纳入内部 LLM 安全代理的评估设计,跟踪 Rave 的后续评估协议与开源实现。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tiantong Wu, Wei Yang Bryan Lim

本文研究提示注入(prompt injection)对非生成式决策模型 Jev 的影响。以往关于提示注入的研究大多聚焦生成式智能体,而对于采用 schema 定义输出(即输出被约束在固定类型化动作集合内)的模型是否同样受影响,目前尚不明确。作者基于 510 个重建的 InjecAgent 案例开展评测。实验发现:恶意内容确实会改变各动作的概率分布,但极少能让 Jev 真正选择攻击者指定的目标动作;加入 override(覆盖)标记可以削弱此类影响,而声称与上下文相关的注入内容带来的影响较小。作者进一步提出利用分数反馈的自适应攻击:在优化过程中,攻击者目标的平均最高概率翻倍;在全新验证调用上的成功率从 1.8% 提升到 3.5%。探索性分析表明,成功案例多与初始决策间隔(decision margin)较小、或攻击者对观测(observation)内容控制程度较高有关。结论是:类型化 / schema 约束输出改变但并未消除提示注入风险,安全评估需要关注不可信内容如何影响'允许动作集'内部的决策,而不仅是模型能否生成有害文本。

💡 推荐理由: 提示注入通常被认为只影响生成式模型;本文证明类型化输出的决策模型同样受影响,只是风险外显为概率偏移与边界决策翻转,而非直接输出恶意内容。这直接影响 agent 工具调用、权限与风控决策类系统的威胁建模与评测方法。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)