#ai-trust

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Joas Antonio dos Santos Barbosa

该论文关注自主渗透测试编排框架(autonomous penetration-testing harness)中的决策可靠性问题。当前这类框架普遍使用大语言模型(LLM)完成侦察、利用与报告生成,但同时也让同一个 LLM 去确认漏洞发现是否属实、评定严重性等级、以及挑选下一步调用哪个子代理。作者指出,这种「生成模型自证自评」的做法会带来三类系统性风险:误报(不存在的漏洞被判定为存在)、严重性虚高(CVSS 或内部评级被夸大)、以及算力浪费(在无效路径上反复迭代或触发多余的确认循环)。 为此,论文提出引入 System One 决策模型(轻量、非生成式的分类器,输出带类型且经过校准的判定结果)作为决策层,与负责生成内容的 LLM 分工。作者给出五点贡献:第一,明确四个关键决策点——发现项裁定(finding adjudication)、严重性重校准(severity recalibration)、代理剪枝(agent pruning)、确认循环(confirmation loops)。第二,一个探索性 NeuroSploit 案例研究:对一个包含 13 个漏洞的 Web 目标分别运行「带 TypeSafe System One(Jev)」与「不带」两种配置,比较严重性分布、运行时间以及按暴露数据类型划分的评分差异;作者明确说明这些差异用于论证架构合理性,但尚未达到统计显著性。第三,梳理 Jev、Jev-Ultrafast 与开源 Laya 的公开规格,并强调不能假定其他基准测试上的结论可直接迁移到渗透测试场景。第四,讨论 RLHF、RLAIF、RLCD、RLHV 等训练范式,及其对安全决策可信度的影响。第五,提出领域自适应的 System One 模型 Rave,并给出其训练数据、评估协议与对编排框架保障能力的潜在作用。 适合阅读人群:LLM 代理安全、自动化渗透测试工具研发、以及关心 AI 输出校准与可信度的安全工程师与研究者。

💡 推荐理由: 多数自动化渗透测试框架让同一个 LLM 既生成结论又自评结论,导致误报与严重性虚高,直接影响工单质量与响应排序。本文提出的「生成归生成、判定归判定」分层思路与校准分类器,对蓝队评估 AI 代理输出可信度、降低误报治理成本有直接参考价值。

🎯 建议动作: 研究跟进:将其决策点划分与校准思路纳入内部 LLM 安全代理的评估设计,跟踪 Rave 的后续评估协议与开源实现。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Muhammad Tukur, Hayatullahi B. Adeyemo, Tao Chen, Nour Ali, Anis Zarrad, Marco Agus, Rick Kazman, Rami Bahsoon

本文针对智能体AI(Agentic AI)系统的技术债务问题,首次系统性地提出了“智能体技术债务”(Agentic Technical Debt, AgTD)这一概念。传统AI技术债务(AITD)的研究主要基于静态的、组件级的软件架构,无法捕捉智能体AI系统所特有的自主推理、多智能体协作、工具编排、自适应决策和持久记忆等动态行为所引发的债务。作者基于先前对31种AITD的系统范围综述,采用理论驱动的转换方法论,通过直接转换、情境转换和表现扩展三种方式,重新诠释了这些债务在智能体环境中的表现形式。该研究建立了首个从传统AITD到智能体化表现的系统映射,揭示了传统债务如何演变为系统级负债,包括记忆不一致、编排脆弱性、级联故障和不安全的自主决策等。研究发现,技术债务已超越软件工件本身,扩展到智能体行为、协调机制以及智能体、工具和执行环境之间的交互。文章进一步探讨了AgTD对AI信任、风险与安全管理(AI TRiSM)的影响,强调了对可信度、治理、安全性、运营韧性和可持续性技术债务的冲击。总体而言,这项工作确立了AgTD作为软件工程的基础性概念,并提供了转换框架、分类法和研究议程,以支持自主多智能体AI系统中的技术债务管理。

💡 推荐理由: 智能体AI系统在安全运维中日益普遍,其自主决策与协作特性会引入隐藏的技术债务,导致不可预测的故障和安全风险。本文首次系统化定义并映射了这类债务,为蓝队识别和治理智能体系统隐患提供了理论基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)