#agentic-ai

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Muhammad Tukur, Hayatullahi B. Adeyemo, Tao Chen, Nour Ali, Anis Zarrad, Marco Agus, Rick Kazman, Rami Bahsoon

本文针对智能体AI(Agentic AI)系统的技术债务问题,首次系统性地提出了“智能体技术债务”(Agentic Technical Debt, AgTD)这一概念。传统AI技术债务(AITD)的研究主要基于静态的、组件级的软件架构,无法捕捉智能体AI系统所特有的自主推理、多智能体协作、工具编排、自适应决策和持久记忆等动态行为所引发的债务。作者基于先前对31种AITD的系统范围综述,采用理论驱动的转换方法论,通过直接转换、情境转换和表现扩展三种方式,重新诠释了这些债务在智能体环境中的表现形式。该研究建立了首个从传统AITD到智能体化表现的系统映射,揭示了传统债务如何演变为系统级负债,包括记忆不一致、编排脆弱性、级联故障和不安全的自主决策等。研究发现,技术债务已超越软件工件本身,扩展到智能体行为、协调机制以及智能体、工具和执行环境之间的交互。文章进一步探讨了AgTD对AI信任、风险与安全管理(AI TRiSM)的影响,强调了对可信度、治理、安全性、运营韧性和可持续性技术债务的冲击。总体而言,这项工作确立了AgTD作为软件工程的基础性概念,并提供了转换框架、分类法和研究议程,以支持自主多智能体AI系统中的技术债务管理。

💡 推荐理由: 智能体AI系统在安全运维中日益普遍,其自主决策与协作特性会引入隐藏的技术债务,导致不可预测的故障和安全风险。本文首次系统化定义并映射了这类债务,为蓝队识别和治理智能体系统隐患提供了理论基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Quanyan Zhu

该论文提出了一个面向代理式AI(Agentic AI)部署的AI原生保险数学框架,用于承保、定价和合同设计。代理式AI系统因其自主决策、工具调用、环境修改及第三方交互能力,引入了传统保险无法覆盖的新型风险。作者将AI部署表示为包含自主性级别、操作权限、权限暴露、治理成熟度及依赖集中度等维度的风险状态。框架将风险状态映射到事件概率、损失严重性、治理成本、保费、免赔额、覆盖分配及保单约定,并构建了一个在参与约束、盈利约束和激励相容约束下的保险合同优化问题。论文建立了可保性的结构性特征,包括可保性区域的刻画、暴露增加时可行性的单调恶化以及治理认证阈值。保险被解释为AI部署的运营成本与监管机制。通过一个医疗案例研究,展示了合同优化、敏感性分析及代理式AI系统的自动化理赔处理。适合保险精算师、AI治理专家及安全风险管理从业者阅读。

💡 推荐理由: 随着代理式AI在关键业务场景的部署加速,传统保险模型无法评估其自主决策带来的复杂风险组合。本框架为安全团队提供了一种量化AI风险、设计保单及建立治理门槛的数学基础,有助于将AI安全实践与保险机制衔接。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Eduardo Almeida Palmieri, Mohamed Chahine Ghanem, Dipo Dunsin, Zubair Baig, Ed de Quincey, Kim-Kwang Raymond Choo

该论文是一篇关于将代理式人工智能(Agentic AI)和生成式人工智能(Generative AI)应用于开源情报(OSINT)和网络调查的综合性综述。随着公开数字信息的爆炸式增长,传统的人工OSINT分析已无法满足现代情报和网络安全的需求。大型语言模型(LLM)和具备工具使用、多步推理及迭代情报生成能力的代理式AI系统成为有前景的解决方案,但现有的评估框架未能跟上其能力的发展。论文系统性地回顾了74项研究,做出了四项主要贡献:第一,将代理式AI确立为独立于LLM提示扩展的分析类别,并通过包含11个类别的分类法组织文献,涵盖LLM基础、代理架构、检索增强生成(RAG)、知识图谱、提示工程、领域适应、评估基准和风险等。第二,识别出“幻觉-验证差距”作为语料层面的发现:尽管超过20项研究将幻觉视为主要可靠性问题,但仅有一项OSINT专用RAG系统在不可复现条件下进行了端到端幻觉的实证测量,而相关的推理和事实校正研究评估的是通用领域问答而非OSINT。第三,将现有研究映射到OSINT生命周期,发现对收集和分析阶段的支持较强,但对验证、报告、分发和决策支持阶段的覆盖有限。第四,推导出包含十个要点研究议程,涉及评估、基准测试、幻觉测量、对抗鲁棒性、暗网覆盖、多模态智能和治理。论文得出结论:人机共驾模式(LLM辅助收集和分类,分析师负责验证和决策)是最可行的近期部署架构。适合安全分析师、OSINT从业者及AI安全研究者阅读。

💡 推荐理由: 本文系统梳理了LLM和代理AI在OSINT中的应用现状与评估缺口,帮助安全团队理解技术成熟度、识别可靠性风险(尤其是幻觉),并为设计人机协同的情报分析流程提供依据。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Gabriela F. Ciocarlie, Kathrin Grosse, Somesh Jha, Daryna Oliynyk, Andrew Paverd, Christian Wressnegger

该论文探讨了代理人工智能(Agentic AI)如何解决网络安全中长期存在的挑战。当前安全防御面临成本高昂、人工密集型任务成为瓶颈等问题,许多防御措施因效率低下而难以实施。代理AI通过直接接收和推理自然语言或代码的能力,有望自动化这些任务,从而扩大可行防御的范围。论文首先系统性地将开放的安全问题映射到新兴的代理AI能力上,随后通过16个案例研究(涵盖供应链分析、漏洞管理、事件响应等场景)具体展示了代理AI如何协助防御者。每个案例分析了传统方法的局限性、代理AI的潜在优势以及实现路径。研究贡献包括:提出了一个将安全挑战与AI能力对齐的框架;通过案例研究验证了代理AI的实用价值;指出了当前代理AI在可靠性、可解释性和安全性方面的局限性。适合安全研究人员、AI开发者和安全运营团队阅读,以了解AI agent在防御中的前沿应用。

💡 推荐理由: 该研究为安全团队提供了一种新思路:利用代理AI自动化人工密集型安全任务,可显著提升防御效率和覆盖面,尤其适用于供应链分析等复杂场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)