#agentic-ai

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Toqeer Ali Syed, Asadullah Abdullah Khan

该论文面向软件供应链安全,提出一个以区块链为信任锚、由 LLM 驱动的智能体(agentic AI)安全框架,目标是同时保护整个软件开发生命周期(SDLC)以及负责监控 SDLC 的那些 AI 智能体自身。核心问题有两层:第一,现代软件供应链的检查点分散在源码、依赖与 SBOM、CI 配置、构建产物、运行时策略等多个环节,单一工具难以给出连续的、可审计的安全保证;第二,当这些检查工作交由 LLM 智能体执行时,智能体本身的输出是否可信、是否被篡改、其决策能否被追责,缺乏工程化的信任机制。方法上,框架编排一组专职安全智能体,分别覆盖源码完整性、依赖与 SBOM 分析、CI 配置审计、产物验证以及运行时策略评估;每个智能体背后由大语言模型负责解释制品、对工具输出进行推理,并生成结构化安全报告,从而把异构工具的原始信号统一成可读、可比对的安全结论。为保证智能体可信,每个智能体在完成分析后会产出一份带密码学签名的证明(attestation),通过智能合约写入许可型区块链;链上包含三个关键模块:智能体注册表、不可篡改的证明日志以及可强制执行的发布策略模块。智能体之间、智能体与链节点之间的通信由联盟运营的证书颁发机构(CA)保护,实现双向认证与防篡改交互。论文还给出详细用例与序列流程,演示源码安全智能体如何完成分析、将证明上链、并触发一个可验证的允许/阻止部署决策,使发布门禁从单点信任转为可验证的分布式信任。主要贡献可概括为:提出一个可泛化的智能体化供应链安全架构;以签名证明加区块链日志解决智能体可追责与防篡改问题;通过策略合约把安全结论直接约束到部署动作;并论证该架构在去中心化完整性、透明溯源和持续安全保证方面的价值。适合软件供应链安全、DevSecOps 平台、CI/CD 治理以及 LLM 智能体可信度研究方向的研究者与架构师阅读。

💡 推荐理由: 它直面 LLM 智能体进入 CI/CD 与供应链安全流水线后的信任缺口:智能体给出‘放行/阻断’建议时,如何证明其未被篡改、可追责、可审计。区块链存证加签名证明的思路,对正在把 AI 智能体接入发布门禁的团队具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Youssef Hamdi Zafaan Ibrahim, Mohammed Khalaf Salama

ACTS(Artifacts in Cipher Testing Suite)是一个可复现的多层基准套件, 用于在受控盲测条件下评估大语言模型对密码算法/密文类型的识别能力。其研究动机是回答一个关键问题: LLM 在密码分析类任务上的高分, 究竟来自真正的密码学推理, 还是来自对上下文元数据(文件名、文件头、密钥、已知明文等)的依赖与模式记忆。为此作者设计了分层剥夺元数据的测试结构: Tier-1 提供完整元数据; Tier-2 仅保留文件名; Tier-3 完全盲测, 只给出密文本身; Tier-4 用于自主智能体评测; Tier-5 强制模型进行链式思考、以代码作为推理媒介并自我纠错。研究还在 7,000 个文件上进行了 10 种配置的消融实验, 并使用单一的 70/30 训练-测试划分做特征移除分析, 以提供规模化证据。实时 API 推理使用 v2b 语料, 填充方式做完全随机化(PKCS7、ISO 10126、ANSI X9.23 逐文件随机选取), 每个文件使用唯一 CSPRNG 密钥与唯一明文; 每个模型 127 个文件, 跨三个云系统共获得 381 条 Tier-1 与 380 条 Tier-3 记录, 并补充了 254 次 Tier-4 自主智能体评测。结果显示 Tier-3 综合准确率仅 30.8%, 而七分类随机基线为 14.3%, 提升有限; Tier-1 与 Tier-3 的元数据依赖差距高达 40.9 个百分点(71.7% 对 30.8%)。与基于人工设计字节级特征、在 7,000 文件上训练的经典随机森林(69.2%)相比, 实时评测差距为 38.4 个百分点; 作者强调该对比跨越不同输入表示与训练范式, 应视为整体能力差距而非干净的因子分解。论文总结六项发现: 元数据依赖依然巨大; 盲测条件下扩展(scaling)失效; 强制推理属附带现象, 未带来实质增益; 实测能力差距超过此前的启发式估计; 可用信号主要是结构性的而非统计性的; 启发式方法的不变性与机器学习的脆弱性暴露了两类不同失败模式。

💡 推荐理由: 它直接质疑“LLM 具备密码分析能力”这一常见宣称: 去掉元数据后准确率大幅跌落且规模化失效, 说明高分多来自上下文线索而非推理。评估 LLM 用于安全分析(加密流量/文件识别)的团队应据此重新校准预期与测试方法。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Xianlong Li, Pietro Bongini, Niccoló Pancino, Marco Blanchini, Benedetta Tondi, Mauro Barni

该论文研究开放世界(open-world)条件下的图像取证问题:篡改类型涵盖完全合成图像、局部编辑、拼接与换脸/替换等,而现有取证检测器大多只针对单一篡改族,难以覆盖真实场景。作者提出并系统剖析了一个免训练(training-free)的智能体(agentic)框架:以多个专业检测器作为工具,引入逐检测器分诊(triage)、提示工程(prompting)与冲突感知的证据仲裁(conflict-aware evidence arbitration),并由多模态大模型担任最终裁决者。为厘清究竟是哪些组件在真正驱动性能、以及这些收益能否在分布漂移下保持,作者在六种框架配置与三个多模态大模型骨干上,分别于分布内与分布外数据上进行了消融式评估,重点考察分诊、提示与推理质量三者的作用。主要发现包括:(1)朴素地直接融合多个检测器输出会在真实(未篡改)图像上产生严重误报;(2)分诊与提示能持续提升表现,机制在于过滤不可靠证据并暴露各检测器的适用范围局限;(3)真正的主导因素是推理本身——更强的裁决模型显著优于较弱的裁决模型,且在分布漂移条件下差距进一步放大;(4)最值得注意的是,篡改召回率在几乎所有配置下都接近饱和。作者由此得出结论:开放世界图像取证的核心挑战已不再是从图像中发现篡改痕迹,而是如何校准对专业取证工具的信任、并在相互冲突的证据之间做出可靠仲裁。

💡 推荐理由: 对使用多检测器/多模型做内容真伪判定的团队而言,本文给出明确结论:朴素融合会显著推高真实图像误报,真正的收益来自分诊、提示与裁决模型自身的推理能力,而非检测器数量。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Muhammad Tukur, Hayatullahi B. Adeyemo, Tao Chen, Nour Ali, Anis Zarrad, Marco Agus, Rick Kazman, Rami Bahsoon

本文针对智能体AI(Agentic AI)系统的技术债务问题,首次系统性地提出了“智能体技术债务”(Agentic Technical Debt, AgTD)这一概念。传统AI技术债务(AITD)的研究主要基于静态的、组件级的软件架构,无法捕捉智能体AI系统所特有的自主推理、多智能体协作、工具编排、自适应决策和持久记忆等动态行为所引发的债务。作者基于先前对31种AITD的系统范围综述,采用理论驱动的转换方法论,通过直接转换、情境转换和表现扩展三种方式,重新诠释了这些债务在智能体环境中的表现形式。该研究建立了首个从传统AITD到智能体化表现的系统映射,揭示了传统债务如何演变为系统级负债,包括记忆不一致、编排脆弱性、级联故障和不安全的自主决策等。研究发现,技术债务已超越软件工件本身,扩展到智能体行为、协调机制以及智能体、工具和执行环境之间的交互。文章进一步探讨了AgTD对AI信任、风险与安全管理(AI TRiSM)的影响,强调了对可信度、治理、安全性、运营韧性和可持续性技术债务的冲击。总体而言,这项工作确立了AgTD作为软件工程的基础性概念,并提供了转换框架、分类法和研究议程,以支持自主多智能体AI系统中的技术债务管理。

💡 推荐理由: 智能体AI系统在安全运维中日益普遍,其自主决策与协作特性会引入隐藏的技术债务,导致不可预测的故障和安全风险。本文首次系统化定义并映射了这类债务,为蓝队识别和治理智能体系统隐患提供了理论基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Quanyan Zhu

该论文提出了一个面向代理式AI(Agentic AI)部署的AI原生保险数学框架,用于承保、定价和合同设计。代理式AI系统因其自主决策、工具调用、环境修改及第三方交互能力,引入了传统保险无法覆盖的新型风险。作者将AI部署表示为包含自主性级别、操作权限、权限暴露、治理成熟度及依赖集中度等维度的风险状态。框架将风险状态映射到事件概率、损失严重性、治理成本、保费、免赔额、覆盖分配及保单约定,并构建了一个在参与约束、盈利约束和激励相容约束下的保险合同优化问题。论文建立了可保性的结构性特征,包括可保性区域的刻画、暴露增加时可行性的单调恶化以及治理认证阈值。保险被解释为AI部署的运营成本与监管机制。通过一个医疗案例研究,展示了合同优化、敏感性分析及代理式AI系统的自动化理赔处理。适合保险精算师、AI治理专家及安全风险管理从业者阅读。

💡 推荐理由: 随着代理式AI在关键业务场景的部署加速,传统保险模型无法评估其自主决策带来的复杂风险组合。本框架为安全团队提供了一种量化AI风险、设计保单及建立治理门槛的数学基础,有助于将AI安全实践与保险机制衔接。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Eduardo Almeida Palmieri, Mohamed Chahine Ghanem, Dipo Dunsin, Zubair Baig, Ed de Quincey, Kim-Kwang Raymond Choo

该论文是一篇关于将代理式人工智能(Agentic AI)和生成式人工智能(Generative AI)应用于开源情报(OSINT)和网络调查的综合性综述。随着公开数字信息的爆炸式增长,传统的人工OSINT分析已无法满足现代情报和网络安全的需求。大型语言模型(LLM)和具备工具使用、多步推理及迭代情报生成能力的代理式AI系统成为有前景的解决方案,但现有的评估框架未能跟上其能力的发展。论文系统性地回顾了74项研究,做出了四项主要贡献:第一,将代理式AI确立为独立于LLM提示扩展的分析类别,并通过包含11个类别的分类法组织文献,涵盖LLM基础、代理架构、检索增强生成(RAG)、知识图谱、提示工程、领域适应、评估基准和风险等。第二,识别出“幻觉-验证差距”作为语料层面的发现:尽管超过20项研究将幻觉视为主要可靠性问题,但仅有一项OSINT专用RAG系统在不可复现条件下进行了端到端幻觉的实证测量,而相关的推理和事实校正研究评估的是通用领域问答而非OSINT。第三,将现有研究映射到OSINT生命周期,发现对收集和分析阶段的支持较强,但对验证、报告、分发和决策支持阶段的覆盖有限。第四,推导出包含十个要点研究议程,涉及评估、基准测试、幻觉测量、对抗鲁棒性、暗网覆盖、多模态智能和治理。论文得出结论:人机共驾模式(LLM辅助收集和分类,分析师负责验证和决策)是最可行的近期部署架构。适合安全分析师、OSINT从业者及AI安全研究者阅读。

💡 推荐理由: 本文系统梳理了LLM和代理AI在OSINT中的应用现状与评估缺口,帮助安全团队理解技术成熟度、识别可靠性风险(尤其是幻觉),并为设计人机协同的情报分析流程提供依据。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Gabriela F. Ciocarlie, Kathrin Grosse, Somesh Jha, Daryna Oliynyk, Andrew Paverd, Christian Wressnegger

该论文探讨了代理人工智能(Agentic AI)如何解决网络安全中长期存在的挑战。当前安全防御面临成本高昂、人工密集型任务成为瓶颈等问题,许多防御措施因效率低下而难以实施。代理AI通过直接接收和推理自然语言或代码的能力,有望自动化这些任务,从而扩大可行防御的范围。论文首先系统性地将开放的安全问题映射到新兴的代理AI能力上,随后通过16个案例研究(涵盖供应链分析、漏洞管理、事件响应等场景)具体展示了代理AI如何协助防御者。每个案例分析了传统方法的局限性、代理AI的潜在优势以及实现路径。研究贡献包括:提出了一个将安全挑战与AI能力对齐的框架;通过案例研究验证了代理AI的实用价值;指出了当前代理AI在可靠性、可解释性和安全性方面的局限性。适合安全研究人员、AI开发者和安全运营团队阅读,以了解AI agent在防御中的前沿应用。

💡 推荐理由: 该研究为安全团队提供了一种新思路:利用代理AI自动化人工密集型安全任务,可显著提升防御效率和覆盖面,尤其适用于供应链分析等复杂场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)