#runtime-governance

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Krti Tallam

该论文针对生产环境中AI代理的运行时治理问题,提出了一种五平面参考架构。传统企业安全基于数据边界防护,但AI代理通过读取上下文、调用工具、连接器和修改系统记录,将风险内化于工作流内部的行动序列中,这些序列可能组合出未授权的业务流程变更。现有策略引擎仅支持基于原子主体的请求时决策,而代理系统需要状态化评估复合主体(其权限通过委托链衰减)。论文提出的架构由四个可组合原语构成:五平面分解(意图裁决推理平面,以及网络、身份、端点、数据四个执行平面)、任意点中介、带有能力衰减的复合主体、以及作为结构化证据基础的审计。作者定义了一组六种中断原语以泛化允许/拒绝,陈述并论证了四个正确性不变量,并展示了在五个具体工作流中消除七种生产代理威胁的方法。政策引擎核心的参考实现提供了测量证据:衰减正确性和证据可重构性在每次试验中成立,裁决运行在个位数微秒级别,审计底层的防篡改行为完全符合设计。论文明确限定范围:该架构治理的是委托动作而非模型行为,下一步计划是对真实代理基准进行全面评估。适合安全架构师、AI代理开发者及策略引擎设计者阅读。

💡 推荐理由: 该架构系统解决了AI代理在生产环境中的运行时治理空白,为企业在不阻止创新的前提下管控代理行为提供了可落地的参考,对安全团队构建代理安全体系具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zexun Wang

该论文针对异构智能体系统在运行时治理中面临的挑战,提出了一种与运行时无关的治理模型——Proof-Carrying Agent Actions (PCAA)。当前,不同智能体系统(如本地编码工具、框架SDK、托管平台、API网关等)拥有各自的控制点,导致相同的高风险动作(如外部发布数据)在不同运行时中表现形式各异(如shell命令、工具调用、会话切换等),使得统一回答“什么动作被授权、谁授权、审批语义是什么、执行后的证据是什么”等基本治理问题变得困难。PCAA以动作证书(action certificate)为核心,替代供应商原生的会话记录,实现运行时中立的治理。模型围绕五个检查点组织控制:动作前的可接受性、动作开启、假设捕获、批准和结果关闭。它将这些检查点绑定到可移植的动作信封(portable action envelope)、运行时和批准收据,以及可重放的证明。论文还从两个实用方向扩展了模型:证书具有外部性感知能力,携带目的地可见性、账户来源等边界事实;批准由明确的可执行性类别描述,而非单一的“已审查/未审查”位。作者在一个异构智能体控制平面中实现了参考原型,并采用披露受限的评估协议进行实验。保护基准从24个可执行种子扩展到96个追踪,涵盖四个运行时家族。结果表明,PCAA在保持路径质量的同时,能够暴露消融实验下的不同故障模式。论文的主要贡献包括:提出了围绕证书承载动作的运行时治理的系统形式化,以及基于实现的经验描述,展示了该形式化如何在运行时变动下保持可移植性而不退化为供应商特定控制面。该研究适合智能体系统安全、运行时治理和可审计性领域的研究者与实践者阅读。

💡 推荐理由: 随着LLM驱动的智能体系统日益复杂,异构运行时带来治理碎片化问题。PCAA提供了一种统一的、可移植的治理框架,有望增强跨平台动作的可审计性和安全性,对构建可信智能体架构具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)