#runtime-governance

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Rui Tang, Qiangqiang Liu, Yichi Zhang, Youwei Wang, Xi Chen, Chen Dong

本文提出 SAGE-Fin,一个面向金融场景智能体(agent)的运行时治理框架,核心论点是“上下文不等于授权”。作者指出,金融智能体在对话或任务执行中可能将正确的上下文错误地转化为未经授权的实际动作,例如做出客户承诺、执行交易或部署策略。为此,SAGE-Fin 设计了一种金融专用的权威交接(authority-handoff)契约,将控制对象从文本本身转移到“提议的效果”(proposed effect)。具体而言,SAGE-Fin 将智能体输出编译为类型化的、与适配器绑定的候选动作;记录缺失或过时的机构义务作为“覆盖债务”(coverage debt);根据当前市场状态、账户状态、策略和对话状态对权威进行约束;并要求返回一个精确工件(artifact)收据,其名义类型必须与消费响应、执行或策略适配器匹配。系统强调:证据和工作流进度不能取代效果权威,且在任何状态变更后必须重新检查先前授权。实验部分,作者构建了包含 616 个案例的目录,五个确定性规范生成 3,080 个输出;通过标签隔离的测试工具实现 616/616 的二进制参考原型一致性(其中包括 3/3 的命名响应门固定装置),并有 22 个测试覆盖选定路径。作者明确表示这些结果证明的是可执行的一致性,而非独立的安全准确率。此外,SAGE-Fin 的响应门在一个保密数字资产平台处理了真实生产请求,独立于实现团队的操作团队给出了强正向的部署后评价,最终用户反馈也积极。由于保密限制,披露仅包含审查独立性、利益相关者类别、评估维度和方向性结论,因此属于定性现场佐证而非聚合效应估计。作者还分析了三个不同的去标识化先前失败案例,独立确认 0/3 拦截率,用以说明重复发射漂移、过时账户证据和缺失升级状态等问题的存在,但未估计流行率或处理效应。本文适合金融领域大模型安全、智能体治理、AI 合规与运行时控制方向的研究人员和工程团队阅读。

💡 推荐理由: 金融智能体一旦将上下文误用为授权,可能导致合规事故或资金损失。SAGE-Fin 提供了一种结构化运行时治理思路,将“效果”作为控制对象,对 Agent 安全落地具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Krti Tallam

该论文针对生产环境中AI代理的运行时治理问题,提出了一种五平面参考架构。传统企业安全基于数据边界防护,但AI代理通过读取上下文、调用工具、连接器和修改系统记录,将风险内化于工作流内部的行动序列中,这些序列可能组合出未授权的业务流程变更。现有策略引擎仅支持基于原子主体的请求时决策,而代理系统需要状态化评估复合主体(其权限通过委托链衰减)。论文提出的架构由四个可组合原语构成:五平面分解(意图裁决推理平面,以及网络、身份、端点、数据四个执行平面)、任意点中介、带有能力衰减的复合主体、以及作为结构化证据基础的审计。作者定义了一组六种中断原语以泛化允许/拒绝,陈述并论证了四个正确性不变量,并展示了在五个具体工作流中消除七种生产代理威胁的方法。政策引擎核心的参考实现提供了测量证据:衰减正确性和证据可重构性在每次试验中成立,裁决运行在个位数微秒级别,审计底层的防篡改行为完全符合设计。论文明确限定范围:该架构治理的是委托动作而非模型行为,下一步计划是对真实代理基准进行全面评估。适合安全架构师、AI代理开发者及策略引擎设计者阅读。

💡 推荐理由: 该架构系统解决了AI代理在生产环境中的运行时治理空白,为企业在不阻止创新的前提下管控代理行为提供了可落地的参考,对安全团队构建代理安全体系具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zexun Wang

该论文针对异构智能体系统在运行时治理中面临的挑战,提出了一种与运行时无关的治理模型——Proof-Carrying Agent Actions (PCAA)。当前,不同智能体系统(如本地编码工具、框架SDK、托管平台、API网关等)拥有各自的控制点,导致相同的高风险动作(如外部发布数据)在不同运行时中表现形式各异(如shell命令、工具调用、会话切换等),使得统一回答“什么动作被授权、谁授权、审批语义是什么、执行后的证据是什么”等基本治理问题变得困难。PCAA以动作证书(action certificate)为核心,替代供应商原生的会话记录,实现运行时中立的治理。模型围绕五个检查点组织控制:动作前的可接受性、动作开启、假设捕获、批准和结果关闭。它将这些检查点绑定到可移植的动作信封(portable action envelope)、运行时和批准收据,以及可重放的证明。论文还从两个实用方向扩展了模型:证书具有外部性感知能力,携带目的地可见性、账户来源等边界事实;批准由明确的可执行性类别描述,而非单一的“已审查/未审查”位。作者在一个异构智能体控制平面中实现了参考原型,并采用披露受限的评估协议进行实验。保护基准从24个可执行种子扩展到96个追踪,涵盖四个运行时家族。结果表明,PCAA在保持路径质量的同时,能够暴露消融实验下的不同故障模式。论文的主要贡献包括:提出了围绕证书承载动作的运行时治理的系统形式化,以及基于实现的经验描述,展示了该形式化如何在运行时变动下保持可移植性而不退化为供应商特定控制面。该研究适合智能体系统安全、运行时治理和可审计性领域的研究者与实践者阅读。

💡 推荐理由: 随着LLM驱动的智能体系统日益复杂,异构运行时带来治理碎片化问题。PCAA提供了一种统一的、可移植的治理框架,有望增强跨平台动作的可审计性和安全性,对构建可信智能体架构具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)