#runtime-guardrail

共收录 3 条相关安全情报。

← 返回所有主题
推荐 3.6
Conf: 50%
👥 作者: Corinn Tiffany, Wen Zhang, Eugene Bagdasarian, Lillian Tsai

该论文针对自主 AI 智能体(AI Agent)在工具调用场景下的安全问题,提出了一种名为 Sapien 的「有状态策略引擎」。研究背景是:当前主流的上下文安全防御思路,是先让模型根据当前任务即时合成一份任务专属策略,再用这份策略去约束智能体的工具调用,从而阻止其执行越权或异常动作。论文指出的核心缺陷在于,这类做法本质上是「无状态」的——在真实的多步任务中,某一次工具调用是否合法,往往取决于智能体此前已经执行过哪些操作、以及它已经获得了哪些信息。例如某个查询或写入动作单独看没有问题,但若出现在未经过前置校验步骤的位置上,就构成风险。忽略历史状态会让策略要么过度宽松(放行危险序列),要么过度收紧(阻断正常的多样化任务流程)。Sapien 的设计是把策略建模为一个带状态的序列约束系统:策略以正则表达式为核心表达工具调用序列,并在其上扩展了三类机制——(1) 有状态谓词(stateful predicates),使某条调用规则是否成立取决于之前调用累积的状态;(2) 延迟策略生成(deferred policy generation),允许在任务推进过程中再确定后续允许的动作,而不是在任务开始时就一次性固化;(3) 作用域化的语义检查(scoped semantic checks),只在必要范围内对参数内容做语义层面的校验,以兼顾安全与效率。实验层面上,论文报告 Sapien 的安全约束对正常任务效用的影响很小,与完全不设约束的智能体相比效用仅下降几个百分点;而在智能体被完全劫持(即攻击者完全控制模型输出)的最坏假设下,Sapien 的策略仍能排除 AgentDojo 基准上 93%–95% 的攻击,在 Toolathlon 上排除 62%–85% 的攻击;在长周期任务上,其拦截效果约为单纯工具白名单(tool allowlist)方法的两倍。论文的贡献可概括为:形式化了「有状态上下文策略」这一问题,给出可执行的策略引擎实现,并在两个智能体安全基准上量化了安全性与可用性的权衡。适合从事 LLM Agent 安全、Agent 运行时防护、权限与工具调用治理方向的研究者与工程团队阅读。

💡 推荐理由: Agent 的越权动作是当前 LLM 应用最主要的落地风险之一,而主流防御仍停留在无状态白名单层面。该工作把有状态序列约束引入执行时策略,并给出在完全失陷假设下仍可拦截多数攻击的量化结果,对构建 Agent 运行时防护与最小权限执行框架有直接参考价值。

🎯 建议动作: 研究跟进,纳入内部 Agent 运行时防护方案评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 5.6
Conf: 50%
👥 作者: Jihun Han, Yejin Jang, Byung Il Kwak, Mee Lan Han

本文关注 LLM 智能体在引入第三方 skill 后的安全风险。当前智能体普遍通过第三方 skill 扩展能力,这些 skill 会提供任务指令、脚本和工具使用流程。问题在于:即使 skill 本身看起来无害,只要其中被插入了恶意指令,一个完全良性的用户请求也可能被诱导触发危险的 Tool Call,例如数据外泄、删除文件或未授权代码执行。现有防护方案(如 Dynamic Guardian、SkillGuard)在这一场景下防护不足,因为它们需要接触或依赖可能已被污染的 skill 文本,攻击者可以把恶意指令藏在对防护器可见的上下文中。 论文提出 ActionGuard,一种在 Tool Call 真正执行之前进行拦截与授权的机制。其核心设计是把目标智能体的动作生成上下文与防护器的授权上下文相互解耦:目标智能体仍然可以使用原始 skill 进行规划,但负责裁决的 Reviewer 不会收到可能被污染的原始 skill 文本。Reviewer 改为依据三类受信证据做判断——平衡化的 skill profile(balanced skill profile)、当前与最近的 Tool Call 记录、以及本地脚本内容,从而判定每一个动作是否能被可信的用户请求所正当化。ActionGuard 在 OpenClaw 的 before-tool-call 阶段拦截每一次 Tool Call,并在 fail-closed(默认拒绝)策略下强制执行 Reviewer 的 ALLOW 或 DENY 裁决。 评估方面,作者在 SKILL-INJECT 设定下构建了 139 个上下文型注入样本和 180 个显式注入样本,与 Dynamic Guardian、SkillGuard 进行对比,使用三个开源模型和两个商用模型作为 Reviewer,每个实验条件重复三次,采用攻击成功率(ASR)和任务成功率(TSR)作为指标。结果表明:ActionGuard 相对现有防护方案将 ASR 降低 35.54% 至 46.11%,相对无防护基线降低 70.44%,同时保持了较高的良性任务完成率。 论文的主要贡献在于:提出并验证了"执行边界授权"(execution-boundary authorization)这一思路,即把授权判断建立在可信用户意图与运行时证据之上,而非建立在可能被污染的 skill 文本之上;并给出了在真实 agent 运行时(OpenClaw)中可落地的拦截点与失败关闭策略。该工作适合智能体框架开发者、LLM 应用安全研究者以及负责 AI 工具链安全的防御团队阅读。

💡 推荐理由: 第三方 skill 已成智能体供应链的主要信任入口,而 skill 文本本身又是攻击面。ActionGuard 的关键思路是让授权决策绕开被污染的 skill 文本、只依赖可信用户意图与运行时证据,并默认拒绝,这对设计 agent 工具调用网关和运行时策略引擎具有直接参考价值。

🎯 建议动作: 研究跟进,并评估将执行边界授权与 fail-closed 审查模式纳入内部智能体工具调用网关设计

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Wenhao Lin, Chenyu Yu, Xingwei Lin, Sicong Cao, Xiang Chen, Lei Xue, Le Yu, Letian Sha, Chunming Wu

随着大型语言模型(LLM)智能体越来越多地调用外部工具并与真实世界系统交互,不安全的行为可能对外部状态、用户数据和下游服务造成不可逆的后果。现有的运行时防护栏(runtime guardrails)通过在动作执行之前进行检查来缓解此类风险,但其中许多方法仍然是反应式的:它们主要评估当前动作的表观安全性,缺乏对风险如何在轨迹中演变的显式建模。这一局限导致长期风险(long-horizon risks)出现盲区——单个看似良性的动作可能逐渐将智能体引向危险状态。为此,论文提出 DreamGuard,一种面向 LLM 智能体的主动式防护栏,其核心是风险感知的世界模型(risk-aware world model)。该世界模型在轨迹上维护一个紧凑的循环潜在状态,并预测未来的潜在状态,从中提取即时危险(immediate-hazard)和前序风险(prefix-risk)证据,进而在动作执行前融合多时间尺度的信号做出干预决策。实验在四个基准和一个在线防护栏评估中进行,结果显示 DreamGuard 优于通用、反应式和主动式防护栏基线,在安全性-效用权衡上取得最佳平衡,并且每次调用的端到端平均延迟仅为 25 毫秒,具备实际部署的可行性。该研究适合 LLM 安全、AI 智能体防护、运行时监控和系统安全方向的研究人员及工程师阅读。

💡 推荐理由: LLM 智能体长期风险难以通过单步检测发现,DreamGuard 提出可预测轨迹风险的世界模型,为安全防护栏设计提供了新思路,值得关注。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)