#world-model

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Wenhao Lin, Chenyu Yu, Xingwei Lin, Sicong Cao, Xiang Chen, Lei Xue, Le Yu, Letian Sha, Chunming Wu

随着大型语言模型(LLM)智能体越来越多地调用外部工具并与真实世界系统交互,不安全的行为可能对外部状态、用户数据和下游服务造成不可逆的后果。现有的运行时防护栏(runtime guardrails)通过在动作执行之前进行检查来缓解此类风险,但其中许多方法仍然是反应式的:它们主要评估当前动作的表观安全性,缺乏对风险如何在轨迹中演变的显式建模。这一局限导致长期风险(long-horizon risks)出现盲区——单个看似良性的动作可能逐渐将智能体引向危险状态。为此,论文提出 DreamGuard,一种面向 LLM 智能体的主动式防护栏,其核心是风险感知的世界模型(risk-aware world model)。该世界模型在轨迹上维护一个紧凑的循环潜在状态,并预测未来的潜在状态,从中提取即时危险(immediate-hazard)和前序风险(prefix-risk)证据,进而在动作执行前融合多时间尺度的信号做出干预决策。实验在四个基准和一个在线防护栏评估中进行,结果显示 DreamGuard 优于通用、反应式和主动式防护栏基线,在安全性-效用权衡上取得最佳平衡,并且每次调用的端到端平均延迟仅为 25 毫秒,具备实际部署的可行性。该研究适合 LLM 安全、AI 智能体防护、运行时监控和系统安全方向的研究人员及工程师阅读。

💡 推荐理由: LLM 智能体长期风险难以通过单步检测发现,DreamGuard 提出可预测轨迹风险的世界模型,为安全防护栏设计提供了新思路,值得关注。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Erik Imgrund, Anna Wimbauer, Klim Kireev, Konrad Rieck

该论文聚焦于智能体系统中世界模型(world model)的安全性问题。世界模型是一种专门训练的环境模拟器,旨在帮助基于大语言模型的自主智能体预测其动作的后果,从而提升多步任务执行的准确性。然而,作者发现世界模型可能被攻击者操纵,导致智能体执行有害动作,引入严重的安全与隐私风险。论文系统性地揭示了多种世界模型特有的漏洞,这些漏洞可在终端型智能体中被利用,实现恶意代码执行或敏感数据提取。为支持后续研究,作者构建了一个专门面向文本型世界模型的安全基准测试数据集。实验表明,攻击者能够在智能体管道中诱导世界模型产生错误预测,攻击成功率高达95%,可能造成未授权命令执行、拒绝服务、钱包资金耗尽以及私密信息泄露等后果。最后,论文为从业者提供了实用的缓解建议,以加固智能体系统。

💡 推荐理由: 该研究首次系统性地揭露了世界模型在智能体系统中的安全风险,表明即使世界模型能提升任务性能,也可能被用作攻击向量。对于依赖LLM agent的开发者与安全团队而言,这是一个必须警惕的新攻击面。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Yibin Hu, Xiaolin Sun, Zizhan Zheng

本文针对基于模型的学习代理(model-based learning agents)中世界模型(world model)的微调阶段面临的数据投毒攻击问题,提出了SWAAP(Stealthy World Model Manipulation via Data Poisoning),这是首个两阶段数据投毒框架。在第一阶段,SWAAP通过一阶双层优化(first-order bilevel optimization)并利用过渡梯度定理(transition-gradient theorem)识别出一个有害的目标世界模型,该模型在保持与干净模型动态相近的同时,诱导规划(planning)产生低回报行为。在第二阶段,SWAAP通过隐身约束梯度匹配(stealth-constrained gradient matching)实现该目标,仅修改有限比例的微调转变目标(transition targets),使得诱导训练梯度将受害者模型推向对抗目标,同时预测误差正则化器(prediction-error regularizer)鼓励投毒目标保持在世界模型自然近似误差的范围内。为了评估攻击的隐蔽性,作者在投毒管线的三个阶段评估了防御和可检测性:训练前检测投毒转变、微调期间的鲁棒训练、以及测试时监控产生的世界模型。在多种连续控制任务中,SWAAP导致显著的性能退化,同时保持投毒转变与干净数据接近,并逃过了所评估的非自适应残差/CUSUM/TRIM风格的防御。这些结果揭示了世界模型适应管道中的一个实际漏洞,并强调了需要保护世界模型训练数据和学到的动态的鲁棒方法。适合安全研究人员、AI系统防御者以及强化学习从业者阅读。

💡 推荐理由: 该研究揭示了基于模型强化学习中世界模型微调管道的训练时攻击面,攻击者可通过少量数据投毒操纵模型导致低回报行为,且现有防御难以检测,对部署安全关键型自主代理构成威胁。

🎯 建议动作: 研究跟进,评估内部基于模型强化学习系统的数据投毒风险,探索鲁棒微调与异常检测方法。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)