#world-model

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Sheng Liu, Panos Papadimitratos

该论文聚焦联邦学习(FL)与世界模型(WM)结合用于自动驾驶(AD)这一新兴交叉场景。联邦世界模型自动驾驶(federated WM-AD)允许各车辆在不上传原始私有驾驶数据的前提下协同训练世界模型,从而获得更强的环境预测与规划能力;但论文指出,这一范式把「模型聚合」环节变成了一个安全性关键的完整性边界——聚合结果直接决定下游规划器(planner)的行为。作者提出了一类此前未被刻画的新威胁,称为「想象投毒」(imagination poisoning):被攻陷的车辆提交的 WM 更新在数值上保持有界(看似正常),在短时域(short-horizon)预测上仍与良性行为几乎一致,却系统性地污染长时域 rollout(即模型对未来的「想象」),例如以触发器条件触发的方式,在训练完成后误导下游规划器做出危险决策。由于短时域指标正常,这类攻击可绕过常规的基于参数空间或验证损失的异常检测。为应对该威胁,作者提出 FedWM-Guard,据其所知是首个针对联邦 WM-AD 中「面向规划器的 rollout」进行刻画的防御方案。其核心思想是:不只看更新「长什么样」(参数空间),而是评估一个更新让模型「想象出什么」(行为空间)。具体机制包括四个环节:(1) 在隐藏金丝雀(hidden-canary)场景中筛查经过认证的更新,观察其在特定情境下的行为差异;(2) 将模型预测的未来与实际后续观测进行对比审计,检验长时域预测的一致性;(3) 当检测到持续性的不一致时,调用一个与世界模型无关(WM-independent)的安全盾(safety shield)进行兜底,避免规划器被污染的世界模型直接驱动;(4) 整体形成对面向规划器 rollout 的评估与拦截闭环。论文同时给出了后续评估计划,包括在非独立同分布(non-IID)数据、自适应攻击以及良性分布漂移条件下检验 FedWM-Guard 的有效性与误报代价。需要注意的是,该文以 Poster 形式呈现,属于问题定义与方案设计阶段的早期工作,实验评估尚在计划之中,因此其结论的证据强度有待完整版论文确认。总体而言,论文的价值在于首次系统性地指出联邦世界模型自动驾驶的安全边界,并提出行为级(而非参数级)的防御视角。

💡 推荐理由: 自动驾驶的世界模型一旦被投毒,短时域指标可能完全正常,长时域规划却会输出危险动作,现有参数空间检测难以发现;联邦聚合正是攻击面所在。该工作提示安全团队把检测点前移到「模型想象出的未来」这一行为层面,对车上与云侧模型供应链安全均有参考意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

论文揭示:把预训练的潜在世界模型(把观测编码为潜在状态、并预测其在动作下如何演化的学习型模拟器)当作下游控制任务的“现成动力学骨干”来复用,会引入一条供应链后门。攻击者只需控制发布的模型检查点,就能劫持下游控制器——而受害者完全在干净数据上训练与评估,从未见过触发器。该攻击不编码任何显式的“触发器→动作”规则,而是让被投毒的模型把携带触发器的观测路由到指定的潜在区域,并重塑该处的局部动力学,使受害者自身的优化过程(Dreamer 式的在想象中训练 actor,或在预测未来上做 MPC/CEM 规划)自行“重新发现”攻击者期望的目标动作。实验覆盖多种控制任务与触发器家族:触发器可把控制器动作导向攻击者目标、覆盖全部动作维度,在最强设置下劫持 100% 的触发步;同时该检查点仍能通过部署前常用的干净数据诊断,干净任务成功率至少保留约 75%。效应具有时间门控性:仅在触发器存在时出现,触发器移除即消失。针对“触发器盲”的修复与预算相关:中等强度的干净微调可保持干净效用,却让触发失效原样保留,只有足够激进的适配才能消除它,代价是干净控制性能显著下降。作者由此认为,世界模型骨干是控制领域一个新兴且研究不足的攻击面,并公开了代码与工件。适合研究 ML 供应链安全、强化学习与具身智能/机器人控制的读者。

💡 推荐理由: 预训练世界模型正像语言模型一样被当作通用组件复用,检查点一旦被污染即可间接控制下游具身/机器人控制器,且常规干净数据评测与温和微调都难以发现或清除,属于被忽视的供应链风险。

🎯 建议动作: 研究跟进,并将第三方世界模型检查点纳入内部供应链风险评估与部署前测试清单

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Kevin Chuanpu Fu, Yongsen Zheng, Zee Kin Yeong, Kwok-Yan Lam

VeriScene 提出将世界模型用于法医场景重建,以解决原始多模态证据直接输入世界模型时产生的证据遗漏、证词矛盾被忽略以及生成运动不符合证据记录等问题。该模型以智能体方式编排世界模型,接收法医照片和可靠性不一的证人陈述作为输入,通过“引用叙事融合—审计循环—探测回放—约束注入”的流程,将每条主张与具体证据关联,并利用世界模型的物理规律对假设的动态过程进行验证,最终从融合关键帧渲染出犯罪行为重演视频。实验基于25个犯罪场景、7种物理驱动的案件类型、139张法医风格照片和65份人为植入不可靠性的陈述,在20个测试场景上取得0.9014的证据覆盖率与0.7217的事实一致性(0-1分制),相比端到端多模态大语言模型基线,事实一致性提升20.35%,时间连贯性提升34.88%,且可在四种LLM编排后端上泛化,单场景成本约1.82美元。研究展示了如何将可信约束、人类审计和生成模型结合,为需高可靠性的多模态推理任务提供了新范式。

💡 推荐理由: 该研究对安全与取证调查具有借鉴意义:通过证据追溯和物理约束校验,降低生成式AI在关键推理任务中的不可信风险,可迁移至事件重建、威胁现场还原等需要可解释与可验证输出的蓝队分析场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Wenkai Huang, Siyuan Liang, Gaolei Li, Yiming Li, Tianhao Peng, Jianhua Li, Dacheng Tao

本文提出了一种针对基于世界模型的强化学习智能体的后门攻击框架 TrojanWorld。世界模型作为模型-based 强化学习智能体的预测核心,使智能体能够在执行动作前模拟未来动态并基于想象轨迹进行推理。由于其训练成本高昂,预训练世界模型常被分发和复用,这引入了模型供应链安全风险。后门攻击是定向且隐蔽的供应链攻击方式,但针对交互式世界模型智能体的威胁尚未被充分研究。TrojanWorld 通过引导智能体内部的想象过程来触发攻击者指定的行为:物理世界中的物体作为触发器,经由智能体原生观测流程激活后门,无需对观测流进行数字篡改。为实现有效、隐蔽且持久的控制,TrojanWorld 结合了三种机制:决策反射诱导(Decision-Reflective Induction)利用决策反馈将触发条件下的想象引向攻击者指定动作;干净行为锚定(Clean Behavior Anchoring)保持触发器不存在时预测与行为的保真度;因果传播(Causal Propagation)使触发器消失后,被诱导的偏好仍沿后续轨迹保持。这些机制构成了从物理感知经受污染的想象到恶意动作选择的端到端攻击链。实验在 TD-MPC2、DreamerV3 和 R2-Dreamer 系统上,覆盖 DeepMind Control、MetaWorld、MyoSuite 和 RoboDesk 基准测试。结果显示,触发器激活下目标动作偏差最低为 0.026,同时保留至少 98.8% 的干净性能。即使触发器移除,受感染智能体仍可能陷于诱导的行为轨迹,持续执行攻击者指定的动作。

💡 推荐理由: 首个针对世界模型智能体的后门攻击框架,揭示供应链预训练模型被植入后门后可通过物理触发器操控智能体决策,对部署在机器人、自动驾驶等物理场景的模型增强 RL 系统构成潜在威胁,值得研究者和防御者关注。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Wenhao Lin, Chenyu Yu, Xingwei Lin, Sicong Cao, Xiang Chen, Lei Xue, Le Yu, Letian Sha, Chunming Wu

随着大型语言模型(LLM)智能体越来越多地调用外部工具并与真实世界系统交互,不安全的行为可能对外部状态、用户数据和下游服务造成不可逆的后果。现有的运行时防护栏(runtime guardrails)通过在动作执行之前进行检查来缓解此类风险,但其中许多方法仍然是反应式的:它们主要评估当前动作的表观安全性,缺乏对风险如何在轨迹中演变的显式建模。这一局限导致长期风险(long-horizon risks)出现盲区——单个看似良性的动作可能逐渐将智能体引向危险状态。为此,论文提出 DreamGuard,一种面向 LLM 智能体的主动式防护栏,其核心是风险感知的世界模型(risk-aware world model)。该世界模型在轨迹上维护一个紧凑的循环潜在状态,并预测未来的潜在状态,从中提取即时危险(immediate-hazard)和前序风险(prefix-risk)证据,进而在动作执行前融合多时间尺度的信号做出干预决策。实验在四个基准和一个在线防护栏评估中进行,结果显示 DreamGuard 优于通用、反应式和主动式防护栏基线,在安全性-效用权衡上取得最佳平衡,并且每次调用的端到端平均延迟仅为 25 毫秒,具备实际部署的可行性。该研究适合 LLM 安全、AI 智能体防护、运行时监控和系统安全方向的研究人员及工程师阅读。

💡 推荐理由: LLM 智能体长期风险难以通过单步检测发现,DreamGuard 提出可预测轨迹风险的世界模型,为安全防护栏设计提供了新思路,值得关注。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Erik Imgrund, Anna Wimbauer, Klim Kireev, Konrad Rieck

该论文聚焦于智能体系统中世界模型(world model)的安全性问题。世界模型是一种专门训练的环境模拟器,旨在帮助基于大语言模型的自主智能体预测其动作的后果,从而提升多步任务执行的准确性。然而,作者发现世界模型可能被攻击者操纵,导致智能体执行有害动作,引入严重的安全与隐私风险。论文系统性地揭示了多种世界模型特有的漏洞,这些漏洞可在终端型智能体中被利用,实现恶意代码执行或敏感数据提取。为支持后续研究,作者构建了一个专门面向文本型世界模型的安全基准测试数据集。实验表明,攻击者能够在智能体管道中诱导世界模型产生错误预测,攻击成功率高达95%,可能造成未授权命令执行、拒绝服务、钱包资金耗尽以及私密信息泄露等后果。最后,论文为从业者提供了实用的缓解建议,以加固智能体系统。

💡 推荐理由: 该研究首次系统性地揭露了世界模型在智能体系统中的安全风险,表明即使世界模型能提升任务性能,也可能被用作攻击向量。对于依赖LLM agent的开发者与安全团队而言,这是一个必须警惕的新攻击面。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Yibin Hu, Xiaolin Sun, Zizhan Zheng

本文针对基于模型的学习代理(model-based learning agents)中世界模型(world model)的微调阶段面临的数据投毒攻击问题,提出了SWAAP(Stealthy World Model Manipulation via Data Poisoning),这是首个两阶段数据投毒框架。在第一阶段,SWAAP通过一阶双层优化(first-order bilevel optimization)并利用过渡梯度定理(transition-gradient theorem)识别出一个有害的目标世界模型,该模型在保持与干净模型动态相近的同时,诱导规划(planning)产生低回报行为。在第二阶段,SWAAP通过隐身约束梯度匹配(stealth-constrained gradient matching)实现该目标,仅修改有限比例的微调转变目标(transition targets),使得诱导训练梯度将受害者模型推向对抗目标,同时预测误差正则化器(prediction-error regularizer)鼓励投毒目标保持在世界模型自然近似误差的范围内。为了评估攻击的隐蔽性,作者在投毒管线的三个阶段评估了防御和可检测性:训练前检测投毒转变、微调期间的鲁棒训练、以及测试时监控产生的世界模型。在多种连续控制任务中,SWAAP导致显著的性能退化,同时保持投毒转变与干净数据接近,并逃过了所评估的非自适应残差/CUSUM/TRIM风格的防御。这些结果揭示了世界模型适应管道中的一个实际漏洞,并强调了需要保护世界模型训练数据和学到的动态的鲁棒方法。适合安全研究人员、AI系统防御者以及强化学习从业者阅读。

💡 推荐理由: 该研究揭示了基于模型强化学习中世界模型微调管道的训练时攻击面,攻击者可通过少量数据投毒操纵模型导致低回报行为,且现有防御难以检测,对部署安全关键型自主代理构成威胁。

🎯 建议动作: 研究跟进,评估内部基于模型强化学习系统的数据投毒风险,探索鲁棒微调与异常检测方法。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)