#embodied-ai

共收录 5 条相关安全情报。

← 返回所有主题
👥 作者: Songhua Yang, Ziyu Liu, Yuanwei Liu, Xuetao Li, Xuanye Fei, He Huang, Zheng Wang, Miao Li

该论文关注具身智能场景下视觉-语言-动作(Vision-Language-Action, VLA)模型的安全性。VLA 模型将视觉感知、语言指令理解与动作生成统一到端到端学习框架中,使机器人能够根据自然语言指令直接完成抓取、摆放等操作任务,近年来成为机器人操作领域的主流范式。但作者指出,这类模型需要直接与物理世界和人类交互,一旦决策被干扰,后果可能是物理层面的、不可逆的甚至灾难性的,因此其安全性必须被优先评估。论文提出的核心威胁是“通用对抗物体”(Universal Adversarial Object):一个表面纹理经过优化设计的球体,只要被放置在机器人视野范围内,即可显著降低任务成功率,而无需接触机器人系统或篡改软件。为解释这种失效的成因,作者提出一个多层次攻击框架,分别针对轨迹规划、任务执行和动作控制三个层级同时施加干扰,从而在感知—规划—执行的整条链路上制造累积误差。实验覆盖仿真环境与真实机器人平台两类设置,选取两个具有代表性的 VLA 模型 Pi0 与 RDT 进行评测。结果显示,在视野中出现该对抗物体后,两个模型的平均任务成功率下降 31.2% 至 39.9%;在复杂任务场景中,成功率进一步跌至接近零。论文的贡献在于:首次系统性地将通用对抗扰动从数字图像域迁移到机器人物理工作空间,证明单一静态物体即可对多类 VLA 模型构成可迁移、无需实时优化的持续性威胁;同时给出跨层级失效分析框架,为后续 VLA 鲁棒性评测与防御研究提供了可复用的实验范式。适合具身智能、机器人安全、多模态模型鲁棒性方向的研究者与工程团队阅读。

💡 推荐理由: VLA 模型正被部署到真实机械臂与移动机器人中,而本研究表明仅靠视野内一个经过纹理优化的球形物体,就能让 Pi0、RDT 等代表性模型的成功率下降三成以上并在复杂任务中近乎归零。这提示机器人安全评估不能只覆盖软件与网络层,还必须纳入物理环境与视觉输入的对抗鲁棒性。

🎯 建议动作: 研究跟进:将物理对抗物体纳入内部具身智能模型的鲁棒性评测用例,并跟踪该团队后续的防御与基准工作

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Junchi Chen, Changtao Miao, Yuxiao Xiang, Zhenchao Jin, Haojie Yuan, Qi Chu, Tao Gong, He Liu, Bo Zhang, Jiansheng Cai, Zhe Li, Nenghai Yu

具身智能体(embodied agent)在执行任务前通常会由任务规划器生成多步计划,而子任务之间的依赖关系以及与物理环境的交互,可能在执行过程中叠加出单步看起来无害、整体却具备物理危险性的组合风险。论文指出,现有防护手段存在明显盲区:通用的安全护栏(guardrail)主要围绕语义层面的有害内容判别,而具身安全检测器往往只对单个子任务做孤立评估,二者都无法刻画“整条计划在当前环境下是否物理安全”这一问题。为此,作者提出 PlanGuard,被其称为首个在执行前对完整多步计划进行物理安全评估的检测器,即把整条计划与当前环境状态联合作为输入,输出计划层面的安全判定。为支撑训练与评测,作者构建了 Multi-Step Plan Safety(MSP-Safe)数据集,流程包括配对任务构造(paired task construction)、使用多种不同规划器生成计划、并由三名评判者(three judges)进行安全标注,从而覆盖多样化的规划风格与安全/不安全对照样本。训练方面,作者先采用面向任务的监督微调(task-oriented SFT)在 MSP-Safe 上建立基础的计划安全评估能力,但发现可直接实时部署的小模型与能力更强、成本更高的大模型之间仍存在显著差距。为此提出 STAC-OPD(Strong-Teacher Adaptive Compensation for On-Policy Distillation),在学生模型自身的 on-policy 轨迹上提供自适应的强教师监督:一方面做来自微调后强教师的 token 级分布迁移,另一方面做概率路由的序列级补偿——当学生模型给出的目标与参考安全决策一致时保留学生自生成目标,否则使用教师重构的目标。实验上,PlanGuard-2B 在所有测试子集上取得平均 87.15% 准确率与 87.21% F1,说明在紧凑模型规模下也能有效完成整条计划的物理风险检测。作者表示代码与数据集将公开。

💡 推荐理由: 具身智能体正从实验室走向真实物理场景,整条多步计划的组合风险此前缺乏执行前检测手段。该工作给出了数据集、评测协议与可实时部署的 2B 小模型方案,为机器人/具身系统的执行前安全门禁提供了可复用基线。

🎯 建议动作: 研究跟进:等待代码与 MSP-Safe 数据集公开后纳入内部评估,判断是否可作为具身/多步规划智能体的执行前安全门禁组件。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Saidattu Chepuri, Vikas Srivastava

该论文关注 LLM 作为机器人高层规划器(移动机器人、机械臂、自动驾驶车辆)时出现的一类被忽视的安全问题。现有研究已表明,这类系统可被恶意文本、语音、视觉指令、检索到的文档以及被污染的传感器上下文所影响,而当前大多数防御只回答一个问题:候选动作在物理上是否安全。作者指出,动作完全可能「物理安全但违背用户授权的任务」,例如攻击者把配送机器人改道、替换被批准的操作对象、扩大机器人可操作区域、激活非必要传感器或单纯拖延任务进度,这些操作都不会立即造成人身或设备危害,因此能穿过传统安全门。作者将这类攻击命名为「安全合规的任务劫持」(safety-compliant mission hijacking)。为系统化研究该威胁,他们提出 MissionPAIR 自适应攻击框架,用于自动搜索「能通过安全门、但违反已认证任务」的可执行规划;同时提出 AuthGuard-R,一个确定性的授权层,把每一个可执行动作与签名的任务、机器人身份、对象与区域范围、当前状态、时间以及输入来源(provenance)绑定,并与独立的安全门组合成「双门」架构。论文在形式化层面把任务策略定义在机器人轨迹之上,定义相应安全博弈,并证明了一系列性质:授权可靠性、任务不可越权(non-escalation)、抗重放、机器人绑定、输入来源隔离、阈值审批安全性、审计日志的防篡改证据以及轨迹级组合性。初步跨模型评测使用 Claude Haiku 4.5 与开源 Qwen2.5 7B 作为规划器:在 240 次实时攻击试验中,规划器有 109 次跟随了注入的任务偏离,而 AuthGuard-R 拒绝了全部 109 个由此产生的未授权动作;另有一组人工构造的 11 个协议层与策略层攻击也被完全阻断。论文定位为初步结果,重点在于提出威胁模型、授权形式化与防御架构,适合研究机器人与具身智能体安全、LLM 代理授权与提示注入防御的读者。

💡 推荐理由: 它把机器人 LLM 安全讨论从「动作是否物理安全」推进到「动作是否仍属于用户授权任务」,指出仅靠物理安全门存在结构性盲区;对部署具身智能体的团队,AuthGuard-R 的签名任务绑定、输入溯源与双门架构可直接作为设计参考。

🎯 建议动作: 研究跟进:将任务授权与输入溯源纳入内部机器人/具身智能体的安全设计基线,并在实验环境中复现该攻击—防御评估思路。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Junchao Li, Xuelei Wang, Yuhang Huang, Qi Wang, Boyang Ma, Xuelong Dai, Minghui Xu, Yue Zhang

本文对嵌入AI(EAI)移动应用中的密码学误用进行了首次大规模测量研究。随着EAI应用从辅助界面演变为主动控制路径,移动端的密码学安全直接关系到网络物理信任。然而,现有安全研究主要关注EAI设备和云基础设施,忽视了移动控制层这一关键攻击面。为了填补这一空白,研究团队构建了EAIAppZoo基准,包含507个跨6个EAI领域的真实应用,并采用自动化语义感知分析管道测量了5类主要密码学失败模式的普遍性与特征。测量共发现12,975个误用实例(评估精度80.74%),揭示这些失败是由EAI特有的工程约束而非随机开发者错误驱动。研究还发现了结构性的安全权衡:延迟敏感的控制路径系统地削弱传输保护,而离线设备配置和对传统IoT SDK的依赖加剧了本地硬编码认证凭据。通过真实案例研究,展示了移动端密码学缺陷如何绕过标称的网络保护,使攻击者能够拦截命令通道并劫持EAI实体的物理控制。最终,研究指出移动应用已成为网络物理系统中脆弱且被忽视的密码学信任边界。

💡 推荐理由: 揭示了EAI移动应用作为关键攻击面被忽视的密码学风险,为蓝队和开发者在设计和审计这类应用时提供了具体的安全权衡和防御依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Junran Wang, Xinjie Shen, Zehao Jin, Pan Li

随着视觉-语言模型(VLM)被越来越多地部署为具身助手的自主认知核心,评估其在物理环境中的隐私意识变得至关重要。与数字聊天机器人不同,这些智能体在家庭、医院等私密空间运行,能够观察并操作包含隐私敏感信息与物品的物理实体。然而,现有基准仍局限于单模态、基于文本的表达,无法捕捉真实世界的复杂性。为弥补这一空白,本文提出了 ImmersedPrivacy,一种交互式视听评估框架,基于 Unity 模拟器构建逼真的物理环境。ImmersedPrivacy 通过三个递进层级测试模型的物理隐私意识:第一层级评估在杂乱场景中识别敏感物品的能力;第二层级测试适应社会语境变化(如陌生人进入房间)的能力;第三层级考察解决显式命令与隐含隐私约束之间冲突的能力。作者对 12 个当前最先进的 VLM 进行了评估,发现了一致的缺陷。在杂乱场景中,所有模型的性能随场景复杂度增加而单调下降,表明存在感知缺陷。当社会情境改变时,没有模型的选择准确率超过 65%。在冲突命令下,表现最好的模型 gemini-3.1-pro 也仅在 51% 的案例中完美平衡了任务完成与隐私保护。这些发现揭示了当前 VLM 在物理世界中存在感知脆弱性,并且无法让隐私知识主导其情境化行为。代码和数据已开源。

💡 推荐理由: 该研究首次系统评估了 VLM 在物理世界中的隐私意识,揭示了当前模型在杂乱场景、社会情境变化及命令冲突下的严重缺陷,对部署具身 AI 在家庭、医疗等私密空间的安全风险具有重要警示意义。

🎯 建议动作: 研究跟进,建议安全团队关注 VLM 在物理环境中的隐私风险,将其纳入内部评估流程。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)