#robotics

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Jianwei Tai

本文从部署安全角度审视视觉-语言-动作(VLA)策略,指出当前将VLA策略视为仅由权重、提示和基准测试定义的对象这一假设存在缺陷。实际上,相同的归一化模型输出在经历动作反归一化和控制器约定后,会转化为不同的物理动作,导致安全审查仅能验证模型检查点而遗漏实际执行策略。作者将这一问题形式化为“可执行策略规范”问题:VLA策略包括学习模型、动作表示、元数据选择的归一化器以及控制器约定。在相同检查点下,这些因素可能导致执行不等效。针对分位式动作归一化,作者推导了元数据不匹配变换的闭式解,并设计了ExecSpec证书,无需推理或实际部署即可度量动作空间语义漂移。在LIBERO-Goal数据集上,替换一个看似合理的兄弟元数据键导致六个非夹持器动作维度的平均漂移为0.199,完全替换后成功率从28/28降至2/28;在LIBERO-Spatial上,相同替换使成功率从26/26降至0/26。所有四个物体替换任务的完全替换均导致0/28成功率,长时任务则降至0/23或1/23。通过身份键、回放有效性、无操作过滤、原始与校正回放、掩码/夹持器、合成上界以及OpenVLA风格归一化器接口检查,排除了多种简单解释。结果表明,动作空间元数据是可执行策略的组成部分,应在实际部署前进行检查。注意,这些结果不认证闭环或硬件安全,仅支持更窄的部署安全观点。

💡 推荐理由: 本文揭示了VLA策略部署中的一个关键安全盲点:相同的模型权重可能因元数据配置不当导致完全不同的物理行为,从而引发安全风险。安全从业者应意识到策略检查不能仅停留在模型层面,还需验证动作归一化参数和控制器约定。

🎯 建议动作: 研究跟进:建议VLA策略部署前对动作归一化元数据进行一致性校验,并引入ExecSpec证书作为预检手段。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Doguhuan Yeke, Yanming Zhou, Leo Y. Lin, Hongyu Cai, Antonio Bianchi, Z. Berkay Celik

本文提出 RoboJailBench,一个针对具身机器人中对抗性攻击与防御的标准化基准测试框架。研究背景:随着视觉语言模型(VLM)被集成到机器人、自动驾驶等物理平台,这类具身AI系统面临新型安全威胁。先前的攻击与防御研究依赖临时数据集、有限指标,仅关注攻击成功率而忽略安全与实用性的权衡,且缺乏针对对抗性威胁的全面评估。核心方法:RoboJailBench 包含三个组件:(1)基于ISO标准、法规和已记录事件建立安全分类体系,划分18种具身AI安全违规后果;(2)提出意图对比数据集管道,为现有数据集补充配对对抗性和良性目标,以同时衡量安全性与实用性;(3)提供可扩展的仓库,包含标准化指标和统一流程,便于集成新攻击与防御。实验:利用该基准构建了新的分类平衡数据集,并扩增五个现有数据集,集成四种攻击和两种防御,对主流具身VLM进行评估。主要贡献:首次为具身AI的越狱攻击提供标准化评估框架,开放代码、数据集及排行榜,支持后续研究。适合受众:具身AI安全研究人员、机器人系统开发者、对抗机器学习研究者。

💡 推荐理由: 填补了具身AI越狱攻击缺乏标准化评估基准的空白,为安全社区提供统一度量体系,有助于推动该领域防御技术的落地。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Neha Nagaraja, Hayretdin Bahsi, Carlo R. da Cunha

该论文针对集成大语言模型(LLM)的自主机器人系统进行威胁建模。背景方面,虽然已有研究分别关注机器人网络安全、对抗性感知攻击和LLM安全性,但尚未有工作将这些威胁类别在一个统一架构中追踪其相互作用与传播。作者通过将基于边缘-云架构的LLM赋能自主机器人建模为分层数据流图(DFD),并应用STRIDE-per-interaction分析,在六个跨边界交互点上使用三类威胁分类(传统网络威胁、对抗威胁、对话威胁)进行评估。分析发现这三类威胁在相同的边界交叉点汇聚,并追踪了三条从外部入口点到不安全物理驱动的跨边界攻击链,每条链揭示不同的架构缺陷:缺乏用户输入与致动器调度之间的独立语义验证、从视觉感知到语言模型指令的跨模态转换、以及通过提供方工具使用导致的未中介边界交叉。据作者所述,这是首个基于DFD的威胁分析,整合了LLM机器人系统全感知-规划-致动管道中的所有三类威胁。该研究适用于安全架构师、机器人系统开发者及LLM安全研究员,为设计安全边界和缓解措施提供系统化视角。

💡 推荐理由: 首次以统一数据流图模型分析LLM机器人系统中传统网络威胁、对抗攻击与对话安全的交互传播,揭示关键架构漏洞,对保障物理安全至关重要。

🎯 建议动作: 研究跟进:将威胁模型纳入机器人安全评估流程

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)