#vla

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Jianwei Tai

本文从部署安全角度审视视觉-语言-动作(VLA)策略,指出当前将VLA策略视为仅由权重、提示和基准测试定义的对象这一假设存在缺陷。实际上,相同的归一化模型输出在经历动作反归一化和控制器约定后,会转化为不同的物理动作,导致安全审查仅能验证模型检查点而遗漏实际执行策略。作者将这一问题形式化为“可执行策略规范”问题:VLA策略包括学习模型、动作表示、元数据选择的归一化器以及控制器约定。在相同检查点下,这些因素可能导致执行不等效。针对分位式动作归一化,作者推导了元数据不匹配变换的闭式解,并设计了ExecSpec证书,无需推理或实际部署即可度量动作空间语义漂移。在LIBERO-Goal数据集上,替换一个看似合理的兄弟元数据键导致六个非夹持器动作维度的平均漂移为0.199,完全替换后成功率从28/28降至2/28;在LIBERO-Spatial上,相同替换使成功率从26/26降至0/26。所有四个物体替换任务的完全替换均导致0/28成功率,长时任务则降至0/23或1/23。通过身份键、回放有效性、无操作过滤、原始与校正回放、掩码/夹持器、合成上界以及OpenVLA风格归一化器接口检查,排除了多种简单解释。结果表明,动作空间元数据是可执行策略的组成部分,应在实际部署前进行检查。注意,这些结果不认证闭环或硬件安全,仅支持更窄的部署安全观点。

💡 推荐理由: 本文揭示了VLA策略部署中的一个关键安全盲点:相同的模型权重可能因元数据配置不当导致完全不同的物理行为,从而引发安全风险。安全从业者应意识到策略检查不能仅停留在模型层面,还需验证动作归一化参数和控制器约定。

🎯 建议动作: 研究跟进:建议VLA策略部署前对动作归一化元数据进行一致性校验,并引入ExecSpec证书作为预检手段。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammadreza Teymoorianfard, Jean-Philippe Monteuuis, Jonathan Petit, Amir Houmansadr

该论文首次系统性地研究了具有推理能力的视觉-语言-动作(VLA)模型在自动驾驶场景下对现实输入扰动的鲁棒性。以往研究多假设推理与轨迹生成紧密耦合且鲁棒,但实际场景中存在各种文本输入噪声(如传感器错误、环境描述歧义等)。作者以NVIDIA最新提出的Alpamayo系列模型为代表性VLA框架,在黑盒设定下模拟了多种现实文本扰动,包括字符级错误、单词级替换、语义混淆等。实验采用闭环仿真环境(如CARLA),评估扰动对模型推理正确性和轨迹规划的影响。结果表明:攻击对推理环节的成功率高达89%,对最终轨迹操纵的成功率达72%,显著增加碰撞率并降低安全指标。为系统评估这种脆弱性,论文设计了推理感知评估框架,同时关注推理的语义一致性(如哪类指令被错误理解)和结构准确性(如动作序列的顺序错误),并引入安全中心度量(如最小安全距离违反次数)。此外,作者公开了一个基准测试集,涵盖不同类型的扰动与场景,用于标准化评估攻击与防御方法。该工作指出当前VLA模型缺乏对输入噪声的鲁棒性,亟需开发新的防御机制以确保L4级以上自动驾驶的安全性。

💡 推荐理由: 自动驾驶安全是硬约束,而本文揭示VLA模型在输入扰动下推理与轨迹双失效,威胁行车安全。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jianwei Tai

该论文研究了视觉-语言-动作(VLA)模型在机器人部署中的能力与鲁棒性之间的理论权衡。VLA模型在干净输入上表现出高成功率(如OpenVLA-7B在LIBERO基准上超过95%),但在微小对抗扰动下性能急剧下降(例如16/255的PGD攻击使成功率降至5%以下)。现有经验性防御方法虽能恢复部分鲁棒性,但会牺牲干净准确率,且缺乏理论下界。作者通过信息论方法证明了:对于任何离散动作的VLA策略,能力(策略动作与理想动作的互信息)与鲁棒性(对抗扰动下保留的互信息,扣除平凡信道泄露)之和受限于一个与策略无关的预算:任务熵加对抗信道容量。该证明基于数据处理不等式和互信息非负性。像素级界限与策略无关但较松(约10^3 nats);而编码器特定推论可在每个实验上收紧到约86-156 nats(在OpenVLA上,epsilon=8/255时)。作者在252个闭式高斯VLA单元和48个OpenVLA-7B×LIBERO×PGD单元上验证了该界限,零违反。编码器界限还诊断了防御在信道中的干预位置:输入侧防御(JPEG-50)将编码器预算移动+41到+101 nats(epsilon∈{2,4,8,16}/255时),而LLM侧防御(rank-16 LoRA)移动不超过9%(epsilon=8/255时仅0.7%)。论文建议将编码器特定松弛作为与原始鲁棒性并行的诊断轴,并开源了所有代码和结果。

💡 推荐理由: VLA模型直接控制物理机器人,对抗攻击可造成实际安全风险。该理论界限揭示了能力与鲁棒性的固有矛盾,为设计更可靠的机器人策略提供了理论基础,帮助防御者理解现有防御方法的局限性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)