#physical-safety

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Junchi Chen, Changtao Miao, Yuxiao Xiang, Zhenchao Jin, Haojie Yuan, Qi Chu, Tao Gong, He Liu, Bo Zhang, Jiansheng Cai, Zhe Li, Nenghai Yu

具身智能体(embodied agent)在执行任务前通常会由任务规划器生成多步计划,而子任务之间的依赖关系以及与物理环境的交互,可能在执行过程中叠加出单步看起来无害、整体却具备物理危险性的组合风险。论文指出,现有防护手段存在明显盲区:通用的安全护栏(guardrail)主要围绕语义层面的有害内容判别,而具身安全检测器往往只对单个子任务做孤立评估,二者都无法刻画“整条计划在当前环境下是否物理安全”这一问题。为此,作者提出 PlanGuard,被其称为首个在执行前对完整多步计划进行物理安全评估的检测器,即把整条计划与当前环境状态联合作为输入,输出计划层面的安全判定。为支撑训练与评测,作者构建了 Multi-Step Plan Safety(MSP-Safe)数据集,流程包括配对任务构造(paired task construction)、使用多种不同规划器生成计划、并由三名评判者(three judges)进行安全标注,从而覆盖多样化的规划风格与安全/不安全对照样本。训练方面,作者先采用面向任务的监督微调(task-oriented SFT)在 MSP-Safe 上建立基础的计划安全评估能力,但发现可直接实时部署的小模型与能力更强、成本更高的大模型之间仍存在显著差距。为此提出 STAC-OPD(Strong-Teacher Adaptive Compensation for On-Policy Distillation),在学生模型自身的 on-policy 轨迹上提供自适应的强教师监督:一方面做来自微调后强教师的 token 级分布迁移,另一方面做概率路由的序列级补偿——当学生模型给出的目标与参考安全决策一致时保留学生自生成目标,否则使用教师重构的目标。实验上,PlanGuard-2B 在所有测试子集上取得平均 87.15% 准确率与 87.21% F1,说明在紧凑模型规模下也能有效完成整条计划的物理风险检测。作者表示代码与数据集将公开。

💡 推荐理由: 具身智能体正从实验室走向真实物理场景,整条多步计划的组合风险此前缺乏执行前检测手段。该工作给出了数据集、评测协议与可实时部署的 2B 小模型方案,为机器人/具身系统的执行前安全门禁提供了可复用基线。

🎯 建议动作: 研究跟进:等待代码与 MSP-Safe 数据集公开后纳入内部评估,判断是否可作为具身/多步规划智能体的执行前安全门禁组件。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zhonghao Zhan, Hamed Haddadi

本文指出当前自我进化的技能库(如 AutoSkills、Hermes Agent)在自动生成编排建议时仅关注效率提升,而忽略了安全性的关键缺口。作者认为,技能(Skill)描述的是代理应如何行为,而策略(Policy)决定了哪些行为被允许成为实际行动。现有的技能格式(如 Markdown 和脚本)仅覆盖了前者,后者则由模型自行推断。当技能被错误调用时,可能产生解锁房门或转账等严重后果。虽然已有研究分别记录了恶意技能危害云软件、以及越狱大语言模型控制的机器人造成物理伤害,但两者的交叉——恶意代理技能导致物理伤害——尚未被报告。作者将此类问题命名为“借用权威”(Borrowed Authority):技能格式未给接收代理提供类型化的方式拒绝代理间的权限声明,因此恶意或误用的技能可通过附加权限请求来驱动执行。为解决这一问题,作者提出边缘技能守卫(Edge Skillguard),这是一种位于技能工件内部的类型化权威层,与工作流引擎置于工具之间的方式不同,它通过世界状态和传感器证据进行守卫。在实时边缘控制平面测试台上,该守卫在五个攻击变体中拒绝了60/60的借用权威请求,且未阻塞正常请求;在5倍规模及跨主机(Tailscale mesh)环境下结论依然成立。实验结果建议,高风险技能应将类型化调用策略与程序性知识打包,使物理行动依赖于机器可校验的证据,而非对等代理的声明。

💡 推荐理由: 该研究揭示了 AI 代理安全中的新攻击面:恶意技能可利用权限继承缺陷直接驱动物理设备,导致实际物理伤害。它强调了将策略与技能分离的必要性,为边缘智能和具身智能的环境安全提供了前瞻性防御方向。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)