#multi-robot

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Zhen Huang, Zhihuang Liu, Weijia Shi, Yifan Yang, Weishang Wu, Zhiping Cai

本文针对大语言模型(LLM)作为高层规划器在具身多机器人系统中的应用,系统研究了多机器人协作中通信环节的安全威胁。以往研究主要关注单个机器人的安全性,对多机器人协同通信风险的理解不足,且现有工作仅针对去中心化多智能体系统(DMAS)架构进行了初步分析,未覆盖其他常见通信架构。为填补这一空白,作者根据攻击者的访问权限设置了两种通信攻击:外部入口点攻击(External Entry Point Attack)和特权系统内部攻击(Privileged In-System Attack),并在DMAS、HMAS-1、HMAS-2三种架构上,利用三个LLM和五个具身多机器人任务进行了全面评估。实验结果表明,不安全信息可以在所有三种架构中转化为不安全动作:DMAS达到96.7%的入口背书率和100%的背书后激活率;HMAS-1达到97.8%的不安全动作成功率;HMAS-2触发了88.3%的任务定义不安全动作槽位。为缓解可信信息流被污染的风险,作者提出了声明来源与验证(Claim Provenance and Verification, CPV)门控机制,在信息下游复用前对通信声明进行验证,将违规率从70.0%降至36.6%。该研究揭示了多机器人通信架构中的系统性安全风险,并提出了有效的缓解手段,适合机器人安全、LLM智能体安全以及多智能体协作系统的研究者和工程人员阅读。

💡 推荐理由: 多机器人系统正越来越多地依赖LLM进行规划,通信链路的攻击可导致实体机器人执行危险动作,影响物理世界安全。该研究首次跨架构验证了通信攻击的泛化性,并给出可落地的防御机制,是LLM智能体安全的重要延伸。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zhen Huang, Zhihuang Liu, Mengxuan Luo, Weishang Wu, Zhiping Cai

本文研究了在大语言模型(LLM)控制的多机器人协作系统中,通过单一机器人被攻陷后传播不安全行为的安全威胁。随着LLM在具身智能中作为通用规划器的广泛应用,其在高层次协调和低层次任务规划中发挥关键作用,但同时也引入了新的安全风险:被操纵或对齐错误的指令可能转化为物理动作。已有工作主要关注单机器人场景中的此类威胁,而在多机器人协作中,通过机器人间通信传播的安全风险尚未被充分探索。为填补这一空白,作者提出了一种针对多机器人系统的新型攻击范式,攻击者仅操控系统中的单个入口机器人,被攻陷的机器人通过同伴通信传播恶意意图,导致整个系统产生协调的不安全行为。评估覆盖了高风险的三个维度:失职(dereliction of duty)、隐私侵犯(privacy compromise)和公共安全危害(public safety hazards)。实验揭示了多机器人规划器在安全对齐方面的持续缺陷。作者使用三个指标量化攻击效果:服从度(obedience)、传染性(infectiousness)和隐蔽性(stealthiness)。实验结果表明,攻击者能够实现持久控制和快速传播:在最强的攻击设置下服从度达到1.00,传染性上升至0.90;攻击效率极高,仅需平均3.0轮即可攻陷所有机器人,同时保持0.81的隐蔽性。当机器人在关键场景(如紧急情况或权利冲突)中必须解决权衡时,风险进一步放大,因为协调机制可能无意中允许对抗性指令覆盖安全要求。论文提供了开源代码。本文适合机器人安全、LLM安全及多智能体系统的研究者阅读。

💡 推荐理由: 首次系统揭示LLM控制的多机器人协作中通过单点妥协传播不安全行为的威胁,凸显了现有多机器人规划器安全对齐的严重缺陷,对工业机器人集群、自动驾驶车队等应用场景具有重要警示意义。

🎯 建议动作: 研究跟进,评估自身多机器人系统对该类传播攻击的脆弱性,并考虑在机器人间通信中引入安全校验机制。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)