#autonomous-systems

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Sri Hrushikesh Varma Bhupathiraju, Shaoyuan Xie, Michael Clifford, Qi Alfred Chen, Takeshi Sugawara 0001, Sara Rampazzi

该论文聚焦于自主系统中热成像感知链路的安全脆弱性。热像仪被广泛用于自动驾驶、无人机、机器人以及安防系统,在夜间或恶劣天气下提供关键的环境感知能力。然而,热成像感知对物理世界的攻击面研究尚不充分。作者系统性地分析了热成像感知流程中从传感器物理层到后端目标识别算法的各个环节,揭示了攻击者可通过刻意设计的热源或热干扰(例如热辐射操控、局部温度扰动)诱导感知模型产生错误输出,进而导致自主系统做出危险决策。论文提出了一个系统化的威胁建模框架,将热成像感知的脆弱性分类为不同层级,包括物理传感器、信号处理、特征提取和语义理解,并针对每一层级分析了可能的干扰向量。为了验证这些脆弱性,作者在真实测试平台上开展了实验,使用他们自行构建的热成像攻击测试床,评估了不同类型热干扰对目标检测、分类和跟踪任务的影响。实验结果显示,在特定条件下,攻击者能够使热成像系统对行人、车辆等关键目标的识别置信度显著下降,甚至完全漏检或错检。基于上述发现,论文进一步提出并评估了多种缓解策略,包括多种传感器数据融合、基于一致性的异常检测、对抗训练(在热域中增强训练数据)以及基于物理的防御机制。这些防御措施在实验中展现出一定的鲁棒性提升,但仍有其局限性。总体而言,该论文是首个系统研究热成像感知在自主系统中安全性的工作,为后续研究提供了理论基础、实验方法和防御方向,对自动驾驶安全、机器人安全以及相关物理世界AI系统安全有重要启示。适合自动驾驶安全工程师、AI安全研究员、传感器安全分析人员以及自主系统设计者阅读。

💡 推荐理由: 热成像广泛用于自动驾驶与安防,但其物理攻击面被长期忽视。该研究揭示攻击者可利用热干扰操纵感知结果,对人员检测、障碍物识别构成现实威胁,是物理世界AI安全的重要盲区。

🎯 建议动作: 研究跟进,深入评估自身系统中的热成像感知风险,并探索多模态融合与异常检测方案

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jakob Salfeld-Nebgen

本文针对自主AI代理可能执行具有重大影响且不可逆的操作(如临床处方和软件部署)这一现实问题,提出了一种新的治理模型。核心思想是借鉴人类社会中机构管理强大自主行动者的方式:不监控其推理过程,而是在关键行动点要求独立认证的证据。作者将这种制度模式形式化为一个计算治理模型。在该模型下,AI代理保留规划和推理的完全自主权,但对指定的高风险行动没有执行权。执行取决于一系列前提条件,每个条件由独立的权威来源认证,并与声明的意图进行密码学绑定,最后由确定性策略评估。决策结果记录在防篡改日志中,可供独立重新验证。论文提供了概念验证实现,并通过软件部署和临床处方两个案例进行说明。该研究为AI安全治理提供了一种新的视角,即通过分离决策与执行,引入外部独立验证机制,以降低自主决策风险。适合AI安全研究者、治理模型设计者和政策制定者阅读。

💡 推荐理由: 提出了一种不限制AI推理能力但通过外部独立证明控制高风险行动执行的治理框架,为LLM Agents的安全性提供了可落地的设计原则。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ao Li 0006, Jinwen Wang, Ning Zhang 0017

这篇海报论文提出了 Chronos,一种利用时间干扰作为攻击向量的新型攻击方法,针对自主网络物理系统(CPS)。CPS 的正常运行依赖于对物理世界的精确、及时感知与执行,时间属性是系统稳定性的关键。Chronos 攻击通过侵入系统中的一个非特权、非关键任务,对无人机和自动驾驶车辆平台发起时间干扰攻击。在开环和闭环测试中,攻击者能够在不利用任何软件漏洞的情况下,导致自主系统完全失控,撞向周围环境。为了深入理解这一攻击向量,研究者对这两个平台的定位组件进行了初步研究,因为它们都使用了依赖于来自不同传感器的多模态数据(对时间敏感)的同步定位与地图构建(SLAM)算法。基于案例分析,论文提出了时间攻击面的形式化描述,并指出了未来研究方向。该工作揭示了时间干扰作为一种独立于传统软件漏洞的攻击向量的潜力,对 CPS 安全设计提出了新的挑战。

💡 推荐理由: Chronos 展示了无需软件漏洞即可使自主系统物理失控的新型攻击,直接挑战了现有安全假设,对无人机、自动驾驶等安全攸关 CPS 的设计和防护具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)