#autonomous-systems

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Jakob Salfeld-Nebgen

本文针对自主AI代理可能执行具有重大影响且不可逆的操作(如临床处方和软件部署)这一现实问题,提出了一种新的治理模型。核心思想是借鉴人类社会中机构管理强大自主行动者的方式:不监控其推理过程,而是在关键行动点要求独立认证的证据。作者将这种制度模式形式化为一个计算治理模型。在该模型下,AI代理保留规划和推理的完全自主权,但对指定的高风险行动没有执行权。执行取决于一系列前提条件,每个条件由独立的权威来源认证,并与声明的意图进行密码学绑定,最后由确定性策略评估。决策结果记录在防篡改日志中,可供独立重新验证。论文提供了概念验证实现,并通过软件部署和临床处方两个案例进行说明。该研究为AI安全治理提供了一种新的视角,即通过分离决策与执行,引入外部独立验证机制,以降低自主决策风险。适合AI安全研究者、治理模型设计者和政策制定者阅读。

💡 推荐理由: 提出了一种不限制AI推理能力但通过外部独立证明控制高风险行动执行的治理框架,为LLM Agents的安全性提供了可落地的设计原则。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ao Li 0006, Jinwen Wang, Ning Zhang 0017

这篇海报论文提出了 Chronos,一种利用时间干扰作为攻击向量的新型攻击方法,针对自主网络物理系统(CPS)。CPS 的正常运行依赖于对物理世界的精确、及时感知与执行,时间属性是系统稳定性的关键。Chronos 攻击通过侵入系统中的一个非特权、非关键任务,对无人机和自动驾驶车辆平台发起时间干扰攻击。在开环和闭环测试中,攻击者能够在不利用任何软件漏洞的情况下,导致自主系统完全失控,撞向周围环境。为了深入理解这一攻击向量,研究者对这两个平台的定位组件进行了初步研究,因为它们都使用了依赖于来自不同传感器的多模态数据(对时间敏感)的同步定位与地图构建(SLAM)算法。基于案例分析,论文提出了时间攻击面的形式化描述,并指出了未来研究方向。该工作揭示了时间干扰作为一种独立于传统软件漏洞的攻击向量的潜力,对 CPS 安全设计提出了新的挑战。

💡 推荐理由: Chronos 展示了无需软件漏洞即可使自主系统物理失控的新型攻击,直接挑战了现有安全假设,对无人机、自动驾驶等安全攸关 CPS 的设计和防护具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Sri Hrushikesh Varma Bhupathiraju, Shaoyuan Xie, Michael Clifford, Qi Alfred Chen, Takeshi Sugawara 0001, Sara Rampazzi

该论文研究了热成像传感器在自主系统(如自动驾驶汽车、智能建筑、无人机和机器人)中的安全漏洞。热成像传感器能够在低光照和恶劣天气条件下通过探测物体的热量来感知环境,但这些传感器也容易受到物理世界对抗性攻击。论文提出并评估了一种名为Multi-Band Adversarial Thermal (MBAT)的新型攻击方法,该方法利用热辐射效应(如电热毯、加热丝、热气射流)在现实世界中操纵热图像,使目标物体被误识别为其他类型或消失。实验表明,MBAT攻击在多个商业热成像传感器上具有高成功率,并能造成碰撞、误判等安全后果。此外,论文还讨论了针对此类攻击的潜在缓解措施,包括热图像滤波和传感器融合策略。该研究揭示了热成像感知系统的重大安全隐患,并强调需要更强大的防御机制来保护自主系统的安全。

💡 推荐理由: 热成像传感器在自主系统中广泛应用,而本论文首次系统性地展示了现实世界中针对热成像感知的对抗攻击,提醒安全从业者关注这一新兴攻击面。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)