#audio-injection

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Mingxiao Liu, Yitong Li, Haoren Zhao, Yaoxiang Bian, Jianan Ma, Jian Zhang, Jialuo Chen, Xinhao Deng, Zhen Wang

本文研究多模态大语言模型智能体在连续音频交互场景下面临的新型提示注入攻击。作者指出,多模态智能体通过麦克风持续接收环境声音,而用户语音中不可避免地混有环境噪声,这为恶意音频指令的注入提供了隐蔽通道。与针对语音设备的传统声学攻击不同,该工作提出指令增强与场景隐藏两种新技术,使得恶意音频指令能够以人耳难以察觉的方式“寄生”在用户正常语音上,从而劫持智能体执行恶意操作。为系统量化威胁,作者构建了首个音频指令注入攻击基准 AudioAgentSecurity,涵盖 8 个真实任务场景和 10 种攻击模式,并评测了 Gemini 3 Pro、GPT-4o-audio 等 11 个先进智能体。结果显示,所提方法对 Gemini 3 Pro 的平均攻击成功率(ASR)高达 69.10%。为缓解该风险,作者提出级联音频解耦与验证(CADV)防御机制,其基于声源分离和一致性分析,相比现有提示级防御,能更鲁棒地检测音频指令注入,在多种攻击向量下检测成功率超过 90%。最后,作者在豆包 AI 智能手机上开展真实环境的人体实验,证实了攻击的高隐蔽性和有效性,同时验证了防御机制的可靠性。该研究对于音频驱动的多模态智能体安全设计具有重要参考价值,适合多模态大模型安全研究人员、智能体平台开发者及防御方阅读。

💡 推荐理由: 首次系统性揭示多模态智能体在连续音频交互中可利用环境噪声进行隐蔽注入攻击,攻击成功率高且具真实场景验证,为音频驱动的 Agent 安全敲响警钟。

🎯 建议动作: 研究跟进,评估自身多模态音频 Agent 的攻击面,并验证 CADV 类防御的有效性

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)