#mllm

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Leitao Yuan, Qinghua Mao, Daizong Liu, Kun Wang, Wenjie Wang, Yan Teng, Jing Shao, Dongrui Liu

多模态大语言模型(MLLMs)尽管性能强大,但仍易受基于迁移的目标攻击:攻击者在开源代理编码器上优化扰动,该扰动可泛化至闭源MLLMs。提升对抗迁移性的关键在于有效捕获不同模型共享的内在视觉焦点,使扰动对齐可迁移的语义线索而非代理特定行为。现有方法受限于空间域特征冗余和代理特定梯度信号,阻碍了跨模型迁移性。本文提出FRA-Attack,从统一的频率域正则化视角解决这两个挑战。在特征对齐方面,对块特征使用高通DCT目标,抑制冗余全局结构并将损失集中在承载MLLMs内在视觉焦点的高频带上。在梯度优化方面,引入频率域梯度正则化(FGR),一种模型无关的低通正则化器,仅利用几何频率坐标调节代理梯度,不涉及任何代理导出统计量,因此FGR天然模型无关,去除代理特定高频伪影的同时保留可迁移的低频方向。两者结合形成统一的频率域迁移性处理。在来自7个供应商的15个旗舰MLLM上的广泛实验表明,FRA-Attack实现了优异的跨模型迁移性,尤其在GPT-5.4、Claude-Opus-4.6和Gemini-3-flash上达到最先进性能。

💡 推荐理由: 该攻击方法揭示了当前MLLMs在对抗迁移性方面的严重脆弱性,防御者需关注频域特征对齐和梯度正则化作为潜在防御思路,并评估自研模型对类似攻击的鲁棒性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)