#mllm

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Xinjian Luo, Hongyan Chang, Jianxin Wei, Yuncheng Wu, Xiaofeng Gao, Meikang Qiu, Ting Yu, Xue Liu

该论文首次系统研究了分布式多模态大语言模型(MLLM)推理框架中的图像提示重构攻击问题。分布式推理框架通过连接多个消费级设备实现大模型推理,降低了硬件门槛,但近期研究表明,参与节点间传输的中间嵌入会泄露文本提示。随着MLLM的普及,图像提示包含丰富的视觉和语义信息,其中间嵌入更具隐私敏感性,然而针对图像提示的泄露问题尚未被充分探索。本文首先分析了从图像像素到中间表示的信息流,由于图像和文本嵌入在MLLM各层中交织,作者设计了图像嵌入提取算法作为重构攻击的前提,实验表明该算法在几乎所有MLLM层上实现了100%的提取准确率。在此基础上,提出了两种被动黑盒图像重构攻击:MPAA(基于块的像素级重构)和IEDA(基于嵌入引导扩散的语义级重构)。MPAA通过逐块信息提取与组装实现细粒度像素重构,IEDA则利用嵌入引导的扩散生成实现粗粒度语义重构。在Gemma 3、Phi 4 Multimodal、Qwen 2.5 VL和Llama 4 Scout四个代表性MLLM系列上进行了评估,结果显示在不同设置下均有一致的出色重构性能。此外,还分析了MoE架构、图像预处理、模型规模和文本-图像依赖关系对攻击性能的影响。据作者所知,这是首个针对MLLM的图像重构攻击研究,揭示了分布式MLLM推理中图像隐私的严重风险。

💡 推荐理由: 该工作揭示了分布式MLLM推理中图像提示的隐私泄露风险,攻击者可从中间嵌入重构出原始图像,对使用分布式MLLM服务的用户隐私构成威胁。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Leitao Yuan, Qinghua Mao, Daizong Liu, Kun Wang, Wenjie Wang, Yan Teng, Jing Shao, Dongrui Liu

多模态大语言模型(MLLMs)尽管性能强大,但仍易受基于迁移的目标攻击:攻击者在开源代理编码器上优化扰动,该扰动可泛化至闭源MLLMs。提升对抗迁移性的关键在于有效捕获不同模型共享的内在视觉焦点,使扰动对齐可迁移的语义线索而非代理特定行为。现有方法受限于空间域特征冗余和代理特定梯度信号,阻碍了跨模型迁移性。本文提出FRA-Attack,从统一的频率域正则化视角解决这两个挑战。在特征对齐方面,对块特征使用高通DCT目标,抑制冗余全局结构并将损失集中在承载MLLMs内在视觉焦点的高频带上。在梯度优化方面,引入频率域梯度正则化(FGR),一种模型无关的低通正则化器,仅利用几何频率坐标调节代理梯度,不涉及任何代理导出统计量,因此FGR天然模型无关,去除代理特定高频伪影的同时保留可迁移的低频方向。两者结合形成统一的频率域迁移性处理。在来自7个供应商的15个旗舰MLLM上的广泛实验表明,FRA-Attack实现了优异的跨模型迁移性,尤其在GPT-5.4、Claude-Opus-4.6和Gemini-3-flash上达到最先进性能。

💡 推荐理由: 该攻击方法揭示了当前MLLMs在对抗迁移性方面的严重脆弱性,防御者需关注频域特征对齐和梯度正则化作为潜在防御思路,并评估自研模型对类似攻击的鲁棒性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)