推荐 8.5
Conf: 50%
本文研究协作推理场景下大型视觉-语言模型(LVLM)的隐私泄露问题。协作推理通常将模型计算划分为边缘设备和云端两部分,边缘端保留原始输入,云端处理中间层隐藏状态,这种做法被认为可以保护隐私。然而,作者指出传输中间隐藏状态实际上暴露了严重的攻击面:尽管视觉内容已被投影到语言嵌入空间,深层LVLM隐藏状态中仍可能保留可恢复的私有信息。作者首先从理论上分析了隐藏状态的可恢复性,证明在正则性假设和正语义-噪声边界条件下,与隐私相关的视觉语义信息仍可被识别并稳定恢复。基于此理论分析,他们提出了一种名为RASR的新型多模态重建攻击。RASR通过分别反转图像和文本的正向处理流程,利用模态特定的逆路径获得初始的粗略重建,然后利用隐藏状态一致性对图像和文本重建进行精细化迭代优化。在Qwen3-VL-8B-Instruct和LLaVA-1.5-7B两个模型以及五个数据集上的实验表明,RASR相比最强基线将图像重建MSE降低了约50%,文本恢复的token准确率最高可达99%。这些结果证实,即使从深层LVLM隐藏状态中也能恢复出隐私敏感的视觉和文本信息,从而揭示协作推理的严重隐私风险。本文的核心贡献在于:首次对LVLM隐藏状态的可恢复性进行了理论分析;提出一种高效的粗到细重建攻击方法;并通过实验验证了攻击的有效性。适合关注边缘计算、隐私安全、大型多模态模型安全的研究人员和系统设计者阅读。
💡 推荐理由: 该研究揭示协作推理中'本地计算即隐私保护'这一假设的脆弱性,提醒安全社区中间隐藏状态同样需要严格保护,对边缘AI部署和隐私合规有重要警示意义。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)