#vlm

共收录 10 条相关安全情报。

← 返回所有主题
👥 作者: Xiongtao Sun, Hui Li, Tiantong Wu, Jiaming Zhang, Fuyao Zhang, Wen Jun Tan

这篇论文关注视觉-语言模型(VLM)中的隐私删除问题,指出现有研究与评测体系存在一个关键盲区。作者认为,从 VLM 中抹除某个具体个人的身份信息,远比抹除单条属性困难,因为个人数据并非以孤立字段形式存储,而是跨图像、文本等多种模态相互纠缠、互为索引。然而现有的多模态遗忘(unlearning)基准大多只做"属性中心"的评测,即检查模型是否还能说出某人的年龄、职业、住址等单项属性,却忽略了更关键的目标——个体级遗忘(individual-level unlearning):让模型失去跨模态访问、关联并重建目标个体信息的能力。为填补这一空白,作者提出 IDUnlearn-Bench,声称是首个面向 VLM 的个体级多模态遗忘基准。该方法将每个个体表示为一组相互连接的多模态证据,并据此设计四个任务族来分层考察遗忘效果:属性访问(能否读出该人的具体属性)、身份访问(能否直接识别出该人)、身份绑定(能否把不同来源的记录关联到同一人)以及身份重建(能否依据模型内部知识复原该个体的画像)。作者在具有代表性的 VLM 与多种遗忘方法上进行了实验,得到两点重要发现:第一,属性中心遗忘即使表面上"成功",模型中仍可能大量残留身份级知识,即删掉了零散事实却没有删掉这个人;第二,遗忘效果可能是非单调的,压制某一类风险反而会放大另一类风险,例如某些信息被抑制后模型仍能识别目标、仍能将多条记录链接到同一人,甚至仍可重建该个体。论文由此揭示出一个根本性差距:"忘记关于某人的信息"并不等于"忘记这个人整体"。其核心贡献在于提出个体级多模态遗忘的问题定义、可操作的评测框架与四个任务族,并用实证说明现有遗忘方法的评测结论存在系统性乐观偏差,适合从事模型遗忘、多模态隐私、数据合规与模型治理的研究者和工程师阅读。

💡 推荐理由: 它说明当前多模态遗忘评测可能给出虚假的安全感:属性级删除指标达标,不代表个体身份真的从模型中被移除。对需要响应数据删除请求、做隐私合规审计或发布 VLM 的团队,这直接关系到删除是否可验证、可辩护。

🎯 建议动作: 研究跟进;建议将个体级多模态遗忘评测纳入内部 VLM 隐私删除流程的评估基线

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Md Khalid Syfullah, Alvi Ataur Khalil

该论文针对视觉语言模型(VLM)在隐私敏感与带宽受限场景下的视觉问答(VQA)任务,提出名为 QPriv-VL 的「问题引导式、隐私感知」视觉 token 剪枝框架。研究背景是:联邦学习(FL)、拆分学习(SL)与 U 型拆分学习(USL)虽然能保持原始数据本地化,但跨模型分区传输全部视觉 token 依然带来高昂通信开销,并可能通过中间表示泄露隐私信息;而现有固定比例剪枝方案不区分任务相关性与隐私敏感性,容易在压缩的同时保留敏感区域或误删回答所需的关键图像块。核心方法上,QPriv-VL 在传输前对视觉 token 进行剪枝,其关键组件是轻量级动态阈值预测器(DTP),能在单次前向传播中同时估计「样本级剪枝比例」与「token 级保留掩码」。DTP 融合两类信号:一是问题相关性,通过视觉 patch 与池化后的问题嵌入之间的跨模态相似度计算得到;二是敏感性信号,由冻结的 DINOv2 特征导出。二者结合使模型在无需敏感性标注的前提下,抑制潜在敏感区域,同时保留对回答问题有用的图像块。作者在 GQA、OK-VQA、VQAv2、SLAKE、VQA-RAD、PathVQA 六个数据集上,针对四类隐私攻击(FSHA、FORA、iDLG 以及属性推断型成员推断攻击 MIA)进行了评测。实验结果显示:DTP 在传输显著更少 token 的情况下,达到或超过固定比例剪枝的效果;在 VQA-RAD 上把成员推断攻击成功率从 0.99 降至 0.76–0.79;相对固定比例剪枝降低了 FSHA 与 FORA 的重建 PSNR;在仅使用约 40% 原始视觉 token 预算的前提下仍保持有竞争力的 VQA 准确率。此外,敏感性排除比达到 1.20±0.18,表明模型优先剔除隐私敏感图像块;可解释性分析进一步表明保留策略会随问题语义自适应调整,而非简单依据通用视觉显著性。适合拆分学习/联邦学习系统设计者、VLM 隐私保护与模型压缩方向的研究人员阅读。

💡 推荐理由: 拆分/联邦 VLM 推理中,跨分区传输的视觉 token 是通信成本与隐私泄露的双重来源。该工作给出无需敏感性标注即可在单次前向完成「任务相关性 + 隐私敏感性」联合剪枝的思路,并量化了对成员推断与重建类攻击的抑制效果,为隐私-效用-带宽三方权衡提供了可复用基线。

🎯 建议动作: 研究跟进:纳入内部隐私工程与拆分学习架构评估,复现其在自有 VQA/医疗影像数据集上的隐私-效用-带宽权衡曲线,再考虑试点部署。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Xue Tan, Xuandi Zeng, Yu Shao, Zhongli Fang, Mingyu Luo, Xiaoyan Sun, Ping Chen, Jun Dai

该论文研究的是视觉-语言检索增强生成 (VLRAG) 系统中的知识投毒问题。VLRAG 通过从外部知识库检索图像与文本证据来增强大型视觉-语言模型 (LVLM) 的回答, 使输出有据可依; 但检索管道同时构成了攻击面: 攻击者只要向知识语料注入少量图文对, 就可能通过被召回的毒化证据影响模型输出。作者指出, 现有知识投毒攻击基本都是“常开式” (always-on) 的, 即只要毒化证据被检索到就会影响生成, 缺乏精确的激活控制, 因此恶意行为难以限制在攻击者预期的输入上, 既降低了隐蔽性, 也降低了有效性 (容易在无关查询上暴露)。为此, 论文提出 ViTeGate, 一种面向 VLRAG 的双触发知识投毒框架: 使用视觉触发器有条件地把毒化证据“推”进检索结果, 再使用文本触发器诱导模型对检索到的证据给出攻击者预设的回答。两者协同实现了检索阶段与生成阶段的联合控制——缺少视觉触发时减少毒化证据的暴露, 缺少文本触发时保持正常回答, 从而降低单触发误激活带来的暴露风险。实验在多组查询数据集、多种检索器与多个 LVLM 上展开, 验证了该设计的有效性: 在 InfoSeek 数据集上攻击成功率最高可达 0.98, 同时干净输入的答案准确率最高保持在 0.93, 说明该攻击在实现高成功率的同时能较好维持正常功能表现。论文属于对抗性机器学习与多模态检索安全方向的学术研究, 适合从事 RAG/多模态系统安全、模型供应链与红队评估的读者阅读。

💡 推荐理由: 多模态 RAG 正快速进入企业知识库、图文问答等生产场景, 而本文证明检索语料投毒可以被条件触发, 传统“常开式”投毒的检测与防护假设可能失效; 安全团队需要重新评估检索层与生成层的联合可信性。

🎯 建议动作: 研究跟进, 并纳入内部多模态 RAG 系统的威胁建模与红队评估

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Benlei Cui, Shen Pang, Yuke Wang, Xuemei Dong, Yuwen Zhai, Jingqun Tang, Haiyang Yu, Hui Xue, Longtao Huang, Haiwen Hong

本文提出了一种名为元自适应多模态越狱(Meta-Adaptive Multimodal Jailbreaking, MAMJ)的新型攻击方法,用于系统性评估大型视觉语言模型(VLM)的安全性。现有越狱攻击在元层面大多是静态的:基于模板的方法固定了图像与文本的布局,而迭代方法虽然能调整图像与文本内容,但攻击策略和攻击者参数保持不变。MAMJ 突破了这一局限,将攻击者本身作为优化目标,同时优化两个维度:攻击策略提示(ASP)θ 用于指导攻击迭代过程,以及攻击者权重 φ 用于决定攻击的有效性。该方法通过多组攻击轨迹,先利用基于 LLM 的评判器精炼 θ,再以分组聚合的攻击成功率(ASR)作为奖励信号更新 φ,从而实现攻击者自身的自适应进化。在 MM-SafetyBench 基准上,MAMJ 对 GPT-4o、Gemini-3-Pro-Preview 和 Seed 2.0 分别达到了 81.0%、78.9% 和 82.3% 的攻击成功率,比最强的样本级基线高出最多 24.1 个百分点。此外,学习到的攻击者配置(θ*, φ*)不需要重新训练即可迁移到未见过的受害模型,且在代表性防御机制下仍能保持有效性。这些结果揭示了前沿 VLM 在元自适应越狱面前存在系统性漏洞,提示防御者需要针对元级对手设计更加鲁棒的防护策略。本文适合 AI 安全研究者、红队工程师以及关注大模型安全的蓝队人员阅读,以理解多模态攻击的最新演进方向并评估自身系统的风险。

💡 推荐理由: 该研究暴露了视觉语言模型在元层面的越狱脆弱性,攻击者不仅能调整攻击内容,还能自我优化攻击策略和参数,导致高成功率且可迁移至未见模型。对依赖 VLM 的安全产品和服务构成真实威胁,需引起蓝队关注。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

该论文提出了一种面向视觉语言模型(VLM)的可编程后门攻击方法,挑战了传统后门攻击“静态绑定”的假设。传统攻击中,触发器与目标输出在训练阶段固定绑定(一对一或N对N),攻击者无法在推理时动态选择目标。本文作者证明,仅需一次中毒训练,即可在VLM中植入可编程后门,使攻击者能在推理阶段任意指定未见过的目标字幕语义,并即时生成对应的隐蔽触发器。该方法包含两个核心组件:一是启发式中毒策略,通过向模型暴露多样的触发器-字幕对,促使模型学习“触发器即指令”的通用规则,而非记忆特定模式;二是基于特征空间的触发器隐写方法,将攻击者指定的目标字幕映射为隐蔽视觉触发器,可实现为范数受控的扰动或非语义补丁。将这些触发器嵌入任意图像后,即可诱导中毒VLM生成与选定目标字幕语义对齐的输出,即使该目标在中毒阶段从未出现。实验表明,该方法实现了较高的任意到任意字幕控制成功率,保持模型干净状态下的可用性,并在多种经典后门防御下依然有效。该研究揭示了VLM后门威胁的动态性和可扩展性,对AI安全评估具有重要参考价值。适合VLM安全研究者、AI红队和模型部署方阅读。

💡 推荐理由: 该研究突破了传统后门静态绑定的认知,展示VLM后门可在推理时动态控制目标,极大扩展了攻击面,提醒安全社区重新评估VLM供应链风险。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zidong Zhang, Zhentao Xie, Wenrui Diao, Jianliang Wu

本文研究第三方移动代理(Agent)应用中的安全漏洞,重点关注基于视觉语言模型(VLM)的自动化手机交互代理。这些代理通过截图感知设备状态并依赖VLM推理执行动作,拥有高权限决策能力。与传统移动应用相比,代理与环境的交互方式引入了新的攻击面。作者总结了代理应用与普通应用在环境交互中的关键差异,分析了代理的安全姿态,并识别出两类独特攻击面:屏幕感知攻击面(利用人类与机器视觉之间的差异)和误用通道攻击面(拦截或操纵代理执行管线)。他们设计并实现了七种具体攻击,包括隐式文本注入、不可见像素区域利用、截图篡改以及主机PC命令注入等。在五个流行的移动代理框架上的评估表明,恶意应用可以在无需任何特权权限的情况下劫持代理动作并执行任意命令,同时保持对用户视觉上的不可见。这些发现揭示了自主代理设计中的根本信任错配,并强调了在多租户平台上需要感知感知安全模型的紧迫性。

💡 推荐理由: 揭示了移动VLM代理在设计上的根本信任缺陷,攻击者无需权限即可劫持高权限代理,威胁用户隐私和设备安全。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

该论文提出了一种针对移动图形用户界面(GUI)代理的新型提示注入攻击方法,命名为MIRAGE(Mobile Injection of Realistic Adversarial GUI Examples)。移动GUI代理通常由视觉-语言模型(VLM)驱动,它们通过分析屏幕像素来感知界面,并基于所见内容选择操作,因此无法可靠地区分受信任的界面元素和用户生成的内容。MIRAGE利用这一弱点,在不修改代理、应用程序或操作系统的情况下,通过将攻击者控制的文本嵌入到普通的用户生成内容区域(如评论区、输入框等),将良性移动截图转化为提示注入样本。管道分为三个阶段:首先,定位器(Localizer)识别截图中的用户可控区域;其次,生成器(Generator)合成上下文相关的对抗性负载,并以应用程序的原生样式渲染到这些区域;最后,审查器(Curator)对生成样本的真实性进行过滤,并在不同应用、区域类型和攻击意图之间保持平衡。一个关键挑战是,注入后的截图必须在视觉上与真实的用户内容难以区分,同时仍能成功诱导代理执行恶意操作。通过在包含10个应用和11种攻击意图的1111个样本基准上测试,所有五种被评估的VLM代理均存在漏洞,攻击成功率在23%至30%之间。此外,与先前最先进的攻击方法相比,MIRAGE生成的截图在人类真实性评估中得分更高(满分为5分,MIRAGE得3.02,先前方法得2.52)。研究还发现,单个样本的真实性与攻击成功率之间不存在相关性,因此仅依靠视觉质量过滤无法可靠地防御此类威胁。该工作揭示了移动GUI代理面临的新型安全风险,并为后续防御研究提供了基础。

💡 推荐理由: 移动GUI代理(如智能助手、自动化测试工具)正快速普及,MIRAGE展示了一种隐蔽的提示注入攻击,威胁代理的可靠性和用户安全。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 10.6
Conf: 50%
👥 作者: Yi Wang, Hongye Qiu, Yue Xu, Sibei Yang, Zhan Qin, Minlie Huang, Wenjie Wang

大型语言模型(LLMs)和视觉语言模型(VLMs)在展现强大能力的同时,仍容易受到越狱攻击(jailbreaking attacks)的威胁,攻击者利用文本或视觉触发器绕过安全护栏。现有的防御方法通常依赖安全微调或外部过滤器来降低模型生成有害内容的概率,但这类方法往往带来显著的计算开销,并面临安全-效用权衡问题,即损害模型在良性任务上的表现。为了应对这些挑战,本文提出EVA(Editing for Versatile Alignment against Jailbreaks)框架,首次将直接模型编辑(direct model editing)应用于安全对齐。EVA将安全对齐重新定义为一种精确的知识修正任务:不是重新训练大量参数,而是识别并精准编辑那些导致模型易受有害指令影响的特定神经元,同时保持模型绝大多数参数不变。通过局部化更新,EVA有效中和有害行为,而不损害模型的通用推理能力。大量实验表明,EVA在LLMs和VLMs上均优于基线方法,在缓解越狱攻击方面提供了精确且高效的解决方案,适用于部署后的安全对齐。

💡 推荐理由: EVA提出了一种轻量级、非侵入式的安全对齐方法,通过模型编辑精准修复漏洞,避免传统微调的副作用,为LLM/VLM的部署后安全维护提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 3.5
Conf: 50%
👥 作者: Jie Zhang, Pura Peetathawatchai, Florian Tramèr, Avital Shafran

本论文研究视觉语言模型(VLM)作为可信权威时面临的安全威胁。作者提出了一种新型攻击范式——AI权威洗钱(AI authority laundering):攻击者通过对图像施加人眼几乎不可察觉的对抗性扰动,诱导VLM对错误的视觉输入产生自信且权威的回应。与越狱攻击或提示注入不同,该攻击不破坏模型的对齐(alignment),而是完全作用于感知层面,因此传统安全防护措施难以检测。作者利用公开可用的CLIP模型生成对抗性样本,成功迁移至多个商业生产级VLM,包括GPT-5.4、Claude Opus 4.6、Gemini 3和Grok 4.2。实验覆盖四个攻击面:放大错误信息、贬低个人、逃避内容审核以及操纵产品推荐。在身份操纵和NSFW(不适宜工作场所)内容规避的数百次攻击中,六种模型的成功率在22%至100%之间。值得注意的是,攻击并未使用新颖算法,而是采用十余年前已知的基本对抗性技术,这表明攻击者的能力下限已经足以构成实际威胁。作者认为,视觉对抗鲁棒性现在是一个实际且尚未解决的安全问题。该研究适合VLM开发者、安全工程师及AI政策制定者阅读。

💡 推荐理由: 揭示VLM在实际部署中因感知层攻击导致的权威滥用风险,可能被用于传播误导信息、操纵内容审核和产品推荐,而传统基于对齐的防御措施无效。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: David Fernandez, Pedram MohajerAnsari, Amir Salarpour, Mert D. Pese

本文系统研究了视觉语言模型(VLM)在自动驾驶场景中的对抗性迁移性。随着VLM在自动驾驶中的应用日益广泛,其结合视觉感知与语言推理的能力提升了可解释性,但物理世界对抗攻击的迁移性风险尚未被充分探索。本文针对三种代表性VLM架构(Dolphins、OmniDrive、LeapVAD),在十字路口和高速公路两种场景下,使用可物理实现的补丁攻击(放置于路边基础设施)进行跨架构迁移性评估。实验通过迁移矩阵评估,发现跨架构攻击具有高有效性:十字路口场景的迁移率为73-91%(平均0.815),高速公路场景为73-91%(平均0.833)。即使在补丁未针对目标模型优化的情况下,攻击在64.7-79.4%的关键决策窗口内仍能持续操控帧级输出。结果表明,攻击者无需知道目标车辆的具体模型,即可利用可迁移的物理补丁干扰VLM决策,对自动驾驶安全构成严重威胁。本研究首次量化了VLM在自动驾驶中的对抗迁移性,揭示了跨架构攻击的实际风险。

💡 推荐理由: 揭示了VLM在自动驾驶中的对抗迁移性风险,攻击者无需模型知识即可实施物理攻击,对自动驾驶安全具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)