#vision-language-model

共收录 13 条相关安全情报。

← 返回所有主题
👥 作者: Qiankun Li, Yuechen Zhang, Bowen Chen, Shilinlu Yan, Zhenhong Zhou, Kun Wang, Li Sun

该论文关注大型视觉语言模型(LVLM)在推理加速中被广泛采用的视觉 token 压缩技术所引入的安全盲区。压缩能显著降低推理成本,但现有鲁棒性评估多用聚合指标,无法回答一个关键归因问题:某次对抗性失败究竟是由压缩过程新增的,还是原本就继承自底层模型本身?作者将这类问题形式化为“压缩特异性失败”(Compression-Specific Failure, CSF)——即同一对抗输入在全 token 推理下仍然输出正确,但在压缩后推理下失败,从而把压缩带来的风险转化为一个成对失败归因问题。围绕这一界定,作者在受控诊断队列中开展反事实实验,发现“保留集分配”(即压缩时哪些视觉 token 被保留)会因果性地改变压缩后的正确性,并且在该被移出的证据上,模型恢复能力与表征漂移之间存在负相关关系,说明证据在压缩过程中发生表征偏移会削弱模型纠错能力。基于这些发现,作者提出 CIRA(Compression-Induced Risk Attack),一种针对 LVLM 的压缩诱发风险攻击方法:在视觉编码器白盒设定下,通过编码器侧的目标函数优化图像扰动,使其在多个候选压缩预算下操纵 token 优先级排序,同时尽量保持被移出证据的信息;该方法不需要下游问题或标签,也无需访问语言模型、实际部署的压缩器或确切的压缩预算。实验在 12 组数据集-压缩器组合、4 种压缩预算下评估,平均 CSFR 达 20.35%,而全 token 攻击成功率仅为 6.92%,在其他 LVLM 系列上表现类似。作者还提出跨视图选择稳定化防御,可大幅抑制 CIRA,但自适应版 CIRA 能部分恢复效果。结论是:压缩特异失败在受限访问条件下依然持续存在,建议对全 token 与压缩推理进行成对评估,以正确归因视觉 token 压缩带来的风险。

💡 推荐理由: LVLM 普遍靠视觉 token 压缩降本,但现有评测只看聚合鲁棒性,会把“压缩新增的漏洞”误判为模型固有缺陷,从而漏掉压缩模块这一独立攻击面。该工作给出成对归因框架与可度量的压缩特异失败指标,提醒安全团队把压缩器纳入威胁模型并单独评估。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Hao Chen

该论文提出 MAD-Guard,一个针对封闭式多模态取证任务的输出-决策接口受控研究框架,核心问题是:当多模态表示已经计算完成后,对于“输入复杂度高、输出熵低”的封闭取证判定(如真伪二分类),是否仍有必要进行自回归生成?作者在匹配的 Qwen3-VL-8B 骨干上,使用 2,400 条 FakeClue 训练样本与 LoRA(r=16、α=32)微调,在华为昇腾 910C NPU 上系统比较了一组递进的决策接口:AR-SFT(自回归生成)→ Logit Slice(词表切片)→ Binary Direct Head(二分类直接头)→ +choice → +act → CLM-Head,并把单次推理延迟分解为骨干表示(53.12 ms)、151,643 维词表投影(+85.04 ms,累计 138.16 ms)以及自回归解码(+248.26 ms,累计 386.42 ms)。结果显示,在 1 对 1 二分类监督(BCE 损失)下,二分类直接头把延迟降低 2.60×–7.27×(回落到 53.12 ms),校准误差改善 1.88×(ECE 0.0450 对 0.0845),代价是准确率下降 1.80%(93.10% 对 94.90%,ROC-AUC 0.9795 对 0.9871),作者将其归因于放弃了词元先验。若要超过 AR-SFT,可通过多任务归因与不确定性门控(+choice+act:96.44% 准确率、0.9940 ROC-AUC、ECE 0.0187,延迟 53.71 ms),或采用解耦对比头 CLM-Head(保留语义先验而不做词元解码:二分类 96.55%、多任务 96.44%、ECE 0.0166、7 类归因 98.79%,延迟 54.42 ms)。在来自五个基准的 5,000 张样本外图像上,该框架在合成图、伪装图与文档伪造上表现良好(GenImage 96.44%、Chameleon 97.73%、Doc 91.84%),但在压缩人脸篡改上存在明显边界(FF++ ROC-AUC 仅 0.5913)。

💡 推荐理由: 为多模态取证与内容审核的工程落地提供可量化证据:在输出熵低的封闭判决任务上,直接决策头可将延迟降低 2.6–7.3 倍并改善校准,且给出昇腾 NPU 实测数据;同时明确指出压缩人脸篡改仍是薄弱边界。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yanming Xiu

该论文研究视频透视扩展现实(Video See-Through XR, VST XR)系统中长期被忽视的“人机视图错位”问题。研究背景是:当前大量 VST XR 应用(尤其是集成视觉语言模型 VLM 的智能助手、场景理解、无障碍辅助系统)习惯用头显截屏或相机采集帧作为“用户第一人称视觉上下文”的代理,并默认这两者是等价的。作者指出这一假设并不成立:截图记录的是一个规则的矩形、机器可读的帧,而用户在头显中真正能有效看到的区域受视场角限制、光学畸变、眼动与注视点、佩戴贴合度等因素影响,往往更窄且呈非矩形。论文的核心方法是对两者关系进行形式化建模,将空间划分为三部分:共可见区域(人与系统都能感知)、仅系统区域(截图里有但用户看不到)、仅人眼区域(用户能看到但截图未覆盖)。作者在 Meta Quest 3 上开展了试点级(pilot-level)的可见边界测量,实测结果显示矩形截屏框与近似的人眼可见边界之间存在明显错位,验证了模型假设。在此基础上,论文进一步分析视图错位如何影响基于截屏的 XR 感知流程及下游 VLM 任务,并通过四个代表性案例研究展示其潜在风险与失效模式:提示注入(人类不可见区域中的内容仍可被模型读取并当作指令)、隐私泄露(截图捕获了用户本人未意识到的敏感内容)、人类不可见信息偏置(模型基于用户看不到的信息做出判断),以及人类可见信息缺失(用户看到的关键内容未被系统采集)。结论认为视图错位不只是几何伪影,而是会给 AI 集成的 VST XR 系统引入安全、隐私与可靠性风险的系统性设计缺陷。该论文适合 XR 平台开发者、VLM 应用集成者、人机交互与隐私安全研究者阅读。

💡 推荐理由: 揭示了 XR 截屏与 VLM 管线中一个被普遍默认成立的错误前提:系统看到的等于用户看到的。攻击者可利用用户视野外的内容对 AI 助手实施提示注入,或让隐私内容在用户无感知的情况下进入截屏与云端推理,属于新形态的输入面风险。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haoyang Li, Yaxin Xiao, Linyan Dai, Jiawen Fu, Zi Liang, Jason Xue, Qingqing Ye, Haibo Hu

该论文关注多模态训练数据投毒这一供应链安全问题。多模态模型依赖从外部渠道收集的图像-文本语料,攻击者可在其中注入经过精心构造的样本:这些样本本身看起来是合理的图文对,不暴露检测器所依赖的异常特征,因此表面干净的数据仍可能在训练后把模型行为导向攻击者期望的目标。作者并不直接提出新的攻击或防御启发式,而是先追问一个根本问题——投毒集合要维持攻击有效性,必须保留哪些性质?他们的分析结论是:小规模投毒集仍要在训练过程中产生足够的集体影响力,而这种影响力可分解为攻击模式出现的频率,以及携带该模式的样本对模型施加影响的联合强度。基于这一分析,论文设计了六个语料级特征,分别刻画跨模态邻域结构、重复出现的文本模式,以及文本片段被擦除后样本统计量的变化,且全部特征都不需要训练受害模型即可计算。在此之上提出 TraceGuard:一种自适应的基于排序的过滤方法,它综合多个互补特征的排序结果,以特征间排序一致性(rank agreement)来判定可疑样本;随后通过共享模式对候选集合进行精炼,并针对每个语料自适应地调整剔除阈值,整个流程无需预先知道攻击类型与投毒比例。实验覆盖 19 种攻击配置,涉及图像-文本对比学习、生成式视觉-语言模型微调以及编码器迁移测试。TraceGuard 平均剔除 98.4% 的投毒样本,同时误删 5.4% 的干净样本;在过滤后语料上重新训练,19 种配置中有 13 种的残余攻击指标不超过 1%。等量剔除对照实验与消融实验分别支持样本选择模块和自适应剔除阈值的贡献。压力测试也暴露了局限:面对自适应攻击时可能出现检测失败,而在完全无毒的语料上会产生不必要的剔除。

💡 推荐理由: 多模态训练数据常来自不可信的外部抓取,投毒可在不触发单点异常的情况下改变模型行为。该工作给出无需训练受害模型的语料级检测思路与可复现的评估口径,对数据供应链治理有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 3.6
Conf: 50%
👥 作者: Suphannee Sivakorn, Samantha Gottlieb

该论文系统评估了 Google reCAPTCHA 视觉挑战在当前开源本地模型能力下的可破解程度,作者为 Suphannee Sivakorn 与 Samantha Gottlieb。研究背景是:reCAPTCHA 自 2007 年推出以来,是部署最广泛的视觉人机验证服务,被数十万网站用于抵御凭证填充、批量注册、自动化表单滥用等机器人攻击,长期被视为有效防线。此前已有工作证明商业云端视觉语言模型(VLM)可以求解视觉验证码,但每次尝试都存在可观的金钱成本,因而难以大规模滥用,客观上构成一道经济门槛。本文的核心问题是:这道门槛是否依然成立?作者对 reCAPTCHA 做了较全面的测量与梳理,提出挑战类型分类法:Type A 为多张相互独立的图像块(又分静态与动态子变体),Type B 为单张图被切成 4x4 网格的选图任务,两类任务需要不同的求解策略。基于此,作者设计了零样本、零成本的求解方案,完全建立在开源本地模型之上:Type A 使用 CLIP,单挑战准确率约 58%;Type B 使用 OWLv2,准确率约 43.5%,全程无需训练模型、无需调用任何 API。将上述单点能力编排为端到端自动化解算器后,在 500 次真实 reCAPTCHA 会话中取得 92.6% 的会话级成功率。论文进一步指出,非技术背景的攻击者仅用自然语言指令驱动一个普通商用 AI 助手即可完成同类任务,攻击者的实际技能门槛被压到接近零,这从根本上改变了基于挑战的验证码威胁模型。作者同时观察到,reCAPTCHA 正逐渐转向基于信誉的验证机制,但视觉挑战式回退路径仍然长期存在,并因此成为整条防御链中最薄弱的一环,提示基于视觉挑战的验证码可能已走到使用寿命的终点。论文适合安全研究者、风控与反自动化团队、以及负责账号安全与反机器人策略的工程师阅读。

💡 推荐理由: 它证明破解 reCAPTCHA 的成本已从“按次付费的云 API”降到“本地免费开源模型”,且非技术人员可借通用 AI 助手完成,攻击者技能与资金门槛双双归零,直接影响凭证填充、批量注册等自动化滥用场景的现有防护假设。

🎯 建议动作: 纳入内部评估:由风控/反自动化团队复核当前视觉挑战的剩余防护价值,验证信誉型与行为型信号的覆盖面

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Oguzhan Salman, Kemal Bicakci

随着基于大语言模型(LLM)的智能代理(Agent)逐步渗透网络应用,视觉验证码正面临一种新的机械化威胁。以往专用检测器很慢或只处理固定类别,而视觉语言模型(VLM)能类人地看图识字,但每轮都从零开始推理,并不会从接触中积累经验。本论文提出一种可在每次交互中持续学习的验证码求解器架构:它由一个微调的 YOLOv8 快速检测器与一个开放权重 VLM 组成,通过置信度路由器协作,输入仅依赖截图与操作系统输入事件,不接入浏览器自动化或 DOM。在 16 类真实视觉验证码上,该系统获得了 85.4% 的整体准确率与 84.2% 的平均宏准确率,显著优于单独使用任一组件。其核心机制是“自我标注回环”——VLM 对每一个问题生成的答案都自动作为新的训练标签回流给检测器,使检测器逐步学习它原本没有训练过的类别,通常仅需遇到一两次,且无需人工标注。该回环还具备自修复能力:当 CAPTCHA 运营者能针对公开的检测器权重施加对抗扰动,并使其单独准确率降至 0% 时,VLM 的语义标签仍不受扰动影响,检测器借这些标签可快速恢复。论文用一个为期一年的对抗博弈模拟指出,即使运营方每月更换新的抗破解扰动,自适应求解器每一轮都能恢复;用约 70% 准确率的廉价开源 VLM 作为教师,也能达到接近完美 oracle 的强化效果。这个结果打破了“验证码一旦被绕过就会长期难以回归”的传统认知,提醒安全社区:仅仅依靠静态题库或局部对抗补丁不足以对抗能自我进步的机器智能。该研究对 CAPTCHA 服务设计者、风控团队与 AI 安全研究者均有重要参考价值。

💡 推荐理由: 视觉验证码一直被广泛用作反自动化防线,本文证明一个自我学习的 VLM/YOLO 混合求解器能快速掌握未知验证码新类别,且能在对抗扰动下自行恢复。安全运营者需要警惕其动摇现有注册/登录风控假设的潜力。

🎯 建议动作: 纳入内部评估

排序因子: 有可用补丁/修复方案 (+3) | 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haoran Chang, Mingzhe Chen, Qianqian Zhang

本文针对无线边缘网络中语义通信的隐私泄露问题,提出了一种基于视觉语言模型(VLM)的隐私保护语义通信框架。传统语义通信通过传输高层语义特征而非原始比特来提升频谱效率,但多设备协作和跨模态传输会通过设备间语义融合和跨模态表示泄露敏感信息。为此,作者设计了一个边缘服务器维护的隐私数据库,VLM从中提取图像中的文本语义并识别隐私敏感实体。每个设备在传输图像前,先移除被标记的隐私区域,同时保留有用语义内容;服务器端则利用文本嵌入和VLM语义先验,从接收到的掩码图像中重建被移除的区域。为了保护文本信息,作者利用无线信道的互易性生成物理层密钥,设计了无需预共享密钥的加密语义信道收发机。此外,引入语义信息瓶颈来抑制多设备间的冗余信息。评估部分针对一个强大的模型感知对手(可窃听无线传输并获取边缘设备模型参数,但无法访问服务器端数据)进行了仿真。结果表明,与无隐私保护的语义通信方案相比,该方法将隐私泄露降低了50%以上;同时,授权服务器在感知重建质量上比攻击者提高了48%。估计的传输表示与原始数据的互信息接近0比特,说明有效抑制了跨设备的语义冗余。该研究为无线边缘网络中的多模态语义通信提供了隐私保护新思路,适合语义通信、边缘智能和隐私计算方向的研究人员阅读。

💡 推荐理由: 语义通信是6G候选技术,本文首次将VLM用于边缘语义通信的隐私保护,通过物理层密钥和语义瓶颈实现可量化的隐私增益,对无线边缘场景下的数据安全设计有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

该论文研究视觉语言系统(VLM)在基于答案保留的攻击下置信度读数的鲁棒性。作者提出一个信息性-可操作性边界(informativeness-manipulability frontier),用于刻画攻击者在保持生成答案逐字节不变的前提下,能够操纵模型置信度输出的程度。在可到达性假设下,不可移动的置信度读数无法胜过答案字符串准确率先验(合并值为0.617)。独立于该假设,低于可测阈值的均匀幅值证书可保证对抗性判别高于同一底线。作者在四个视觉语言模型、三个视觉问答基准、五个部署置信度通道和两个防御估计器上进行了实验,发现直接或代理攻击能产生逐项可行的扰动,并在所有84个估计器-单元组合中反驳该统一证书。进一步,协调的正确性标签感知攻击将对抗性判别降至或低于答案字符串底线,在所有60个部署通道单元中均如此,包括59个初始高于该底线的单元。隐藏状态干预和开放文本模型激活空间复制表明,类似的置信度移动可在表示层面诱导,而不仅依赖对抗图像。测试的四个防御家族在各自评估下均未建立稳健替代方案。在置信度门控模拟中,协调的token概率攻击转移到隐藏状态门控后,高达84.8%的先前被拒绝的错误答案被接受;按基准自然正确率重新加权后,转移场景下12个单元中有8个、直接门控攻击下所有12个单元的接受准确率均低于无门控基线。结论是:在所研究的威胁模型和预算下,置信度是完整性敏感的监督信号,而非内在稳健的信号。该工作适合研究对抗鲁棒性、VLM安全、以及依赖置信度过滤的部署者阅读。

💡 推荐理由: 许多实际系统将置信度作为拒绝低质量答案的门控信号,该研究揭示攻击者可在不改变答案的情况下操纵置信度,导致门控失效。对依赖VLM安全过滤的蓝队而言,这意味着置信度本身不可作为可靠防线,需引入额外校验机制。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haoyu Zhang, Zhuoxi Wang, Shibo Zheng, Zijian Xiao, Xiangchen Guan, Mohammad Zandsalimy, Shanu Sushmita

该论文针对视觉语言模型(VLM)的安全防御问题,指出现有安全分类器(guard)作为主要黑盒防御手段,仅审查输入的表面形式而忽略其语义,导致恶意请求可以通过集合论、形式逻辑、罕见语言、代码或文本图像等编码方式绕过guard,形成“解码差距”。为了弥补这一缺口,作者提出了一个guard无关的“恢复-解码-重新守护”(Recover, Decode, Reguard)放大模块,在guard之前将图像内容转录并将编码文本还原为明文请求,使任何现成的分类器都能筛查真实意图。评估采用最严苛的攻击者假设:一个由十一种攻击组成的集合,只要任一攻击成功即判定为行为被击破(best-of-suite,遵循AutoAttack),这在越狱防御研究很少被报告。实验覆盖五个guard与两个目标VLM,结果显示:无防御时集合攻击可突破89-91%的行为;即使加上放大模块,最佳guard仍留下63-65%的失败率,且相对于单独使用guard,仅在十个guard-目标组合中有四个显著增益。进一步添加模块化的重新守护层可弥补大部分残余风险,但会使校准良好的guard对良性输入的过度拒绝率升至81-92%;而唯一保持可用性的宽松guard又无法达到部署级安全性(集合攻击成功率48%)。总之,在所研究的流水线以及针对表示转换攻击(即编码和跨模态渲染,留下可读载荷,而非像素或嵌入级攻击)下,没有任何配置能同时实现低攻击成功率和低过度拒绝。论文贡献包括:提出该放大模块、采用集合评估使安全-效用权衡可见,并绘制了基于恢复的VLM防御的有效区域与失效边界。

💡 推荐理由: 该研究揭示了当前VLM安全防御在编码攻击下的根本性缺陷,证明仅靠分类器表面检查无法保证安全,并给出可复现的集合评估方法,帮助蓝队理解安全与可用性的权衡。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammed Aldeen, Muhammad Sami Irfan, Sagar Dasgupta, Long Cheng, Mizanur Rahman, Mashrur Chowdhury

该论文针对自动驾驶汽车(AV)依赖全球导航卫星系统(GNSS)进行定位和导航,易受欺骗攻击(如轨迹重定向、急停等)的问题,提出了首个基于视觉-语言模型(VLM)的GNSS欺骗检测框架。方法创新地融合了前置摄像头视觉数据与车载传感器读数(速度、加速度、偏航率),并与GNSS导出的机动行为进行对比。作者设计了三阶段微调流程:首先对齐视觉线索,然后在共享语义空间中校准传感器数据,以检测在三种攻击场景下预测机动与GNSS导出机动之间的差异。为验证模型跨区域泛化能力,团队在阿拉巴马州塔斯卡卢萨县公共道路上采集了实车数据集(含时间同步的GNSS、IMU和相机日志),并生成了智能欺骗攻击样本,包括带道路网络匹配的轨迹镜像(错误转弯攻击)、位置冻结(过冲攻击)和漂移生成(停车攻击)。实验表明:零样本VLM基线F1分数仅为23%-32%,而微调后的模型F1分数达到94%-95%;错误转弯和停车攻击分类准确率100%,过冲攻击准确率88%-93%。此外,引入自适应推理策略将VLM调用次数降至14%(计算量减少约86%),每4秒窗口处理时间为65-73毫秒,证明了该方法作为实际道路上补充信号级完整性检查的防御层的可行性。

💡 推荐理由: 首次将VLM应用于自动驾驶GNSS欺骗检测,通过多模态融合实现高精度(>94% F1)且低计算开销(86%推理减少),为自动驾驶安全提供了新颖的感知级防御思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Xingwei Zhong, Varun Sharma, Kar Wai Fok, Vrizlynn L. L. Thing

本文提出 DE-FIVE,一种无需重新训练的全新框架,用于检测针对视觉语言模型(VLM)的恶意图像提示。VLM 结合视觉和文本模态,但视觉模态的引入扩大了攻击面,例如对抗扰动和间接提示注入攻击,这些攻击通过精心构造的恶意图像提示诱导模型产生意外输出。现有防御方法通常需要大量数据集重新训练或部署额外复杂分类器,且缺乏专门针对间接提示注入的防御机制。DE-FIVE 利用傅里叶域特征和视觉编码器的隐藏状态表示(图像向量嵌入)实现混合检测策略:黑盒检测器基于傅里叶域特征,白盒检测器利用少量恶意样本导出的图像向量嵌入。实验结果表明,DE-FIVE 在检测恶意图像提示方面持续优于现有最先进基线。主要贡献包括:提出一种无训练、高效的检测框架;融合傅里叶特征和嵌入特征;设计黑盒和白盒双检测器;在标准数据集上验证有效性。本文适合从事 VLM 安全、对抗攻击防御和提示注入检测的研究人员阅读。

💡 推荐理由: 恶意图像提示攻击对 VLMs 构成严重威胁,现有防御不足。DE-FIVE 提供无需训练、高效的检测方案,填补了间接提示注入防御的空白。

🎯 建议动作: 研究跟进,评估框架在自身VLM环境中的适用性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hao Yang, Zhuo Ma, Yang Liu, Yilong Yang, Guancheng Wang, JianFeng Ma

本文提出一种针对大型视觉语言模型(LVLMs)的新型跨模态提示注入攻击方法CrossMPI。传统提示注入攻击通常局限于单一模态(如仅文本或仅图像),无法实现跨模态的提示扰动,即注入的提示只能影响模型对单一输入的解释。CrossMPI通过图像仅扰动实现跨模态注入,能够同时操纵模型对文本和视觉输入的解释。其核心创新在于将注入提示的扰动优化目标从视觉嵌入空间(约10^5参数)转向模型隐藏状态空间(约10^7参数),该空间负责多模态信息整合,从而增强攻击效果。为解决大参数空间优化带来的挑战,作者提出两项策略:一是层选择策略,识别对多模态整合最关键的网络层;二是距离递减扰动预算分配策略,根据像素与语义关键区域的距离递减分配扰动预算。实验表明,该方法在多个LVLMs和数据集上显著优于基线方法。本文揭示了LVLM在跨模态安全性方面的潜在漏洞,适合安全研究人员、多模态AI开发者及对抗攻击研究者阅读。

💡 推荐理由: 该研究首次实现仅通过图像扰动就能同时影响LVLM对文本和图像的解释,拓展了提示注入的攻击面,对多模态AI系统的安全部署构成威胁。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ahmad Albarqawi, Mahmoud Nazzal, Issa Khalil, Abdallah Khreishah, NhatHai Phan

随着深度伪造技术的快速发展,生成逼真的虚假数字内容对媒体真实性构成严重威胁。传统的深度伪造检测方法在面对定制化、复杂的深度伪造时,泛化能力和鲁棒性往往不足。本文提出了一种名为ViGText的新方法,该方法创新地将图像与视觉大语言模型(VLLM)的文本解释相结合,并基于图神经网络(GNN)框架进行深度伪造检测。ViGText的核心在于利用详细的解释文本而非简单的标题,提供更丰富的上下文信息,从而捕捉细微的不一致性。具体而言,ViGText将图像划分为多个补丁,分别构建图像图和文本图,并通过GNN整合分析。方法还采用了跨空间域和频率域的多级特征提取,以增强对复杂深度伪造的检测鲁棒性。大量实验表明,ViGText在泛化性能上显著提升:在泛化评估中,平均F1分数从72.45%提升至98.32%;面对用户定制化的稳定扩散模型变体时,表现出优异的泛化能力。鲁棒性方面,ViGText的召回率相比其他方法提升了11.1%。针对利用其图架构的定向攻击,ViGText将分类性能下降限制在4%以内。本研究为深度伪造检测设立了新标准,有助于维护媒体真实性和信息完整性。

💡 推荐理由: ViGText结合视觉语言模型与图神经网络,显著提升了深度伪造检测的泛化能力和鲁棒性,为安全团队应对日益复杂的AI生成虚假内容提供了新思路。

🎯 建议动作: 研究跟进,评估将ViGText集成到现有深度伪造检测管道的可行性。

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)