#mllm

共收录 4 条相关安全情报。

← 返回所有主题
推荐 5.6
Conf: 50%
👥 作者: Benjamin Fehrensen, Jens Hubler

本文评估了通用大语言模型(LLM)在破解暗网环境中常见CAPTCHA验证码任务上的有效性。暗网CAPTCHA通常设计为无JavaScript运行,因此与主流验证码系统存在显著差异。研究选取了三种具有代表性的挑战类型:开放圆圈定位、旋转对齐和物体选择CAPTCHA。实验发现,当前多模态大语言模型(MLLM)虽能识别相关视觉结构,但在精确空间定位和几何变换处理上存在系统性缺陷。为缓解这些不足,作者提出两种途径:任务重构或为模型配备专用图像处理工具。最终,他们设计了一个混合框架,将MLLM作为高层推理与编排层,通过模型上下文协议(MCP)将几何计算委托给确定性算法。该框架在全部测试CAPTCHA类型上取得了超过90%的成功率,证明MLLM与经典计算机视觉的互补结合比任一单独方法更准确高效。研究意义在于揭示了MLLM的认知边界,并为类脑混合AI系统提供了设计范式。对安全社区而言,该工作警示CAPTCHA的有效性正面临新威胁,但也为设计更健壮的验证机制提供了参考。

💡 推荐理由: 暗网CAPTCHA是阻止自动化滥用的关键防线,本文展示通用LLM+工具可破解此类防护,提示防御者需重新评估验证码安全性,并探索抗LLM的验证码设计。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jiali Wei, Ming Fan, Mingkun Zhang, Haoyu Wang, Jun Sun, Guoheng Sun, Xiaoning Ren, Haijun Wang, Ting Liu

多模态大语言模型(MLLM)在用户端应用中日益普及,但其构建流程可能引入后门风险:触发器可能位于图像、文本或两者中。现有面向传统分类器的模型级后门移除方法对 MLLM 效果有限,而针对 MLLM 的防御大多在推理时进行,通过过滤可疑输入来缓解风险,并未真正移除模型内嵌的后门。为从源头消除 MLLM 中的潜在后门,本文提出 RACER(Region-Aware Consistency Repair)框架,其核心观察是:后门会导致内部表示在层间演化出现异常,作者称之为“层间不一致性异常”。该异常具有模态依赖性,主要集中在编码触发器特征的 token 区域。RACER 将融合表示分解为视觉和文本 token 区域,分别对其层间不一致性进行归一化,并在深层窗口上使用模态感知权重重组,形成区域感知的不一致性目标,从而更精确地捕获局部后门异常。通过最小-最大优化,该目标驱动最坏情况扰动合成和对抗微调,抑制后门行为依赖的深层表示方向性偏移。RACER 仅需 100 个干净样本,无需知道触发器、攻击目标甚至模型是否包含后门。在三个开源 MLLM、覆盖图像/文本/多模态触发器的 36 种后门设置中,RACER 将平均攻击成功率(ASR)降至 1.1%,其中 32 种设置达到 0%,同时保持后门模型和干净模型的干净任务效用。该方法为 MLLM 模型级后门修复提供了新思路。

💡 推荐理由: MLLM 后门威胁日益严峻,现有防御多在推理层过滤,无法根除。RACER 提出首个模型级修复框架,仅需少量干净样本即可有效清除后门,为安全从业者提供了治理 MLLM 原生风险的可行方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xinjian Luo, Hongyan Chang, Jianxin Wei, Yuncheng Wu, Xiaofeng Gao, Meikang Qiu, Ting Yu, Xue Liu

该论文首次系统研究了分布式多模态大语言模型(MLLM)推理框架中的图像提示重构攻击问题。分布式推理框架通过连接多个消费级设备实现大模型推理,降低了硬件门槛,但近期研究表明,参与节点间传输的中间嵌入会泄露文本提示。随着MLLM的普及,图像提示包含丰富的视觉和语义信息,其中间嵌入更具隐私敏感性,然而针对图像提示的泄露问题尚未被充分探索。本文首先分析了从图像像素到中间表示的信息流,由于图像和文本嵌入在MLLM各层中交织,作者设计了图像嵌入提取算法作为重构攻击的前提,实验表明该算法在几乎所有MLLM层上实现了100%的提取准确率。在此基础上,提出了两种被动黑盒图像重构攻击:MPAA(基于块的像素级重构)和IEDA(基于嵌入引导扩散的语义级重构)。MPAA通过逐块信息提取与组装实现细粒度像素重构,IEDA则利用嵌入引导的扩散生成实现粗粒度语义重构。在Gemma 3、Phi 4 Multimodal、Qwen 2.5 VL和Llama 4 Scout四个代表性MLLM系列上进行了评估,结果显示在不同设置下均有一致的出色重构性能。此外,还分析了MoE架构、图像预处理、模型规模和文本-图像依赖关系对攻击性能的影响。据作者所知,这是首个针对MLLM的图像重构攻击研究,揭示了分布式MLLM推理中图像隐私的严重风险。

💡 推荐理由: 该工作揭示了分布式MLLM推理中图像提示的隐私泄露风险,攻击者可从中间嵌入重构出原始图像,对使用分布式MLLM服务的用户隐私构成威胁。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Leitao Yuan, Qinghua Mao, Daizong Liu, Kun Wang, Wenjie Wang, Yan Teng, Jing Shao, Dongrui Liu

多模态大语言模型(MLLMs)尽管性能强大,但仍易受基于迁移的目标攻击:攻击者在开源代理编码器上优化扰动,该扰动可泛化至闭源MLLMs。提升对抗迁移性的关键在于有效捕获不同模型共享的内在视觉焦点,使扰动对齐可迁移的语义线索而非代理特定行为。现有方法受限于空间域特征冗余和代理特定梯度信号,阻碍了跨模型迁移性。本文提出FRA-Attack,从统一的频率域正则化视角解决这两个挑战。在特征对齐方面,对块特征使用高通DCT目标,抑制冗余全局结构并将损失集中在承载MLLMs内在视觉焦点的高频带上。在梯度优化方面,引入频率域梯度正则化(FGR),一种模型无关的低通正则化器,仅利用几何频率坐标调节代理梯度,不涉及任何代理导出统计量,因此FGR天然模型无关,去除代理特定高频伪影的同时保留可迁移的低频方向。两者结合形成统一的频率域迁移性处理。在来自7个供应商的15个旗舰MLLM上的广泛实验表明,FRA-Attack实现了优异的跨模型迁移性,尤其在GPT-5.4、Claude-Opus-4.6和Gemini-3-flash上达到最先进性能。

💡 推荐理由: 该攻击方法揭示了当前MLLMs在对抗迁移性方面的严重脆弱性,防御者需关注频域特征对齐和梯度正则化作为潜在防御思路,并评估自研模型对类似攻击的鲁棒性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)