本研究聚焦于多模态大语言模型(MLLM)中一种新的安全风险——跨模态安全漂移。视觉模态虽然增强了模型的能力，但也为攻击者提供了新的利用路径：一段在纯文本场景下看似无害的查询，一旦配上特定的视觉图像，就可能表达出被模型间接解读的恶意意图，而模型往往不会像对明确有害文本那样触发拒答。作者首先通过实证分析，总结了几种典型的不安全响应模式，揭示了这些场景下模型的薄弱环节。随后通过模型表示和注意力机制的可解释性分析，发现视觉上有风险的关键线索仅获得有限的注意力，难以有效触发模型的拒绝行为。基于“文本安全处理中的安全信号可被迁移”这一观察，作者提出了安全感知表示转移(SRT)方法。SRT是一种轻量级、基于方向调整的干预手段，在完全冻结MLLM骨干参数的情况下，通过调整模型内部表示中的安全相关方向，使模型在面对视觉诱发的恶意请求时也能维持正确的安全偏好。多个基准和不同规模模型的实验表明，SRT不仅能在多种跨模态组合中显著提升模型的安全响应率，同时不会明显损害正常任务的处理能力，即保持了实用性。该研究为MLLM安全对齐提供了新视角和一种低成本的可落地方案，并开放了源码。

MMJailBench 是一个用于解耦多模态大语言模型（MLLM）越狱漏洞成因的因子化基准。现有越狱基准通常将有害意图、提示框架、视觉语义和指令载体混合在单个越狱样例中，导致无法准确定位漏洞的具体来源。MMJailBench 通过系统化地变化和组合这些因素，在受控配置下实现细粒度比较和因子级归因。研究者在 16 个开源和专有 MLLM 上进行了大规模评估，发现越狱漏洞具有高度异质性和模型依赖性：不同有害领域的漏洞差异显著，暴露出当前多模态安全对齐覆盖不均的问题；提示框架是漏洞变异的主要来源；任务相关的视觉语义会系统性提高越狱成功率，其中带有权威性线索的视觉内容尤为危险；而视觉渲染的指令相比直接文本指令，并不持续增加越狱成功率。此外，作者对一个代表性开源模型进行了诊断分析，识别出内部表征和跨模态交互中与漏洞相关的模式。最后，他们构建了一个模块化的多模态越狱评估套件，支持完整和轻量级配置、多种评判器选项以及多维指标，以实现可复现、可扩展且成本高效的多模态越狱审计。该研究的主要贡献在于提出了因子化归因方法，揭示了漏洞异质性来源，并提供了实用评估工具。适合关注多模态安全对齐、越狱防御及模型风险评估的研究人员和安全工程师阅读。

本文针对智能家居助手在引入多模态大语言模型（MLLM）后产生的新型安全挑战展开研究。随着智能家居助手开始直接感知视频和音频，它们面临一个独特问题：如何区分真实用户指令与环境中看似指令的干扰内容，例如电视语音、屏幕文字、无意听到的对话等。作者提出了 PromptShield-Home，一个模拟真实智能家居场景的基准测试，涵盖多义指令（addressee ambiguity）、屏幕/音频注入、健康监测误触发、混合居住环境以及合法指令基线等情形。他们比较了三个抽象层次：传统检测器（L0）、单一MLLM代理（L1，包括纯视觉、视觉+ASR、音视频融合）以及多代理协调机制（L2，包括投票、角色分工、跨模型仲裁）。由于标签分布偏向于不执行，常规准确率指标具有误导性——一个永远阻止所有指令的常量分类器也能达到82%的准确率，因此作者分别报告了不安全执行率和安全完成率。研究发现两种范式呈现相反的错误模式：传统检测器对所有输入都做出反应，而所有MLLM配置都过度拒绝，几乎无法完成任何真实指令，并且在所有测试用例中都未能识别出真实的跌倒事件。关键在于，两种范式的正确集合完全不重叠：一个理想化的oracle（总是选择正确层次）可以达到94.1%的准确率，而最佳单一层次仅为76.5%。作者将此作为上限而非现成系统报告，因为并未实现路由器，他们主张家庭代理的安全应依赖于学习式路由和传感器融合，而非仅仅用MLLM替代传统检测器。本文适合智能家居安全、多模态LLM安全、人机交互以及可信AI领域的研究人员阅读。

本文系统研究了移动图形用户界面（GUI）智能体在任务执行中面对系统权限弹窗时的权限授予能力，将该能力定义为“权限素养”（Permission Literacy）。作者构建了一个基于任务相关性和隐私风险的四级权限框架，并通过三位独立专家对评估场景进行验证。研究将Android风格的权限弹窗注入真实GUI任务，使用同步注释的截图和UI树层级，让请求者、权限、理由和可用操作对智能体可见，对四个前沿多模态大语言模型进行了评估。实验发现：在相同的Calendar任务中，仅将请求者从Calendar改为PiMusic，授权次数从26/32骤降至0/32，揭示了一种强但受任务条件的“应用信任偏差”（App-Trust Bias）；而保持弹窗固定、改变任务上下文也会显著改变授权决策，表明存在系统的“任务优先覆盖”现象。进一步的干预实验显示，提示干预可以减少不必要的授予，但其有效性在不同模型间不一致，并且可能以抑制合法授权为代价。基于这些结果，文章提出将任务执行与权限授权分离是未来工作的一个有前景的设计方向。这项研究揭示了当前多模态模型在细粒度权限控制上的局限性和行为偏差，对构建安全可信的移动GUI智能体具有重要指导意义。

该论文对多模态大语言模型（MLLMs）的推理时防御方法进行了比较实证评估。背景：MLLMs在安全关键场景中应用增多，但视觉通道使其易受对抗攻击，而主要面向文本的安全对齐只能部分应对。重新训练模型以适应每种新漏洞类成本过高。因此，研究聚焦于推理时防御。方法：在InternVL和Qwen-VL系列共8个模型上，针对4种攻击类别、7个安全基准、总计9000个评估样本，评估了三种推理时防御方法（安全提示、SmoothVLM、以及它们的组合）的效果。使用统一的代理分类器进行评估。主要发现：1）没有单一防御在所有设置中占优，效果取决于模型基线安全水平和攻击类型。2）直接组合防御会导致良性查询的过度拒绝率高达97-100%，而单独SmoothVLM也达99.2-100%。3）简单的安全提示能保持大部分效用（过度拒绝率0.0-18.2%，其中5个模型低于7%，两个超过15%），同时带来中等安全性提升。4）不同攻击类在不同的基准下暴露出不同弱点，凸显了多基准评估的重要性。5）在两项模型的初步白盒测试（n=20）中，文本级防御抑制了原本无防御时成功的PGD视觉攻击：防御作用于输出阶段，梯度优化在该配置下影响有限。结论：结果支持自适应防御选择而非单一固定防御配置。适合安全研究人员、LLM开发者和部署者阅读。

本文系统性地研究了多模态大语言模型（MLLMs）中的隐私风险。与文本大语言模型（LLMs）不同，MLLMs同时处理文本和图像，图像中嵌入的敏感信息可能被模型提取并泄露。作者首先构建了MM-Privacy综合数据集，覆盖多种多模态任务和场景，定义了表露风险（Disclosure Risks）和留存风险（Retention Risks）。然后，他们使用MM-Privacy对多个MLLM进行了系统评估，发现模型在不同任务中均存在泄露敏感信息的问题。此外，论文还揭示了任务不一致性（task inconsistency）在隐私风险中的角色，并强调了制定缓解策略的紧迫性。实验结果表明，MLLMs的隐私风险不容忽视，亟需防护措施以防止数据暴露。该研究为多模态AI的隐私保护提供了基准和方向，适合安全研究人员和AI开发者阅读。

该论文提出了一种名为分布式语义重组（DSR）的新型跨模态越狱攻击框架，旨在绕过多模态大语言模型（MLLM）的安全防护。现有安全措施主要针对单模态文本输入进行拦截，但跨模态攻击可能通过图像等非文本载体隐藏恶意意图。DSR的核心思想是将有害意图分解为一组良性的文本和视觉基元（例如无害的短语和图片），这些基元单独看来不包含危险内容，但经过模型的推理和跨模态融合后，能在输出端组合成有害信息。这种方法利用MLLM强大的指令遵循和推理能力，使得模型自身成为攻击的助力。该框架无需在输入中携带任何显式有害内容，因此难以被现有基于输入过滤的安全机制检测。实验在多个商业MLLM流水线上进行，结果显示DSR实现了极高的攻击成功率，同时输入毒性极低甚至可忽略不计。该工作揭示了MLLM中存在的“效用-安全悖论”：模型越能准确理解并执行复杂指令，就越容易被利用来生成有害输出。论文还讨论了防御方向，如加强跨模态推理阶段的监控和输出过滤。研究贡献在于首次系统性地提出并验证了纯良性输入导致有害输出的跨模态攻击范式，对MLLM安全设计具有重要警示意义。

多模态大语言模型（MLLM）在文本模态中学习到的安全能力往往无法泛化到语义等价的非文本输入（如图像、视频），导致持续的多模态安全差距。本文从表示几何的角度研究这一现象，通过分析文本对齐的拒绝方向（refusal direction）和模态引起的漂移方向（drift direction），发现多模态输入会压缩沿拒绝方向的可分离性，使得该方向不再可靠地识别和拒绝有害输入，作者将此失效模式命名为“安全几何崩溃”（Safety Geometry Collapse）。为了量化该崩溃，论文提出了条件拒绝可分离性（conditional refusal separability）指标，并证明模态漂移越强，拒绝可分离性越弱，攻击成功率越高。通过固定强度的激活干预实验，作者验证了模态漂移的因果作用：沿估计的漂移方向反向干预可以恢复拒绝可分离性并提升多模态安全性。有趣的是，在漂移校正后，模型展现出自我纠正（self-rectification）现象，即在前向传播过程中自动恢复识别和拒绝有害多模态输入的能力，该效应还提供了模型对输入危害程度的内部信号。基于这一信号，作者提出ReGap（Rectify Gap），一种无需训练的推理时自适应漂移校正方法。在多个多模态安全基准和实用基准上的实验表明，ReGap能够显著提升MLLM的安全性，且不损害通用能力。该研究揭示了表示级别的模态对齐对于实时安全改进和构建更安全可靠MLLM的关键作用。

该论文提出了一种名为Odysseus的新型越狱攻击范式，针对商业多模态大语言模型（MLLM）集成系统。当前的安全过滤器通常假设恶意内容必须在输入或输出中显式可见才能被检测，但多模态系统允许攻击者利用图像等多重模态隐藏恶意意图。Odysseus采用双重隐写术：首先将恶意查询（如生成有害内容的指令）通过隐写技术编码到看似正常的图像中，作为输入提交给MLLM；然后MLLM生成的响应同样通过隐写术隐藏在另一张图像中输出。整个攻击过程中，输入和输出的文本表面均无恶意内容，从而绕过基于显式文本检测的安全过滤器。实验在多个商业MLLM集成系统（如GPT-4V等）上进行，攻击成功率高达99%。该研究揭示了现有防御机制的根本盲点，即过度依赖单模态的显式内容审查，而忽视了跨模态隐写承载恶意信息的能力。论文呼吁重新设计多模态系统的安全架构，考虑跨模态一致性和隐写检测。

多模态大语言模型（MLLMs）在跨模态理解方面表现出色，但其视觉输入模块容易受到对抗攻击，即使文本安全机制完善。这些漏洞源于两个核心弱点：视觉表征的连续性允许基于梯度的攻击，以及文本安全机制无法充分迁移到视觉内容。本文提出 Q-MLLM，一种集成两级向量量化的新颖架构，通过创建离散瓶颈来抵御对抗攻击，同时保持多模态推理能力。该方法在像素块级和语义级对视觉表征进行离散化，阻断攻击路径并弥合跨模态安全对齐鸿沟。两阶段训练策略确保了鲁棒学习并维持模型效用。实验表明，Q-MLLM 在防御越狱攻击和有毒图像攻击方面显著优于现有方法，对越狱攻击实现了 100% 的防御成功率（仅有一个可争议案例除外），同时在多个效用基准上保持竞争性能，且推理开销极低。这项工作将向量量化确立了一种有效的防御机制，无需昂贵的专门安全微调或检测开销。