该论文首次系统研究了视觉-语言模型（VLM）中遗忘（unlearning）的跨模态迁移问题。现有机器学习遗忘技术主要用于移除大型语言模型中的危险知识，但VLM同时处理文本和视觉输入，遗忘在一个模态中是否会自动迁移到另一个模态是一个关键安全问题。作者在三种主流VLM架构上进行了双向迁移实验：LLaVA-1.5（MLP投影）、InstructBLIP（Q-Former）和IDEFICS（门控交叉注意力）。实验发现遗忘确实会在模态间迁移，但迁移是不对称且不完整的。例如，文本遗忘可以强烈迁移到视觉输入，但这种鲁棒性在排版攻击（typographic attacks）下被破坏，之前遗忘的知识可以轻易恢复，表明存在浅层遗忘。为了解决迁移差距和浅层鲁棒性问题，作者提出了CrossInf，一种基于影响力引导的缓解策略。该方法基于观察：不同模型组件对跨模态迁移的贡献不同，因此将遗忘聚焦于对跨模态泛化影响最大的Transformer块。CrossInf在强融合架构中将迁移差距减少一半以上，同时保持模型效用，并将排版攻击的成功率降至接近零。作者还通过三位标注者的众包评估（κ=0.77）验证了发现，并使用 centered kernel alignment（CKA）分析了浅层遗忘，为观测到的迁移行为和鲁棒性限制提供了见解。

本文提出首个统一框架，用于对文本生成、文本到图像、图像到文本三种模态的生成模型进行成员推理攻击（MIA）。现有方法针对单一模态设计，无法跨模态适用。作者发现一个模态无关的观察：生成模型的输出分布可近似其训练数据分布。利用这一特性，他们在共享嵌入空间中建模模型生成输出与辅助非成员样本的分布，通过似然比检验进行成员推理。在严格黑盒设置下（部分知识/零知识威胁模型），针对微调数据和预训练数据进行了广泛实验。结果表明，该方法在跨模态场景下优于针对单一模型类优化的现有最先进方法。这是首个跨模态统一MIA研究，为评估生成模型隐私风险提供了通用工具。

本文提出一种针对大型视觉语言模型（LVLMs）的新型跨模态提示注入攻击方法CrossMPI。传统提示注入攻击通常局限于单一模态（如仅文本或仅图像），无法实现跨模态的提示扰动，即注入的提示只能影响模型对单一输入的解释。CrossMPI通过图像仅扰动实现跨模态注入，能够同时操纵模型对文本和视觉输入的解释。其核心创新在于将注入提示的扰动优化目标从视觉嵌入空间（约10^5参数）转向模型隐藏状态空间（约10^7参数），该空间负责多模态信息整合，从而增强攻击效果。为解决大参数空间优化带来的挑战，作者提出两项策略：一是层选择策略，识别对多模态整合最关键的网络层；二是距离递减扰动预算分配策略，根据像素与语义关键区域的距离递减分配扰动预算。实验表明，该方法在多个LVLMs和数据集上显著优于基线方法。本文揭示了LVLM在跨模态安全性方面的潜在漏洞，适合安全研究人员、多模态AI开发者及对抗攻击研究者阅读。

该论文研究了多模态编码器（如CLIP）在跨模态检索和评估任务中存在的“中心点”（hubness）问题。在高维嵌入空间中，某些嵌入点（称为hub）会与大量不相关样本具有高相似度，这可能导致跨模态相似性计算的异常。作者提出了一种方法，能够识别出这样的hub嵌入以及对应的hub文本。具体地，他们通过分析嵌入空间的分布特性，找到那些在多个查询中频繁成为近邻的嵌入点，并据此生成或筛选出hub文本。实验在MSCOCO和nocaps的图像描述评估任务，以及MSCOCO和Flickr30k的图像到文本检索任务上进行。结果表明，存在单个hub文本，其与大量图像计算得到的相似度分数，不合理地达到甚至超过了人工撰写的参考描述。这揭示了当前跨模态编码器的脆弱性：攻击者可能利用此类hub文本操纵检索结果或评估指标。论文的主要贡献是系统性地展示了hubness对跨模态编码器的实际威胁，并提供了诊断方法。适合关注多模态AI安全、信息检索鲁棒性的研究人员阅读。