本文提出一种针对大型视觉语言模型（LVLMs）的新型跨模态提示注入攻击方法CrossMPI。传统提示注入攻击通常局限于单一模态（如仅文本或仅图像），无法实现跨模态的提示扰动，即注入的提示只能影响模型对单一输入的解释。CrossMPI通过图像仅扰动实现跨模态注入，能够同时操纵模型对文本和视觉输入的解释。其核心创新在于将注入提示的扰动优化目标从视觉嵌入空间（约10^5参数）转向模型隐藏状态空间（约10^7参数），该空间负责多模态信息整合，从而增强攻击效果。为解决大参数空间优化带来的挑战，作者提出两项策略：一是层选择策略，识别对多模态整合最关键的网络层；二是距离递减扰动预算分配策略，根据像素与语义关键区域的距离递减分配扰动预算。实验表明，该方法在多个LVLMs和数据集上显著优于基线方法。本文揭示了LVLM在跨模态安全性方面的潜在漏洞，适合安全研究人员、多模态AI开发者及对抗攻击研究者阅读。

该论文研究了多模态编码器（如CLIP）在跨模态检索和评估任务中存在的“中心点”（hubness）问题。在高维嵌入空间中，某些嵌入点（称为hub）会与大量不相关样本具有高相似度，这可能导致跨模态相似性计算的异常。作者提出了一种方法，能够识别出这样的hub嵌入以及对应的hub文本。具体地，他们通过分析嵌入空间的分布特性，找到那些在多个查询中频繁成为近邻的嵌入点，并据此生成或筛选出hub文本。实验在MSCOCO和nocaps的图像描述评估任务，以及MSCOCO和Flickr30k的图像到文本检索任务上进行。结果表明，存在单个hub文本，其与大量图像计算得到的相似度分数，不合理地达到甚至超过了人工撰写的参考描述。这揭示了当前跨模态编码器的脆弱性：攻击者可能利用此类hub文本操纵检索结果或评估指标。论文的主要贡献是系统性地展示了hubness对跨模态编码器的实际威胁，并提供了诊断方法。适合关注多模态AI安全、信息检索鲁棒性的研究人员阅读。