本文提出一种针对大型视觉语言模型（LVLMs）的新型跨模态提示注入攻击方法CrossMPI。传统提示注入攻击通常局限于单一模态（如仅文本或仅图像），无法实现跨模态的提示扰动，即注入的提示只能影响模型对单一输入的解释。CrossMPI通过图像仅扰动实现跨模态注入，能够同时操纵模型对文本和视觉输入的解释。其核心创新在于将注入提示的扰动优化目标从视觉嵌入空间（约10^5参数）转向模型隐藏状态空间（约10^7参数），该空间负责多模态信息整合，从而增强攻击效果。为解决大参数空间优化带来的挑战，作者提出两项策略：一是层选择策略，识别对多模态整合最关键的网络层；二是距离递减扰动预算分配策略，根据像素与语义关键区域的距离递减分配扰动预算。实验表明，该方法在多个LVLMs和数据集上显著优于基线方法。本文揭示了LVLM在跨模态安全性方面的潜在漏洞，适合安全研究人员、多模态AI开发者及对抗攻击研究者阅读。

随着深度伪造技术的快速发展，生成逼真的虚假数字内容对媒体真实性构成严重威胁。传统的深度伪造检测方法在面对定制化、复杂的深度伪造时，泛化能力和鲁棒性往往不足。本文提出了一种名为ViGText的新方法，该方法创新地将图像与视觉大语言模型（VLLM）的文本解释相结合，并基于图神经网络（GNN）框架进行深度伪造检测。ViGText的核心在于利用详细的解释文本而非简单的标题，提供更丰富的上下文信息，从而捕捉细微的不一致性。具体而言，ViGText将图像划分为多个补丁，分别构建图像图和文本图，并通过GNN整合分析。方法还采用了跨空间域和频率域的多级特征提取，以增强对复杂深度伪造的检测鲁棒性。大量实验表明，ViGText在泛化性能上显著提升：在泛化评估中，平均F1分数从72.45%提升至98.32%；面对用户定制化的稳定扩散模型变体时，表现出优异的泛化能力。鲁棒性方面，ViGText的召回率相比其他方法提升了11.1%。针对利用其图架构的定向攻击，ViGText将分类性能下降限制在4%以内。本研究为深度伪造检测设立了新标准，有助于维护媒体真实性和信息完整性。