本文针对视觉 Transformer（ViT）在对抗攻击下的脆弱性展开系统研究。ViT 已成为现代视觉-语言模型的基础架构，但其对抗鲁棒性不足，需要专门的对抗训练（AT）策略。作者首先指出现有最先进的 AT 方法（如 Generalist 和 DBAT）与 ViT 存在显著不兼容性。接着，论文从互信息（MI）角度进行理论分析，证明在基于自编码器的自监督预训练中，对抗样本与其潜在表示之间的互信息应通过导出的 MI 界限进行约束。基于此洞察，作者提出一种自监督 AT 方法 MIMIR，该方法通过掩码图像建模和自编码器，引入互信息惩罚项来增强对抗预训练。在 CIFAR-10、Tiny-ImageNet 和 ImageNet-1K 上的大量实验表明，MIMIR 能够持续提升自然准确率和鲁棒准确率，在 ImageNet-1K 上全面超越现有最先进方法。此外，MIMIR 对未知攻击和常见损坏数据表现出卓越的鲁棒性，还能抵御完全知晓防御机制的自适应攻击。代码和训练模型已开源。本研究适合对抗机器学习、视觉安全领域的研究人员和工程师阅读。

本文提出一种基于自监督学习的模型提取攻击方法，旨在同时实现数据集缩减和水印移除。传统模型提取攻击通常需要大量查询和完整训练数据，且可能保留原始模型的水印。作者利用自监督学习（如对比学习）从目标模型中提取知识，仅需少量未标记样本即可训练一个紧凑的替代模型。该方法通过构建正负样本对进行对比学习，使替代模型模仿目标模型的表示空间，从而在减少数据集规模（例如仅需原始数据集的10%）的同时，有效消除嵌入在目标模型中的水印。实验在多个图像分类数据集（CIFAR-10, CIFAR-100, SVHN）和不同架构（ResNet, VGG）上进行，结果显示替代模型在保持高准确率（接近目标模型）的同时，水印移除成功率显著高于基线方法。该研究揭示了自监督学习在模型窃取中的潜力，对模型水印保护机制构成新挑战。