视觉验证码是区分人类与自动程序的常用防御，但随着视觉语言模型(VLM)和智能代理(agent)的发展，其有效性受到挑战。已有研究表明VLM无需特定训练即可解决部分视觉CAPTCHA，然而基于VLM构建的智能体每次遇到同类挑战都会从头开始尝试，第一百次与第一次在时间和计算成本上没有差别。另一方面，专用目标检测器虽然能快速回答，但仅限于训练时见过的类别，且两者都不具备从经验中改进的能力。 本文探索了一个新维度：如果求解器能够在使用过程中不断学习，安全态势会发生什么变化。作者构建了一个混合系统，将经过微调的YOLOv8目标检测器与一个开放权重的VLM相结合，并通过基于置信度的路由器决定由哪个组件作答。系统完全基于屏幕截图和操作系统输入事件运行，不借助浏览器自动化或访问DOM，因此在真实桌面环境中更通用。实验表明，该方案在16类CAPTCHA上取得了85.4%的总准确率和84.2%的宏平均准确率，显著优于任意单一组件。 更关键的贡献是“从每次交互学习”的闭环：VLM生成的每个答案同时被当作该CAPTCHA实例的训练标签，使检测器能够吸收其从未训练过的新类别，通常仅需一两次露面即可学习，且无需人工标注。这种自训练机制不仅帮助系统适应新题型，还赋予其自我修复能力。作者模拟了恶意CAPTCHA运营商对公开检测器进行对抗扰动，可将检测器准确率降至0%，但由于扰动不影响VLM，VLM产生的正确标签使检测器能够在后续迭代中康复。在长达一年的军备竞赛模拟中，即使运营商每月更换扰动方式，求解器仍能每轮恢复，且一个约70%准确率的廉价开源VLM教师模型在辅助硬化方面可与完美“oracle”效果相当。 研究结论指出，依赖“失败的机器人会一直失败”这一假设的视觉验证码防御策略，严重低估了自适应求解器的回归速度与学习能力。该工作对验证码安全设计、人机识别以及AI代理的对抗鲁棒性研究均具有启示意义。

本文提出了一种名为元自适应多模态越狱（Meta-Adaptive Multimodal Jailbreaking, MAMJ）的新型攻击方法，用于系统性评估大型视觉语言模型（VLM）的安全性。现有越狱攻击在元层面大多是静态的：基于模板的方法固定了图像与文本的布局，而迭代方法虽然能调整图像与文本内容，但攻击策略和攻击者参数保持不变。MAMJ 突破了这一局限，将攻击者本身作为优化目标，同时优化两个维度：攻击策略提示（ASP）θ 用于指导攻击迭代过程，以及攻击者权重 φ 用于决定攻击的有效性。该方法通过多组攻击轨迹，先利用基于 LLM 的评判器精炼 θ，再以分组聚合的攻击成功率（ASR）作为奖励信号更新 φ，从而实现攻击者自身的自适应进化。在 MM-SafetyBench 基准上，MAMJ 对 GPT-4o、Gemini-3-Pro-Preview 和 Seed 2.0 分别达到了 81.0%、78.9% 和 82.3% 的攻击成功率，比最强的样本级基线高出最多 24.1 个百分点。此外，学习到的攻击者配置（θ*, φ*）不需要重新训练即可迁移到未见过的受害模型，且在代表性防御机制下仍能保持有效性。这些结果揭示了前沿 VLM 在元自适应越狱面前存在系统性漏洞，提示防御者需要针对元级对手设计更加鲁棒的防护策略。本文适合 AI 安全研究者、红队工程师以及关注大模型安全的蓝队人员阅读，以理解多模态攻击的最新演进方向并评估自身系统的风险。

该论文提出了一种面向视觉语言模型（VLM）的可编程后门攻击方法，挑战了传统后门攻击“静态绑定”的假设。传统攻击中，触发器与目标输出在训练阶段固定绑定（一对一或N对N），攻击者无法在推理时动态选择目标。本文作者证明，仅需一次中毒训练，即可在VLM中植入可编程后门，使攻击者能在推理阶段任意指定未见过的目标字幕语义，并即时生成对应的隐蔽触发器。该方法包含两个核心组件：一是启发式中毒策略，通过向模型暴露多样的触发器-字幕对，促使模型学习“触发器即指令”的通用规则，而非记忆特定模式；二是基于特征空间的触发器隐写方法，将攻击者指定的目标字幕映射为隐蔽视觉触发器，可实现为范数受控的扰动或非语义补丁。将这些触发器嵌入任意图像后，即可诱导中毒VLM生成与选定目标字幕语义对齐的输出，即使该目标在中毒阶段从未出现。实验表明，该方法实现了较高的任意到任意字幕控制成功率，保持模型干净状态下的可用性，并在多种经典后门防御下依然有效。该研究揭示了VLM后门威胁的动态性和可扩展性，对AI安全评估具有重要参考价值。适合VLM安全研究者、AI红队和模型部署方阅读。

本文研究第三方移动代理（Agent）应用中的安全漏洞，重点关注基于视觉语言模型（VLM）的自动化手机交互代理。这些代理通过截图感知设备状态并依赖VLM推理执行动作，拥有高权限决策能力。与传统移动应用相比，代理与环境的交互方式引入了新的攻击面。作者总结了代理应用与普通应用在环境交互中的关键差异，分析了代理的安全姿态，并识别出两类独特攻击面：屏幕感知攻击面（利用人类与机器视觉之间的差异）和误用通道攻击面（拦截或操纵代理执行管线）。他们设计并实现了七种具体攻击，包括隐式文本注入、不可见像素区域利用、截图篡改以及主机PC命令注入等。在五个流行的移动代理框架上的评估表明，恶意应用可以在无需任何特权权限的情况下劫持代理动作并执行任意命令，同时保持对用户视觉上的不可见。这些发现揭示了自主代理设计中的根本信任错配，并强调了在多租户平台上需要感知感知安全模型的紧迫性。

该论文提出了一种针对移动图形用户界面（GUI）代理的新型提示注入攻击方法，命名为MIRAGE（Mobile Injection of Realistic Adversarial GUI Examples）。移动GUI代理通常由视觉-语言模型（VLM）驱动，它们通过分析屏幕像素来感知界面，并基于所见内容选择操作，因此无法可靠地区分受信任的界面元素和用户生成的内容。MIRAGE利用这一弱点，在不修改代理、应用程序或操作系统的情况下，通过将攻击者控制的文本嵌入到普通的用户生成内容区域（如评论区、输入框等），将良性移动截图转化为提示注入样本。管道分为三个阶段：首先，定位器（Localizer）识别截图中的用户可控区域；其次，生成器（Generator）合成上下文相关的对抗性负载，并以应用程序的原生样式渲染到这些区域；最后，审查器（Curator）对生成样本的真实性进行过滤，并在不同应用、区域类型和攻击意图之间保持平衡。一个关键挑战是，注入后的截图必须在视觉上与真实的用户内容难以区分，同时仍能成功诱导代理执行恶意操作。通过在包含10个应用和11种攻击意图的1111个样本基准上测试，所有五种被评估的VLM代理均存在漏洞，攻击成功率在23%至30%之间。此外，与先前最先进的攻击方法相比，MIRAGE生成的截图在人类真实性评估中得分更高（满分为5分，MIRAGE得3.02，先前方法得2.52）。研究还发现，单个样本的真实性与攻击成功率之间不存在相关性，因此仅依靠视觉质量过滤无法可靠地防御此类威胁。该工作揭示了移动GUI代理面临的新型安全风险，并为后续防御研究提供了基础。

大型语言模型（LLMs）和视觉语言模型（VLMs）在展现强大能力的同时，仍容易受到越狱攻击（jailbreaking attacks）的威胁，攻击者利用文本或视觉触发器绕过安全护栏。现有的防御方法通常依赖安全微调或外部过滤器来降低模型生成有害内容的概率，但这类方法往往带来显著的计算开销，并面临安全-效用权衡问题，即损害模型在良性任务上的表现。为了应对这些挑战，本文提出EVA（Editing for Versatile Alignment against Jailbreaks）框架，首次将直接模型编辑（direct model editing）应用于安全对齐。EVA将安全对齐重新定义为一种精确的知识修正任务：不是重新训练大量参数，而是识别并精准编辑那些导致模型易受有害指令影响的特定神经元，同时保持模型绝大多数参数不变。通过局部化更新，EVA有效中和有害行为，而不损害模型的通用推理能力。大量实验表明，EVA在LLMs和VLMs上均优于基线方法，在缓解越狱攻击方面提供了精确且高效的解决方案，适用于部署后的安全对齐。

本论文研究视觉语言模型（VLM）作为可信权威时面临的安全威胁。作者提出了一种新型攻击范式——AI权威洗钱（AI authority laundering）：攻击者通过对图像施加人眼几乎不可察觉的对抗性扰动，诱导VLM对错误的视觉输入产生自信且权威的回应。与越狱攻击或提示注入不同，该攻击不破坏模型的对齐（alignment），而是完全作用于感知层面，因此传统安全防护措施难以检测。作者利用公开可用的CLIP模型生成对抗性样本，成功迁移至多个商业生产级VLM，包括GPT-5.4、Claude Opus 4.6、Gemini 3和Grok 4.2。实验覆盖四个攻击面：放大错误信息、贬低个人、逃避内容审核以及操纵产品推荐。在身份操纵和NSFW（不适宜工作场所）内容规避的数百次攻击中，六种模型的成功率在22%至100%之间。值得注意的是，攻击并未使用新颖算法，而是采用十余年前已知的基本对抗性技术，这表明攻击者的能力下限已经足以构成实际威胁。作者认为，视觉对抗鲁棒性现在是一个实际且尚未解决的安全问题。该研究适合VLM开发者、安全工程师及AI政策制定者阅读。

本文系统研究了视觉语言模型（VLM）在自动驾驶场景中的对抗性迁移性。随着VLM在自动驾驶中的应用日益广泛，其结合视觉感知与语言推理的能力提升了可解释性，但物理世界对抗攻击的迁移性风险尚未被充分探索。本文针对三种代表性VLM架构（Dolphins、OmniDrive、LeapVAD），在十字路口和高速公路两种场景下，使用可物理实现的补丁攻击（放置于路边基础设施）进行跨架构迁移性评估。实验通过迁移矩阵评估，发现跨架构攻击具有高有效性：十字路口场景的迁移率为73-91%（平均0.815），高速公路场景为73-91%（平均0.833）。即使在补丁未针对目标模型优化的情况下，攻击在64.7-79.4%的关键决策窗口内仍能持续操控帧级输出。结果表明，攻击者无需知道目标车辆的具体模型，即可利用可迁移的物理补丁干扰VLM决策，对自动驾驶安全构成严重威胁。本研究首次量化了VLM在自动驾驶中的对抗迁移性，揭示了跨架构攻击的实际风险。