#self-training

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Oguzhan Salman, Kemal Bicakci

视觉验证码是区分人类与自动程序的常用防御,但随着视觉语言模型(VLM)和智能代理(agent)的发展,其有效性受到挑战。已有研究表明VLM无需特定训练即可解决部分视觉CAPTCHA,然而基于VLM构建的智能体每次遇到同类挑战都会从头开始尝试,第一百次与第一次在时间和计算成本上没有差别。另一方面,专用目标检测器虽然能快速回答,但仅限于训练时见过的类别,且两者都不具备从经验中改进的能力。 本文探索了一个新维度:如果求解器能够在使用过程中不断学习,安全态势会发生什么变化。作者构建了一个混合系统,将经过微调的YOLOv8目标检测器与一个开放权重的VLM相结合,并通过基于置信度的路由器决定由哪个组件作答。系统完全基于屏幕截图和操作系统输入事件运行,不借助浏览器自动化或访问DOM,因此在真实桌面环境中更通用。实验表明,该方案在16类CAPTCHA上取得了85.4%的总准确率和84.2%的宏平均准确率,显著优于任意单一组件。 更关键的贡献是“从每次交互学习”的闭环:VLM生成的每个答案同时被当作该CAPTCHA实例的训练标签,使检测器能够吸收其从未训练过的新类别,通常仅需一两次露面即可学习,且无需人工标注。这种自训练机制不仅帮助系统适应新题型,还赋予其自我修复能力。作者模拟了恶意CAPTCHA运营商对公开检测器进行对抗扰动,可将检测器准确率降至0%,但由于扰动不影响VLM,VLM产生的正确标签使检测器能够在后续迭代中康复。在长达一年的军备竞赛模拟中,即使运营商每月更换扰动方式,求解器仍能每轮恢复,且一个约70%准确率的廉价开源VLM教师模型在辅助硬化方面可与完美“oracle”效果相当。 研究结论指出,依赖“失败的机器人会一直失败”这一假设的视觉验证码防御策略,严重低估了自适应求解器的回归速度与学习能力。该工作对验证码安全设计、人机识别以及AI代理的对抗鲁棒性研究均具有启示意义。

💡 推荐理由: 该研究证明面向CAPTCHA的自适应求解器可借助VLM反馈持续提升,且能在对抗扰动后快速恢复,动摇“静态失败”的传统防御假设。依赖验证码作为边界的应用应重新评估风险。

🎯 建议动作: 纳入内部评估

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)