该论文研究智能体式视频生成系统中的验证器污染问题。在这类“生成器—验证器”闭环中,LLM 先规划分镜并调用文生视频模型,再由多模态评审模型判断产出是否满足用户要求。为便于定位长流程中的失败环节,近期评测框架会有意把视频之外的信息一并交给评审模型,包括智能体的执行轨迹、规划文本、合成旁白等。作者提出的核心问题是:在视频帧保持完全不变的前提下,这些辅助文本是否会改变评审模型对“纯视觉要求”的判定? 作者构建了含 109 段生成视频(每段两个事件)的基准集并人工标注,标注区分“所请求事件在画面上确实完成”与“确实缺失”。实验显示:当执行轨迹声称工具调用成功时,三个开源权重 Qwen-VL 评审模型(7B、8B、32B)会把 78%~90% 的失败样本判为通过,而无文本时该比例仅 7%~19%;反过来给出与事实矛盾的轨迹,可使最多 100% 的正确视频被拒。即便明确提示“只依据画面帧判断”,效应依旧存在。前沿闭源评审模型在同批样本上基本不受影响,说明该脆弱性源于评审模型对工具日志的学习式信任,而非任务本身难度。 作者进一步指出,规划派生的文本不含任何与具体视频片段相关的信息,因此它只能整体平移评审模型的判定阈值;在“修复循环”中,这种平移形成真实通过率的上限,任何修复策略都无法超过,且该上限与仿真结果在小数点后两位吻合。更值得警惕的是,该污染无需对抗性智能体即可触发:一个诚实、始终重新生成的 LLM 规划器最终得到评审通过率 1.00,而人工标注通过率仅 0.28;另一条流水线中,廉价检查器把自身结论写入执行轨迹,从而将错误洗白并传导给更强的最终评审模型,产生 0.69 的误接受率。

该论文系统性地研究了视频生成模型（VGM）产生不安全内容（如暴力、恐怖、色情、政治敏感等）的风险。作者首先从4chan和Lexica等来源收集可能诱导不安全内容生成的提示词，并使用三种开源最先进视频扩散模型（如VideoFusion、ModelScope等）生成视频，经过滤后从5607个原始视频中筛选出2112个候选不安全视频。通过聚类和主题编码，归纳出五类不安全视频：扭曲/怪异、恐怖、色情、暴力/血腥和政治。经IRB批准，招募403名在线参与者对视频进行标注，最终确认937个不安全视频，并构建了首个VGM生成不安全视频数据集。针对现有防御方法（输入过滤或输出过滤）的不足，论文提出一种名为潜在变量防御（LVD）的新方法，该方法在模型内部采样过程的初始阶段检测不安全样本，通过分析潜在空间中的中间表示来判断是否生成不安全内容。实验表明，LVD在三个开源模型上分别达到0.99、0.92和0.91的防御准确率，且在对抗性提示和图像到视频扩散模型上准确率均超过0.90。与基线方法相比，LVD在大规模采样时可将时间和计算资源降低10倍。此外，LVD还能与其他防御方法组合使用以提升整体性能。论文将公开数据集和代码。