该论文研究智能体式视频生成系统中的验证器污染问题。在这类“生成器—验证器”闭环中,LLM 先规划分镜并调用文生视频模型,再由多模态评审模型判断产出是否满足用户要求。为便于定位长流程中的失败环节,近期评测框架会有意把视频之外的信息一并交给评审模型,包括智能体的执行轨迹、规划文本、合成旁白等。作者提出的核心问题是:在视频帧保持完全不变的前提下,这些辅助文本是否会改变评审模型对“纯视觉要求”的判定? 作者构建了含 109 段生成视频(每段两个事件)的基准集并人工标注,标注区分“所请求事件在画面上确实完成”与“确实缺失”。实验显示:当执行轨迹声称工具调用成功时,三个开源权重 Qwen-VL 评审模型(7B、8B、32B)会把 78%~90% 的失败样本判为通过,而无文本时该比例仅 7%~19%;反过来给出与事实矛盾的轨迹,可使最多 100% 的正确视频被拒。即便明确提示“只依据画面帧判断”,效应依旧存在。前沿闭源评审模型在同批样本上基本不受影响,说明该脆弱性源于评审模型对工具日志的学习式信任,而非任务本身难度。 作者进一步指出,规划派生的文本不含任何与具体视频片段相关的信息,因此它只能整体平移评审模型的判定阈值;在“修复循环”中,这种平移形成真实通过率的上限,任何修复策略都无法超过,且该上限与仿真结果在小数点后两位吻合。更值得警惕的是,该污染无需对抗性智能体即可触发:一个诚实、始终重新生成的 LLM 规划器最终得到评审通过率 1.00,而人工标注通过率仅 0.28;另一条流水线中,廉价检查器把自身结论写入执行轨迹,从而将错误洗白并传导给更强的最终评审模型,产生 0.69 的误接受率。
💡 推荐理由: 它证明多智能体/LLM 流水线中“验证器可信”这一前提可被非对抗性的上下文污染击穿:执行轨迹、规划文本、上游检查器结论都会系统性偏移评审阈值,并直接转化为修复循环中无法突破的通过率上限。凡把裁判模型用于自动验收或自评的团队都应重新审视验证器的输入隔离。
🎯 建议动作: 研究跟进,并纳入内部智能体评测与裁判模型可靠性评估