#t2v-jailbreak

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Tianmeng Fang, Jiancheng Wang, Chen Wang, Liming Wang, Wei Wang, Jiayang Liu, Xiaochun Cao

这篇 arXiv 论文关注文生视频(T2V)模型的安全对齐与越狱(jailbreak)攻击评估问题。作者指出,已有 T2V 越狱研究主要追求"更有效"或"更隐蔽"的候选攻击样本;但在真实部署、带安全防护的 T2V 系统中,视频生成与安全评估的开销都很高,攻击者实际上无法对大规模候选池逐一试错。为此,论文把 T2V 越狱重新建模为"查询受限条件下的候选分配与排序问题",并提出 TempQ-Jail 方法。该方法一方面融合多种异质机制以扩大候选覆盖面,另一方面从四个维度估计每个候选的端到端攻击价值:安全门(安全过滤器)通过情况、危险视觉内容生成能力、原始用户意图的保持程度、以及时间维度的有效性;在此基础上对候选排序,使高价值候选能在有限的查询轨迹中尽早出现。实验在 CogVideoX-5B 上开展,使用从 T2VSafetyBench 衍生的 70 个常见可行意图,并与 6 种代表性 T2V 越狱方法在统一协议下对比。结果显示,TempQ-Jail 的 TP-ASR@5 与 TP-ASR@10 分别达到 48.9% 和 65.4%,较最强基线提升 4.6 和 4.0 个百分点;同时取得最高 AUC-TP(0.469)与最低 AvgQ(平均查询数 6.3)。对查询轨迹、候选分配、失败归因与消融实验的分析表明,在有限查询预算下,该方法能更有效地识别并优先排序具备完整攻击潜力的候选。适合从事 AI 安全对齐、多模态生成模型红队评测与治理的研究者和安全工程师阅读。

💡 推荐理由: 它揭示了在"查询预算有限"这一更贴近真实部署的约束下,T2V 越狱风险仍可被量化并显著提升(TP-ASR@5/10、AUC-TP、AvgQ 等指标),为多模态生成模型的防护评估与红队基准提供了可对照的测量口径。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)