该论文关注新视角合成(Novel View Synthesis, NVS)模型生成图像的多视角几何一致性问题,并将其引入多媒体取证场景。NVS 模型能够从不同视点生成同一场景的逼真新视图,但这些生成视图彼此之间往往并不满足严格的几何一致性,这一特性此前主要被用于评价 NVS 模型质量,而在多媒体取证(尤其是跨大基线图像对中定位几何不一致区域)中的价值几乎未被探索。为填补该空白,作者首先构建并公开了 DeformView——一个面向宽基线多视角场景的数据集,提供像素级几何不一致标注,为训练与评测取证模型提供监督信号。基于该数据集,作者系统评测了现有最先进的 MV 一致性评分方法,发现这些面向 NVS 评价设计的方法在"几何不一致定位"这一取证任务上迁移效果很差,说明评价指标与取证定位目标之间存在明显差距。针对该问题,作者提出 DEFECt3R——一个轻量级、基于学习的分类器,利用跨视角特征关系在像素级别定位几何不一致区域。其关键设计在于引入显式监督,包括来自几何一致但存在形变的视图所构成的困难负样本,从而在提升定位性能的同时显著降低误报率。消融实验进一步表明,特征表示方式与跨视角对应关系质量都对最终定位性能有实质贡献。整体上,该工作论证了多视角几何一致性是多媒体取证中一个前景广阔但尚待深入挖掘的信号,并为宽基线多视角图像对的几何不一致定位建立了基准数据集与基线方法。代码与数据集已在 GitHub 公开(IDLabMedia/DeformView-DEFECt3R)。
💡 推荐理由: 随着 NVS/生成式图像在多视角内容中普及,伪造图像不再局限于单张篡改,跨视角几何不一致可作为新的取证线索。该工作提供了公开数据集与像素级定位基线,对深度伪造检测、图像真实性核验和内容来源鉴别有直接参考价值。
🎯 建议动作: 研究跟进