#multimodal-forensics

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Hao Chen

该论文提出 MAD-Guard,一个针对封闭式多模态取证任务的输出-决策接口受控研究框架,核心问题是:当多模态表示已经计算完成后,对于“输入复杂度高、输出熵低”的封闭取证判定(如真伪二分类),是否仍有必要进行自回归生成?作者在匹配的 Qwen3-VL-8B 骨干上,使用 2,400 条 FakeClue 训练样本与 LoRA(r=16、α=32)微调,在华为昇腾 910C NPU 上系统比较了一组递进的决策接口:AR-SFT(自回归生成)→ Logit Slice(词表切片)→ Binary Direct Head(二分类直接头)→ +choice → +act → CLM-Head,并把单次推理延迟分解为骨干表示(53.12 ms)、151,643 维词表投影(+85.04 ms,累计 138.16 ms)以及自回归解码(+248.26 ms,累计 386.42 ms)。结果显示,在 1 对 1 二分类监督(BCE 损失)下,二分类直接头把延迟降低 2.60×–7.27×(回落到 53.12 ms),校准误差改善 1.88×(ECE 0.0450 对 0.0845),代价是准确率下降 1.80%(93.10% 对 94.90%,ROC-AUC 0.9795 对 0.9871),作者将其归因于放弃了词元先验。若要超过 AR-SFT,可通过多任务归因与不确定性门控(+choice+act:96.44% 准确率、0.9940 ROC-AUC、ECE 0.0187,延迟 53.71 ms),或采用解耦对比头 CLM-Head(保留语义先验而不做词元解码:二分类 96.55%、多任务 96.44%、ECE 0.0166、7 类归因 98.79%,延迟 54.42 ms)。在来自五个基准的 5,000 张样本外图像上,该框架在合成图、伪装图与文档伪造上表现良好(GenImage 96.44%、Chameleon 97.73%、Doc 91.84%),但在压缩人脸篡改上存在明显边界(FF++ ROC-AUC 仅 0.5913)。

💡 推荐理由: 为多模态取证与内容审核的工程落地提供可量化证据:在输出熵低的封闭判决任务上,直接决策头可将延迟降低 2.6–7.3 倍并改善校准,且给出昇腾 NPU 实测数据;同时明确指出压缩人脸篡改仍是薄弱边界。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)