本文关注多模态大语言模型(MLLM)在文档理解场景下的隐私泄露问题,尤其是面向身份证件等身份文档处理的领域专用MLLM。作者指出,现有研究多聚焦于通用MLLM的隐私风险,而领域专用模型在关键信息提取(KIE)任务中的独特脆弱性尚未被充分探索。当输入图像缺乏足够的视觉证据时,模型可能依赖训练数据中学到的字段关系来推断缺失内容,从而泄露多个相互关联的敏感字段(如姓名、证件号、地址等),形成关系型隐私泄露。为缓解这一风险,本文提出动态关系遗忘框架(DRUF),包含关系解耦遗忘模块(RDU)和动态集合更新机制,在不显著降低KIE性能的前提下抑制高风险字段对的泄露。同时,作者构建了DocPrivacyBench基准,用于系统评估模型在视觉证据缺失或极少情况下对隐私泄露的敏感性。基于该基准,研究评估了三种MLLM和六种遗忘方法,考察遗忘后的泄露抑制效果与工具实用性保持。实验结果表明,现有MLLM在视觉证据稀缺时普遍存在隐私泄露,且在噪声较大的数据集上更为严重;而DRUF相比最强基线将泄露抑制率提升4.8个百分点,有效缓解隐私风险并保持鲁棒的文档信息提取性能。本文为文档类MLLM的隐私保护提供了新的评估基准和有效的遗忘方法,适合从事多模态模型安全、隐私保护和文档智能处理的研究人员及安全工程师阅读。
💡 推荐理由: 文档MLLM处理身份证件等敏感信息,视觉证据不足时可能产生关系型隐私泄露。本文首个系统评估该风险并提出DRUF遗忘框架,为蓝队评估和防护此类模型提供了可用的基准与方法。
🎯 建议动作: 研究跟进