#data-filtering

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Haoyang Li, Yaxin Xiao, Linyan Dai, Jiawen Fu, Zi Liang, Jason Xue, Qingqing Ye, Haibo Hu

该论文关注多模态训练数据投毒这一供应链安全问题。多模态模型依赖从外部渠道收集的图像-文本语料,攻击者可在其中注入经过精心构造的样本:这些样本本身看起来是合理的图文对,不暴露检测器所依赖的异常特征,因此表面干净的数据仍可能在训练后把模型行为导向攻击者期望的目标。作者并不直接提出新的攻击或防御启发式,而是先追问一个根本问题——投毒集合要维持攻击有效性,必须保留哪些性质?他们的分析结论是:小规模投毒集仍要在训练过程中产生足够的集体影响力,而这种影响力可分解为攻击模式出现的频率,以及携带该模式的样本对模型施加影响的联合强度。基于这一分析,论文设计了六个语料级特征,分别刻画跨模态邻域结构、重复出现的文本模式,以及文本片段被擦除后样本统计量的变化,且全部特征都不需要训练受害模型即可计算。在此之上提出 TraceGuard:一种自适应的基于排序的过滤方法,它综合多个互补特征的排序结果,以特征间排序一致性(rank agreement)来判定可疑样本;随后通过共享模式对候选集合进行精炼,并针对每个语料自适应地调整剔除阈值,整个流程无需预先知道攻击类型与投毒比例。实验覆盖 19 种攻击配置,涉及图像-文本对比学习、生成式视觉-语言模型微调以及编码器迁移测试。TraceGuard 平均剔除 98.4% 的投毒样本,同时误删 5.4% 的干净样本;在过滤后语料上重新训练,19 种配置中有 13 种的残余攻击指标不超过 1%。等量剔除对照实验与消融实验分别支持样本选择模块和自适应剔除阈值的贡献。压力测试也暴露了局限:面对自适应攻击时可能出现检测失败,而在完全无毒的语料上会产生不必要的剔除。

💡 推荐理由: 多模态训练数据常来自不可信的外部抓取,投毒可在不触发单点异常的情况下改变模型行为。该工作给出无需训练受害模型的语料级检测思路与可复现的评估口径,对数据供应链治理有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)