#data-selection

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Kaiyang Li, Jiahao Chen, Yuwen Pu, Chunyi Zhou, Tong Zhang, Bin Cai, Chunqiang Hu, Haibo Hu

该论文研究的是大语言模型(LLM)微调阶段的数据投毒问题,指出了一个被此前工作普遍忽略的盲区。既有研究通常假设投毒样本会原封不动地进入下游微调流程,但在真实训练流水线中,数据往往先经过基于质量的数据筛选(selection/filtering)才会被使用。作者因此系统性地评估了两件事:一是质量筛选本身对投毒样本的过滤能力,二是被筛选保留下来的数据对下游安全对齐的影响。实验结果显示,质量筛选确实能剔除大量明显有害的样本,但仍有相当一部分被判定为「高质量」的样本能够削弱模型的安全对齐,其原因很可能在于这些样本在逐层梯度层面表现出与有害样本相似的训练更新模式。由此作者提出一个现实可被利用的脆弱性:具有安全退化影响的样本可以借助「高质量」的外衣穿过质量筛选这道关口。为验证这种脆弱性的系统可利用程度,作者提出 Bi-Stage Quality-Constrained Safety-Degradation Text Optimization(Bi-QSTO),其思路是在显式的质量约束下优化投毒样本,使其既能通过质量筛选、又能保留削弱安全对齐的能力。跨多种投毒设置、多个目标模型和不同过滤率的实验表明,Bi-QSTO 在筛选前后都能维持攻击有效性;即便在 90% 的过滤率下,有害种子样本的投毒保留率(Poisoning Retention Rate)仍高于 90%,有害评分(Harmful Score)达到 3.30–4.01;其攻击有效性还能较强地跨模型迁移,保留优势也可泛化到其他数据筛选方法。整体而言,论文的核心贡献在于提出「质量筛选并非安全防线」这一结论,并给出了可量化的验证方法与指标,适合关注 LLM 训练数据供应链安全、微调对齐鲁棒性以及数据筛选流水线设计的研究者与安全工程师阅读。

💡 推荐理由: 它打破了「数据质量筛选可顺带过滤投毒」的常见假设:经过质量筛选保留的高质量样本仍可能削弱模型安全对齐,甚至在 90% 过滤率下保持高保留率与高有害评分。任何依赖第三方或众包数据做微调的团队都需要重新评估其筛选环节的安全价值。

🎯 建议动作: 研究跟进,并将相关评估指标与方法纳入内部数据筛选与微调安全评审流程

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)