#data-quality

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Arther Tian, Alex Ding, Simon Wu, Aaron Chan

该论文提出了一种名为 SFGA(Statistics-First Gating Architecture)的统计优先门控架构,用于解决监督微调(SFT)数据采购中的可信数据获取问题。在采购数据时,买方需要在尚未进行下游训练前判断候选数据集是否值得获取。SFGA 将采购视为一个成本感知的路由问题,围绕三个内在质量轴——多样性、实用性和冗余度——进行决策。首先通过廉价盲测生成每个轴的估计值及置信区间;门控机制仅在置信区间狭窄、样本量充足且各轴结论一致时才接受决策,否则将案例升级至由“购买倡导者”和“拒绝倡导者”法官进行的裁决性辩论,最终由主审法官做出判决。在包含12个数据集(2×3×2网格,覆盖三个质量轴)和5个随机种子的受控基准测试中,门控达到了0.90的准确率和0.83的F1分数,每单位成本为0.017美元,性能介于始终验证基线(0.75)和理想上界(0.98)之间,且成本低于始终升级(0.020美元)。论文还诚实地报告了辩论路径的负面诊断:反对方的胜率为0.80(p≈3×10⁻⁶),在倡导者交换下位置翻转率达到52%,揭示了幼稚的LLM法官会隐藏的消极性和位置偏见。作者将注入旋钮评估明确设计为受控合成基准,用于衡量保真度和路由校准,并将外部有效性留作未来工作。该研究为数据采购提供了一种成本有效且可解释的决策方法,适用于需要高质量SFT数据的LLM训练场景。

💡 推荐理由: LLM的微调高度依赖数据质量,但数据采购缺乏系统的质量保证机制。SFGA提供了一种可解释、成本感知的门控方法,能显著降低低质量数据引入风险,对构建可信AI系统具有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)