#data-drift

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Michael Levit, Josh Ledgard, Haoyu Dong, Vishwas Suryanarayanan, Eyal Kolman, Sharon Tan, Qiang Gan, Vishal Chowdhary

本文提出了 ProxyDrift 框架,用于在大型语言模型(LLM)应用的大规模部署中,在不接触原始用户数据的前提下进行数据漂移检测与评估集恢复。核心问题在于:隐私约束使得无法直接检查用户交互,从而难以获得代表性评估数据集或跟踪生产流量的持续演化。ProxyDrift 完全基于非 PII(个人身份信息)的代理表示运行,这些代理表示是从 LLM 对用户交互进行分类而得到的结构化多维描述符。框架包含四个关键组件:(1) 机会校准且冗余感知(RA)的对齐分数,通过互信息聚合各维度的漂移测量结果;(2) 条件采样器,生成尊重维度间依赖关系的合成代理数据;(3) 往返一致性分析,暴露生成器与分类器之间的分歧并引导代理分类法的改进;(4) 反馈关联分析,将各维度和各取值的代理分布与用户满意度联系起来,揭示可操作的失败与成功模式。该系统已服务数亿用户,实现了连续漂移监控和定向合成数据生成,且不暴露敏感用户数据。实验结果表明:往返一致性较强,合成查询与人工查询在判别器层面难以区分,端到端对齐分数(RA~0.9)与生产流量紧密匹配。本文主要面向 LLM 应用运维、隐私保护机器学习以及模型评估与监控方向的研究人员和工程师。

💡 推荐理由: LLM 应用在生产环境面临隐私性与可观测性的矛盾,ProxyDrift 提供了一种无需访问原始数据即可监测数据漂移并更新评估集的方案,对合规要求严格的 SOC/ML 运维团队具有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)