该论文提出了一种新的群体公平性度量方法——Privacy-Cost Equity Ratio (PCER),用于评估差分隐私(DP)机器学习系统中的群体公平性。传统的公平性度量主要关注模型输出(如准确率)在不同群体间的差异,但忽略了隐私成本(即信息泄露风险)的分配不公。作者认为,隐私成本本身是一种伤害,那些非自愿承担更高隐私暴露的群体应该从系统中获得比例更高的收益。基于这一补偿性公平框架,PCER被定义为群体正预测率与群体过拟合差距的比值。过拟合差距上限由标准成员推理攻击的边界推导得出,因此PCER是一个保守的收益-暴露比度量。PCER仅需要每个群体的训练和测试准确率(无需影子模型),因此是一种实用的审计工具。作者在多个基准数据集(包括表格数据和NLP领域)上,在不同隐私预算下使用DP-SGD进行评估,并与标准公平性度量进行比较。结果表明PCER能发现基于纯输出度量无法察觉的不公平模式,例如在COMPAS数据集上,受保护群体同时承受了更大的隐私暴露和更差的预测结果,而人口统计平等差距完全掩盖了这一双重劣势。敏感性分析显示,当隐私保护非常强时,所有群体的过拟合差距都趋近于零,此时基于暴露的审计失效。总之,该研究强调了对隐私保护系统进行公平性审计时,不仅需考虑谁从结果中受益,还需考虑谁承担了保护的成本。适合机器学习公平性研究者、差分隐私从业者、系统审计员阅读。
💡 推荐理由: 传统公平性审计只关注模型输出差异,忽略隐私成本分配不公;本工作提供一种实用审计工具PCER,能揭示被掩盖的双重劣势。
🎯 建议动作: 研究跟进