#fairness

共收录 8 条相关安全情报。

← 返回所有主题
👥 作者: Rakshit Naidu

该论文提出了一种新的群体公平性度量方法——Privacy-Cost Equity Ratio (PCER),用于评估差分隐私(DP)机器学习系统中的群体公平性。传统的公平性度量主要关注模型输出(如准确率)在不同群体间的差异,但忽略了隐私成本(即信息泄露风险)的分配不公。作者认为,隐私成本本身是一种伤害,那些非自愿承担更高隐私暴露的群体应该从系统中获得比例更高的收益。基于这一补偿性公平框架,PCER被定义为群体正预测率与群体过拟合差距的比值。过拟合差距上限由标准成员推理攻击的边界推导得出,因此PCER是一个保守的收益-暴露比度量。PCER仅需要每个群体的训练和测试准确率(无需影子模型),因此是一种实用的审计工具。作者在多个基准数据集(包括表格数据和NLP领域)上,在不同隐私预算下使用DP-SGD进行评估,并与标准公平性度量进行比较。结果表明PCER能发现基于纯输出度量无法察觉的不公平模式,例如在COMPAS数据集上,受保护群体同时承受了更大的隐私暴露和更差的预测结果,而人口统计平等差距完全掩盖了这一双重劣势。敏感性分析显示,当隐私保护非常强时,所有群体的过拟合差距都趋近于零,此时基于暴露的审计失效。总之,该研究强调了对隐私保护系统进行公平性审计时,不仅需考虑谁从结果中受益,还需考虑谁承担了保护的成本。适合机器学习公平性研究者、差分隐私从业者、系统审计员阅读。

💡 推荐理由: 传统公平性审计只关注模型输出差异,忽略隐私成本分配不公;本工作提供一种实用审计工具PCER,能揭示被掩盖的双重劣势。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Vinícius Gabriel Angelozzi, Héber H. Arcolezi

该论文针对差分隐私(DP)合成表格数据中的公平性问题进行了首次系统性基准评估。研究背景是机器学习模型在高风险领域(如金融、医疗)的部署日益普遍,隐私和公平性成为关键关注点。差分隐私已成为隐私保护数据分析的金标准,而公平性机制旨在减轻对弱势群体的歧视。然而,这两项目标可能相互冲突:DP通常放大不同人口统计学群体间的差异,而现有公平性干预措施在DP约束下的有效性尚不清楚。论文的核心方法是以自适应迭代机制(AIM)作为最先进的基于边缘的DP合成器,在四个数据集上、多种群体公平性指标、三类缓解策略(预处理、处理中、后处理)以及广泛的隐私预算下评估公平性干预。比较了四种管线配置:(1)基线(原始数据训练);(2)仅DP(DP合成数据训练);(3)仅公平(在原始数据上应用公平性机制);(4)DP+公平(结合公平性机制与DP合成数据)。主要实验结果表明:仅DP会损害效用和公平性,但应用公平性干预可以部分恢复公平结果。其中,后处理方法在不同隐私预算和合成器下提供更稳定的公平-效用权衡,在保持竞争力的效用同时实现强公平改进。论文贡献包括首次全面评估、开源代码和数据以支持可复现性,并为隐私-公平-效用权衡的未来研究提供基础。适合关注差分隐私、公平性机器学习以及数据合成的研究人员和从业者阅读。

💡 推荐理由: 该研究揭示了差分隐私与公平性之间的冲突,并系统评估了在不同隐私预算下公平性干预的有效性,为安全从业者在隐私保护与公平性之间的权衡提供了实用指导。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Osonde A. Osoba, Yuzi He, Saikrishna Badrinarayanan, Varun Mithal, Sakshi Jain, Natesh S. Pillai

该论文针对公平性度量中的人口统计信号(如种族/民族)因法律约束或文化敏感性而难以收集和使用的挑战,提出了一种隐私保护的种族/民族概率估计方法(PPRE)。PPRE结合了两种信号源:基于贝叶斯改进的姓氏地理编码估计器(BISG)和稀疏的自我报告调查数据,并利用安全两方计算、差分隐私和加法同态加密等隐私技术,使LinkedIn能够在不泄露个人敏感信息的前提下,对美国会员进行基于种族/民族的公平性度量。论文详细阐述了PPRE的隐私保证,并通过候选方和观众方的公平性度量案例展示了其应用。最后,作者提出了一个可迁移的框架,供其他机构构建类似的隐私保护度量基础设施。核心贡献在于为工业界提供了一套可操作的、在隐私约束下进行公平性测量的解决方案。

💡 推荐理由: 为面临法律和文化限制的机构提供了一种实用的、隐私保护的公平性度量方法,可应用于推荐系统、招聘等场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Vojtěch Staněk, Eva Trnovská, Kamil Malinka, Anton Firc

该论文对39个深度伪造语音数据集进行了系统性的数据集级审计,分析了可访问性、文档质量、人口统计与语言覆盖范围、数据集规模以及底层真实语音来源等关键属性。研究发现两个重要问题:首先,绝大多数数据集缺乏人口统计元数据(如年龄、种族、国籍等),仅有少数包含性别或语言标签,导致无法进行有意义的子组分析,公平性评估几乎不可行;其次,不同数据集之间底层真实语音语料库存在大量重叠,这种重叠会损害跨数据集评估的有效性,并可能导致泛化性能被夸大。研究揭示了当前深度伪造语音检测领域的系统性数据缺陷,强调了构建更透明、更平衡、更高质量数据集的重要性,并为未来研究方向提供了指导。适合语音安全、AI安全及公平性研究者阅读。

💡 推荐理由: 深度伪造语音检测系统的可信度高度依赖数据集质量,该审计揭示了当前数据集的严重缺陷——缺乏人口统计信息导致公平性无法评估,语料库重叠导致泛化性能虚高。安全从业者部署此类检测系统时需警惕潜在的偏见与过拟合风险。

🎯 建议动作: 阅读论文,关注后续改进数据集的方法论

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Rakshit Naidu

本文研究了机器学习模型在敏感数据训练时可能泄露训练分布群体信息的问题,即分布推断攻击(DIA)。攻击者仅通过黑盒访问模型,即可推断出敏感的人口统计属性(如子群体比例)。现有防御手段如差分隐私和属性遗忘已有相关研究,但公平性约束与分布泄漏之间的关联尚未被探索。本文提出公平微调(Fair Fine-tuning, FFt)方法:在等概率差异(Equalized Odds)约束下,将训练好的模型在互补分布样本上微调。作者给出了完整的理论刻画,证明了紧界:Adv(A, M_f) ≤ Δ_EO · W,其中W量化了根据敏感属性组成区分两个训练分布的程度。还建立了FFt降低对手优势的必要条件,并证明了界的紧性。在六个数据集上进行了评估,涵盖表格数据(ACS Income, COMPAS, German Credit)、图像数据(UTKFaces)和自然语言处理数据(Bias in Bios)。基于重温的FFt一致地将对抗准确率差距降低到检测阈值τ=0.1以下;在ACS Income数据集上,差距从约15%降至4%以下。本文首次提供了连接模型测量的EO差异与DIA游戏中对抗优势的形式化边界,为统一公平性和隐私防御开辟了新途径。适合机器学习安全、隐私保护、公平性研究领域的读者。

💡 推荐理由: 首次建立了公平性约束与分布推断攻击风险之间的理论关联,提出了一种可操作的微调防御方法,为隐私与公平的联合防护提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ruei-Hau Hsu, Hsuan-Cheng Su, Yi-An Yu

联邦学习(FL)是一种去中心化的机器学习范式,允许多个参与方在不共享原始数据的情况下协同训练全局模型。由于各参与方数据质量参差不齐,如何公平地评估每个数据提供者的贡献(即数据估值)成为保障FL公平性的关键问题。现有工作常引入沙普利值(Shapley value)概念,通过测量包含或排除某本地模型参数对全局模型性能的影响来量化贡献。然而,传统的贡献度测量由聚合器或中心化验证者执行,该验证者可能受组织控制而伪造结果,导致估值不公平。本文提出一个具有强公平性的可验证数据估值框架,其核心思想是让所有参与者(数据提供者)都能独立验证贡献度测量结果的正确性,从而杜绝伪造可能性。框架基于沙普利值,但设计了一套可验证的计算协议,确保任何参与方均能对聚合器计算的估值进行校验,而无需信任中心化实体。作者通过理论分析证明了框架满足强公平性(即无法伪造或篡改估值结果)和安全性,并通过实验评估了计算和通信开销,表明其在合理资源消耗下可实现可验证性。该工作为FL中的数据估值提供了可信、公平的解决方案,尤其适用于对隐私和公平性要求高的场景。

💡 推荐理由: 联邦学习中数据估值的可信性直接影响参与方的信任和合作意愿;本方案通过可验证机制消除对中心化验证者的依赖,有效抵御恶意聚合器篡改贡献度,增强联合建模的公平性与安全性。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Adda Akram Bendoukha, Heber Hwang Arcolezi, Nesrine Kaaniche, Aymen Boudguiga

联邦学习通过不传输原始数据的方式实现分布式模型训练,但平均聚合方法受非独立同分布(non-IID)数据的严重影响,导致收敛速度慢和模型精度下降。现有替代方案具有显著的低效性:带有噪声或高度异构数据的客户端贡献了昂贵的梯度计算,这些计算在聚合前往往被丢弃或大幅降权。这种被动方法浪费计算资源、需要更多通信轮次,并导致不必要的隐私暴露。本文提出一种主动客户端选择框架,旨在训练开始前找到一组最优客户端联邦,其组合数据满足效用和公平性要求。该方法利用从差分隐私列联表计算出的互信息,来量化联合数据集中跨特征相关性的相关性。引入潜在联邦损失(PFL)函数,该函数平衡两个目标:最大化集体数据效用,同时确保公平的跨特征相关性以防止群体不公。将客户端选择表述为在PFL目标上的最优子集搜索问题,使用模拟退火算法求解,并为客户端本地统计提供强差分隐私保证。在四个基准上的实验表明,与均匀采样甚至使用最先进的自适应聚合或采样策略相比,在最优联邦上训练的模型更快、更公平、更准确。

💡 推荐理由: 该工作提出了一种新颖的主动客户端选择方法,兼顾效用、公平性和隐私保护,可显著提升联邦学习在非IID场景下的效率与公平性,对隐私敏感型联邦学习应用具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Chaya Ganesh, Bhavana Kanukurthi, Girisha Shankar

本文研究密封投标拍卖场景下的安全协议设计。传统拍卖依赖可信拍卖师,但现实中很难找到完全可信的第三方。通用安全计算协议虽能消除可信第三方,但效率低下且缺乏公平性——即恶意方可在获取输出后中止协议,阻止其他方获得结果。为此,作者引入理性敌手模型(Rational Adversaries),该模型假设敌手行为取决于自身利益而非任意恶意,从而设计出高效且满足公平性的密封投标拍卖协议。协议基于密码学原语,通过激励相容机制确保理性参与者不会偏离协议,同时保证投标隐私和结果正确性。实验分析表明,与通用安全计算相比,该协议在通信和计算复杂度上显著降低,且能有效防止中止攻击。本文贡献在于将理性敌手理论应用于拍卖领域,提出了兼具效率和公平的实际解决方案。适合安全协议、密码学、机制设计方向的研究者阅读。

💡 推荐理由: 安全拍卖在资源分配、合同授予等场景需求广泛,该研究减少了可信第三方依赖,提升了实用性与公平性,为去中心化拍卖落地提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)