#privacy-utility-tradeoff

共收录 4 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Zhenhua Liu, Zhanxu Xie, Junjie Yu, Tong Zhu, Lijun Li, Wenliang Chen

该论文关注大语言模型进入日常任务后产生的隐私与效用矛盾:用户为了让模型完成复杂任务,必须提供上下文丰富的指令,其中往往夹带姓名、地址、账号、病史等敏感信息。目前主流的隐私保护做法是在把提示词发给模型之前套用一套与上下文无关的静态规则(例如统一对实体做删除或掩码),虽然降低了泄漏风险,却常常把任务真正依赖的关键信息一起抹掉,导致下游回答质量严重下降。作者指出,真正的空白在于:净化操作究竟通过什么机制影响下游性能,此前缺乏系统性的解释,因此也就无法设计出有原则的折中方案。 为回答这一问题,论文做了系统性的实证分析,把隐私-效用的权衡拆解成三个相互衔接的机制。第一是“上下文相关效用”,它回答“何时需要净化”:同一段数据在某个用户意图下是不可或缺的关键约束,在另一个意图下则只是可丢弃的噪声,因此净化时机必须由意图决定,而不能一刀切。第二是“策略性适配”,它回答“如何净化”:究竟选择直接删除还是替换为占位内容,取决于下游任务更依赖事实完整性还是结构连贯性——偏事实的任务倾向于替换以保留结构,偏结构的任务则可以删除。第三是“组合交互”,它把保护范围从单一属性扩展到属性之间的关系:多个属性之间存在协同依赖或对抗冗余,构成一张语义网络,孤立地处理单个字段既可能保护不足,也可能过度破坏语义。 基于上述洞察,作者提出一个意图驱动的本地保护框架:先蒸馏出一个轻量模型 Veilmind-4B,再由它驱动“抽取—净化—恢复”的动态流水线,在本地完成敏感信息识别、按意图与任务类型选择净化策略,并在响应返回后做必要的还原。实验表明,该方法能在达到较低泄漏水平的同时,保留显著高于既有隐私导向基线的回答效用,把隐私-效用权衡推向帕累托前沿。适合隐私保护、LLM 应用架构、可信 AI 与合规治理方向的研究者和工程师阅读。

💡 推荐理由: 提示词脱敏是企业落地 LLM 的高频痛点:静态规则要么漏保护、要么把任务上下文一起删掉。该论文把“何时净化、如何净化、属性如何联动”讲清楚,并给出可本地部署的轻量流水线思路,对设计兼顾合规与可用的提示词防护层有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: William Novak, Muhammad Abusaqer

该论文针对自然语言处理中的训练数据隐私风险,系统评估了成员推断攻击(Membership Inference Attack, MIA)在文本分类任务上的实际威胁。MIA 的目标是判断某条具体记录是否被用于训练某个模型;在 NLP 场景下,训练语料往往包含用户文本等敏感信息,因此一旦模型泄露成员信号,就意味着训练数据存在被反向识别的隐私风险。作者在 GLUE 的 SST-2 情感分类数据集上构建了一个受控基准,横向对比了两类典型模型:基于 TF-IDF 特征的传统机器学习流水线(配逻辑回归分类器)与经过微调的预训练 Transformer 模型 DistilBERT。评估使用基于损失阈值的成员推断攻击,同时用开发集准确率和宏平均 F1 衡量模型的正常效用。实验结果显示,DistilBERT 的效用显著更高,准确率 0.9466、宏 F1 0.9460,而逻辑回归为 0.8756 与 0.8727;但两者的成员信号均被攻击成功提取,攻击 AUC 分别为 0.5615(DistilBERT)和 0.5800(逻辑回归),说明更强的模型并不必然对应更差的隐私保护。论文进一步测试了两种缓解手段:其一是加强正则化,能够降低逻辑回归的成员泄露,但会带来可观察到的效用损失;其二是将 DistilBERT 的微调轮数从 3 轮减少到 2 轮,结果在准确率几乎无损的前提下降低了泄露程度。作者据此提出,轻量级的训练过程调整(如早停式的轮数控制、正则化调节)即可改善隐私—效用权衡,无需引入复杂的隐私防御机制。整体而言,这是一项面向基线与可复现性的实证研究,为 NLP 隐私评估提供了参照点与方法论启示。

💡 推荐理由: 它用受控实验说明:即便在简单的文本分类任务上,常规训练的模型也会泄露成员信息,且模型效用越强并不等于隐私越安全。对使用自研或微调 NLP 模型处理用户文本的团队,这是评估训练数据泄露风险与调参取舍的直接参考。

🎯 建议动作: 研究跟进:将该基线方法纳入内部模型发布前的隐私评估流程,复现其攻击与缓解设置后再做决策

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Jacob Imola, Rasmus Pagh, Lukas Retschmeier

本文研究差分隐私(DP)约束下的基础图优化问题,并给出基于“重构攻击”思路的新型下界证明。作者考虑图 G=(V,E,w⃗),其中顶点集 V 与边集 E 是公开的,只有边权函数 w:E→ℝ 需要满足 ℓ1 邻接关系下的差分隐私。研究对象包括两个经典问题:发布最小生成树(MST)与发布最小权完美匹配。作者证明,在 n 个顶点、m>2n 条边的最坏情形图上,任何 DP 算法的误差下界为 Ω(n·log(m/n)/ε)。该下界与已知的纯 DP 算法上界相匹配,因此是紧的;并且即使在近似 (ε,δ)-DP 下,只要 δ ≤ (n/m)^{Ω(1)},下界依然成立。这一结果改进了 Sealfon(PODS'16)给出的 Ω(n/ε) 下界,量级上增加了 log(m/n) 这个因子。 论文的一个重要对照结论是:在 ℓ1 邻接关系下,允许近似 DP 并不能降低 MST 的误差,这与 Pagh 等人(PODS'25)在 ℓ∞ 邻接关系下证明的“近似 DP 可大幅改善误差”形成鲜明反差,说明邻接关系(敏感度定义)的选择对可实现的效用具有决定性影响。作者并未局限于最坏情形图,而是进一步给出了具有扩展性质(expander)的一大类稀疏图上的下界;特别地,对任意最小割至少为 Ω(log n) 的图,证明了 MST 的 Ω(n/ε) 下界。 最后,作者把方法拓展到隐私层次聚类问题:在 Dasgupta 代价函数(STOC'16)框架下,给出首个由“平衡割的最小权重”参数化的近似 DP 下界,将 Deng 等人(ICLR'25)的结果推广到一般图,并推广到近似 DP 设置。核心方法属于重构式下界证明技术,通过论证若算法精度过高则攻击者可重构出受保护的权重信息,从而反推出误差不可避免。总体贡献是给出了图优化在 DP 下更强、更贴合图结构的误差刻画,明确了隐私—效用权衡的理论极限。

💡 推荐理由: 为图数据发布(网络拓扑、流量图、社交图)的隐私预算评估提供理论下界:在 ℓ1 邻接关系下,(ε,δ)-DP 也救不了 MST/匹配的精度,据此可校验厂商 DP 实现的效用宣称是否可信。

🎯 建议动作: 研究跟进:纳入内部图数据隐私评审参考,重点关注 ℓ1 与 ℓ∞ 邻接关系下的下界差异及重构式证明思路

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Seung-Hyun Nam, Hyun-Young Park, Si-Hyeon Lee

该论文研究本地差分隐私(LDP)下的最优隐私-效用权衡(PUT)问题。现有方法往往针对特定问题进行案例分析,缺乏统一理论框架。作者提出一个通用理论框架,系统刻画了一般隐私保护统计决策问题中的最优PUT和最优LDP通道。首先,他们识别了贝叶斯风险和极小化风险作为LDP通道函数的关键功能性质,包括数据处理不等式(DPI)、直和拟凸性(或可加性)、凹性和对称不变性。利用这些性质,他们缩小了计算最优PUT所需的优化域。此外,基于凸几何的洞见,他们建立了Blackwell序下最大LDP通道与有限维多面体之间的一一对应关系,给出了精确的几何刻画,使得最优PUT可以通过顶点枚举或线性规划进行有效计算。当问题具有由传递群作用表征的对称性时,他们推导出最优PUT的精确解析表达式,无需数值优化即可得到闭式解。该框架不仅适用于风险最小化,还广泛适用于信息论度量(如互信息、f-散度、Fisher信息)在LDP通道上的最大化。作者通过恢复或强化多个已知结果,并推导出此前未解决的特定任务中最优PUT的精确解析表达式,展示了该理论框架的有效性。该研究适合对差分隐私、信息论和统计决策理论感兴趣的研究者。

💡 推荐理由: 提供了LDP最优隐私-效用权衡的统一理论框架,将碎片化的结果系统化,并给出可计算的几何/解析方法,对隐私保护算法的设计和评估具有重要理论指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)