#synthetic-data

共收录 17 条相关安全情报。

← 返回所有主题
推荐 3.5
Conf: 50%
👥 作者: Jiachen Zhao, Antonia Januszewicz, Taeho Jung

合成数据已成为机器学习研究中的常见工具,在隐私敏感场景中的应用尤其广泛。然而,作者指出一个关键转变:合成数据在实践中已从“给定假设下的残余推理风险声明”悄然转变为“由数据生成过程本身得出的外观属性”,即许多研究者默认生成出来的数据就具备隐私保证,而不再明确阐述威胁模型和残余风险。本文作为一篇立场论文,主张这种转变并非对既有隐私原则的误解,而是反映了社区在“何为充分隐私证据”上的标准变化。作者通过对主流机器学习会议与期刊近期发表物的实证分析发现,大量论文在隐私敏感环境中使用合成数据,却往往缺少对威胁模型、推理风险或可证伪隐私假设的显式说明。由此导致的后果是:隐私保证变得隐式、难以验证且在不同记录间分布不均——尤其对稀有与少数群体记录带来更高暴露风险。为推动解决该问题,作者主张将隐私视为一种有明确范围、基于证据并可测试的科学声明,并建议机器学习相关场所采纳规范:凡是涉及隐私的断言,都应当被清晰地划清边界、具备可检验性与可争议性。本文并非提出新算法或系统,而是对当前研究规范提出批判,并通过实证数据支撑其观点,适合机器学习研究者、隐私爱好者与安全审查者阅读。

💡 推荐理由: 合成数据常被当作隐私保护手段,但若社区标准不要求显式声明威胁模型与残余风险,安全从业者将难以评估真实风险。这篇论文揭示的规范缺失可能放大对少数群体记录的泄漏,对依赖合成数据的隐私工程设计具有警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hadrien Lautraite, Tristan Allard, Anne-Sophie Charest, Jean-François Rajotte, Sébastien Gambs

该论文研究了基于局部组合(local combination)方法的合成数据生成技术所导致的隐私泄露风险。合成数据被视为在敏感场景下共享数据的一种有前景的解决方案,但近年来的隐私攻击研究表明,尤其是那些不基于差分隐私等正式隐私框架的合成数据生成方法,仍然存在显著的残余风险。本文重点关注三种局部组合方法:SMOTE、Simulant 和 Avatar,它们近期被用于医疗健康领域以分享“匿名化数据”。作者对这些方法进行了系统性的隐私分析,实施了多种攻击手段,包括成员推断攻击、链接攻击和重建攻击。实验结果表明,这三种方法均存在实质性的隐私泄露,这严重质疑了该类合成数据输出在实践中是否应被视为匿名。论文的核心贡献在于:第一,明确了局部组合合成数据方法在多种隐私攻击下的脆弱性;第二,通过统一的攻击框架对三种代表性方法进行了横向对比;第三,为合成数据的隐私评估提供了实证依据。该研究适合数据隐私研究人员、合成数据开发人员以及依赖合成数据进行数据共享的机构(尤其是医疗健康领域)阅读,以认识局部组合方法的隐私边界。”

💡 推荐理由: 合成数据常被认为是隐私保护的‘银弹’,但本文证明局部组合方法(如 SMOTE、Simulant、Avatar)即使在非差分隐私场景下也会显著泄露训练数据隐私,直接影响医疗等领域的数据共享决策。

🎯 建议动作: 研究跟进:若组织正在使用或考虑使用局部组合合成数据方法,应评估其隐私风险并优先考虑采用差分隐私等可证明隐私保护技术。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Emanuel C. A. Valente, Lourenço A. P. Júnior, Leonardo Gonçalves Chahud, Júlio Cezar Estrella, Marcus Botacin

YARA规则易于分发,但用于验证正匹配的恶意软件样本却难以共享,给存储、持续集成、灾难恢复演练和可复现的扫描器验证带来麻烦。构造替代固定件(fixture)并不仅仅是嵌入字面量:YARA条件可能组合多种结构,如备选分支、计数、偏移、整数读取以及可执行容器约束,同时生成的文件不应再现恶意行为。正向验证是存在性的:只需要一个属于规则匹配集的文件,而非重建原始样本。为此,论文提出Aray,一个确定性优先的YARA解释器与正固定件合成器。其核心思想是:模型(可能为大语言模型)仅允许提出建设性的规范化或类型化提取回退,绝不接触后端代码或二进制结构;常规代码负责验证规范化后的规则、推导字符串和整数见证、执行提取、路由、碰撞检查的布局,并进行ELF、PE或通用序列化。仅残余的规范化语义到达一个有界的模型评判器。作者在416条公共规则条目上评估Aray:无模型辅助时规范化接受182条,经模型规范化后接受234条;可构造性预检接纳406条,所有被接纳的固定件均匹配其上游原始规则。总体成功率为406/416(97.6%),而在可构造规则中为406/406,存在十个预期的预检处置,没有扫描器不匹配或构建失败。一个不可达端点证实实现过程中模型调用次数为零。原始规则预言机依据源规则验证生成的固定件;对所有可能文件证明蕴含关系是一个更独立的强目标。两次锚定正则表达式的失败在最终运行前已被修复,因此这些是修复后系统的结果,而非预留样本的估计。该工作为YARA规则验证提供了自动化、可扩展的良性样本生成路径。

💡 推荐理由: 该研究解决了YARA规则验证中缺乏良性正样本的痛点。Aray能自动生成既匹配规则又不含恶意行为的文件,可集成到CI/CD和扫描器回归测试中,提升规则质量与可信度,减少对真实恶意样本的依赖。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jeffery Opoku, David Banahene

该论文提出 SynthGuard-ReleaseBench,一个针对合成表格数据发布的审计框架。传统上,合成数据通常通过真实性、隐私性或下游任务分数来评估,但这些指标无法回答一个关键问题:对于特定的使用场景、目标人群和威胁模型,该发布是否得到支持。为此,作者设计了一个锁定审计流程,在评估之前预先确定用途、候选面板、容差和审计时间表。框架对比真实训练与合成训练的流程在受保护数据上的表现,为有界损失差距提供联合有限样本界,要求设置对照组,并将效用、经验隐私风险、机制声明和人类发布权限分离管理。在四个美国社区调查(ACS)研究、五个非ACS记录、两个时间顺序诊断和一个密封原型中,该基准保留了有利、不利和排除的结果。透明基线通过部分锁定审计,紧凑学习模型在声明预算下失败,一个健康表案例因阴性对照通过而被排除。后续审计扩展实验跨三个生成种子重复,显示相同的锁定标准在足够数据下允许学习模型,同时始终拒绝破坏依赖性的对照,从而证明标准具有区分能力而非简单拒绝;同一重复也撤销了更细粒度的单种子排序。理论部分增加了审计前样本量规则、自适应方差和随时有效的证书(在相同锁定证据上将界收紧2到10倍)、时间顺序审计的时间证书,以及两个下界:普通有界查询在查询预算达到审计规模时可重构受保护审计,且面板大小校正是必要的而非保守的。该工作的贡献是一个可复现的面向特定用途的发布证据工作流,而非声称任何生成器是私有的、安全的或可部署的。适合负责合成数据发布评估、隐私审计和模型治理的研究人员与安全工程师阅读。

💡 推荐理由: 为合成数据发布提供了一个严格的审计框架,锁定用途、对照和预算,弥补了现有评估指标无法回答‘特定场景是否可用’的空白,对数据发布安全治理有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Gijung Lee, Ronald Wilson, Damon L. Woodard, Domenic Forte

本文针对硬件保障(Hardware Assurance)中扫描电子显微镜(SEM)图像分析面临的数据稀缺与机密性挑战,提出了一种隐私保护的合成数据生成流程。硬件验证依赖SEM对纳米级结构进行自动分析,但构建大规模高质量数据集受限于采集耗时以及专有设计严格的IP约束。该流程首先利用StyleGAN学习硬件布局掩码的分布,生成新颖且宏观多样化的结构;随后使用条件生成对抗网络Pix2PixHD将掩码转换为保留真实纹理和噪声的逼真SEM图像。关键发现是,仅使用该合成数据训练的分割模型能够成功实现“模拟到真实”(sim-to-real)迁移,在真实图像上的表现甚至优于在有限真实数据集上训练的基准模型。由于合成的底层布局具有可证明的新颖性,不包含原始设计中任何特定专有路由信息,部署最终分割模型可降低梯度反演和成员推断等攻击导致敏感IP泄露的风险。该方法为硬件保障提供了一种高安全性和高性能的解决方案。

💡 推荐理由: 该研究为硬件保障中IP保护与数据不足提供了创新思路,通过合成数据实现模型高性能同时规避专有设计泄露风险,对依赖SEM分析的硬件安全场景具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Guangyuan Ji, Wenjing Wang, Bingsheng Zhang

本文提出 LEAKFORGE,一个设备无关的框架,将跨设备加速度计窃听问题转化为物理引导的数据生成问题。作者指出,设备相关的泄漏并非任意,其主导变化局限于音频到加速度计传递函数的一个受限族。LEAKFORGE 通过采样该传递函数族,从普通语音合成大规模、设备多样的加速度计轨迹,并显式建模机电传递、结构共振、滤波和混叠效应。仅在该合成域上训练的窃听模型可以直接应用于来自未见过的智能手机的轨迹。该工作的核心贡献在于,利用物理知识指导合成数据生成,从而摆脱了对真实设备采集数据的依赖,提升了跨设备泛化能力。适合对传感器侧信道、移动设备安全、物理层信息泄漏以及基于合成数据的模型迁移感兴趣的读者阅读。

💡 推荐理由: 该研究展示了通过加速度计实现跨设备语音窃听的可行性,且无需针对每台设备重新采集数据,提醒移动平台需重新评估传感器访问权限和信号处理管线的风险。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Sajani Vithana, Sangwon Jung, Haoyang Hu, Viveck R. Cadambe, Flavio P. Calmon, Haewon Jeong

本文研究了差分隐私(DP)在合成数据生成中的固有权衡:隐私保护与统计保真度之间的矛盾。现有方法虽然利用公共数据来改善这一权衡,但通常仅在预处理(如使用预训练生成模型)或后处理(如匹配从公共数据集估计的目标统计量)中间接使用公共数据,而依赖领域无关的DP机制。本文提出了一个理论框架,将公共数据原则性地整合到DP机制本身中。作者将归一化直方图作为分布估计器,并在特定类别的DP机制内刻画了渐近最优的域感知隐私机制。具体地,他们提出了PubMix,一种公共数据感知的DP机制,可用于基于直方图的数据合成流水线。实验表明,与领域无关的隐私机制相比,PubMix显著提升了合成数据生成的质量。该工作为利用公共数据改进差分隐私合成数据提供了理论基础和实用方法。

💡 推荐理由: 本文首次理论化地将公共数据嵌入到DP机制设计本身,而非仅作为预处理或后处理,为合成数据中的隐私-效用权衡优化提供了新范式,对DP实践者有指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yunsung Chung, Yunbei Zhang, Nassir Marrouche, Jihun Hamm

本文是一篇系统化知识综述(SoK),旨在系统评估合成图像能否替代真实图像数据在机器学习中的应用,重点分析了合成图像的效用(utility)与隐私保护(privacy)之间的权衡。研究首先梳理了当前主流的合成图像生成方法,包括生成对抗网络(GANs)、变分自编码器(VAEs)、扩散模型(Diffusion Models)等,并比较了它们在保真度、多样性和可控性方面的差异。随后,论文提出了一个统一的评估框架,从下游任务性能(如图像分类、分割、检测)、数据多样性与分布覆盖、以及隐私泄露风险(如成员推断攻击、属性推断攻击、模型逆向攻击)三个维度对合成图像进行量化测评。通过对大量已有实证研究的元分析,作者发现:合成图像在多数标准化基准任务上可以接近甚至达到真实图像的性能,但在分布外泛化、细粒度识别和长尾类别上仍存在明显差距;隐私方面,即使采用差分隐私训练,合成图像仍可能泄露训练数据的敏感特征。论文还讨论了身份保护、数据去标识化、以及用于联邦学习的合成数据等前沿场景。最终结论是:合成图像在低隐私风险场景下可作为真实数据的可行替代,但在高安全性要求或边缘分布任务中仍需谨慎使用。本文为安全从业者提供了关于合成数据风险收益的全面参考。

💡 推荐理由: 合成图像广泛应用于模型训练、数据增强和隐私保护,但能否安全替代真实数据尚无定论。该综述系统量化了效用与隐私的权衡,对蓝队评估是否采用合成数据、理解潜在泄露风险具有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jose Luis Vela Alonso, Carmen Pellicer

该论文提出了一种面向数字取证场景的网络入侵检测框架,同时解决现有机器学习管线在证据保全和可解释性方面的缺陷。框架严格遵循ISO/IEC 27037、27041、27042及NIST SP 800-86等取证标准,将原始网络流量数据视为不可变、经过哈希验证的证据,所有模型训练均基于通过SDV+CTGAN生成的参数化合成数据,确保原始证据与衍生分析制品严格分离。检测器采用XGBoost二分类模型,在表格型网络流数据上实现高性能检测;可解释性模块利用SHAP TreeExplainer为每个实例生成特征归因,将统计预测映射为可观察的网络行为,用于生成法庭可采纳的取证报告。在CICIDS2017数据集上进行“合成训练、真实测试”(TSTR)评估,F1-macro达到0.96,与真实数据基线(0.97)的交叉验证方差相当。KS检验表明合成数据在隐私保护(平均|KS|=0.38)与操作效用之间取得平衡。跨数据集验证(UNSW-NB15、Kitsune)发现特征空间维度是合成训练效果的主要决定因素,确定了约30个数值流级特征的实际部署边界。针对暴力破解、端口扫描和DoS攻击的SHAP归因在真实与合成实例上保持一致,确认合成训练能够保留法庭专家证词所需的取证相关攻击指纹。本文适合数字取证、入侵检测和可解释AI领域的研究人员和从业者阅读。

💡 推荐理由: 该框架首次将取证标准(ISO/IEC 27037等)与机器学习管线深度整合,解决了传统AI方法无法满足法庭证据链要求的痛点,为网络入侵检测的可采用性和可解释性提供了可落地方案。

🎯 建议动作: 研究跟进,评估框架中合成数据生成与SHAP解释模块在自有取证流程中的可行性。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Kai-Xian Wong, Chan-Jien Tan, Yi-Ting Huang, Ying-Ren Guo, Yu-Zih Jheng, Guo-Wei Wong, Meng Chang Chen

本文提出LogCraft,一种面向CVE感知的合成日志数据生成方法。研究背景是安全分析依赖高质量日志数据,但真实日志难以获取且标注昂贵。核心问题是如何生成既符合现实分布又包含已知漏洞(CVE)信息的合成日志,以支持入侵检测、日志分析等安全任务。方法上,LogCraft利用CVE数据库中的漏洞描述,结合日志模板和领域知识,通过生成对抗网络或规则引擎创建多样化的日志样本,并确保生成的日志包含真实的攻击特征与背景流量。主要贡献包括:1)提出一种融合CVE信息的日志生成框架;2)设计评估指标验证合成日志的真实性和有效性;3)在多个安全数据集上实验,证明生成的日志可用于训练检测模型并提升其鲁棒性。本文适合安全研究人员、蓝队分析师及数据科学家阅读,尤其对需要构建日志驱动检测系统的团队有参考价值。

💡 推荐理由: 合成日志数据是解决安全领域数据稀缺及隐私问题的关键,LogCraft首次将CVE知识融入日志生成,可帮助蓝队低成本构建高保真测试环境,提升检测模型对未知漏洞的泛化能力。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Stephanie Polczynski, John D. Hastings, Varghese Vaidyan, Kyle Korman

智能城市依赖融合传感器、物联网设备、云平台和AI驱动服务的网络物理系统,这些系统在提升城市服务的同时,由于其巨大的攻击面、异构数据流和不断演变的威胁向量,引入了复杂的网络安全挑战。开发并验证智能城市网络安全工具需要高质量的数据集来准确反映真实运行条件。然而,真实数据集往往不完整、包含隐私敏感数据、难以获取或缺乏足够的恶意活动来支持工具开发。本研究通过提出一个专门为智能城市网络安全研究设计的基于AI的合成数据生成(SDG)框架来弥补这一关键缺口。该框架利用生成式人工智能模型生成高保真度的合成网络安全数据集,这些数据集能够复制真实的设备行为、网络交互和网络攻击场景。合成数据集经过评估,以确认其对协议标准的符合性、与原始数据集的统计相似性以及在常见安全工具中的实用性。所提出的合成数据生成框架和评估指标有望通过使研究人员能够更有效地对威胁进行建模并更全面地评估防御技术,从而推进智能城市网络安全,更好地保护关键智能城市基础设施。

💡 推荐理由: 解决了智能城市网络安全研究中高质量数据稀缺的瓶颈,为安全工具开发与评估提供了可扩展、隐私合规的数据源。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Nicole Mitchell, Galen Andrew, Arun Ganesh, Brendan McMahan, Peter Kairouz

本文针对大型语言模型(LLM)在参数高效微调过程中可能记忆个体训练样本的问题,提出了一种创新性的经验性隐私审计(EPA)方法。研究背景:微调后的LLM可能泄露隐私,现有审计方法依赖人工设计的“金丝雀”样本,但难以模拟真实数据分布且可能引入隐私风险。核心方法:作者提出利用高温采样(T≥0.8)从LLM本身生成合成金丝雀,这些金丝雀与隐私敏感训练数据分布相似,且具有高影响力(outlier特性),从而在成员推断或重建攻击中实现高识别性,显著提升审计效能。由于合成金丝雀本身不含真实隐私,可重复插入且易于检查,不会危及原始数据隐私。此外,针对微调模型生成合成数据这一重要应用场景,本文引入了一种强大的合成数据审计方法:在合成数据上微调辅助模型,然后审计该辅助模型对原始金丝雀的泄露程度,从而量化合成数据的隐私风险。最后,利用所提审计方法,系统研究了模型容量与金丝雀熵对记忆化的交互影响。实验证明,该方法在多个基准数据集上实现了最先进的隐私审计效果,为LLM隐私风险评估提供了实用工具。

💡 推荐理由: 本方法为LLM隐私审计提供了自动化、无需人工标注金丝雀的解决方案,使安全团队能够更高效地评估微调模型的数据泄露风险,尤其适用于合成数据场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Steven Golob, Sikha Pentyala, Martine De Cock

本文是首篇对合成表格数据的重建攻击(即属性推断攻击)进行系统化研究的论文。研究背景是合成数据被广泛宣传为一种隐私保护替代方案,用于发布敏感表格记录,但对其核心对抗威胁——重建攻击(通过合成数据和少量已知准标识符恢复个体隐藏属性值)的研究此前零散且难以比较。作者构建了攻击分类体系,按攻击利用的结构(如分布、关联、记忆)组织攻击;进行了迄今最系统的实证评估,在五个基准数据集上评估了九种合成数据生成(SDG)方法对十四种攻击的抵抗能力;并提出了一组填补分类空白的新攻击,其中CoBP-RA是测得的最强攻击。关键贡献在于引入了解释攻击成功含义的方法论:一个记忆测试,区分重建攻击是利用了总体分布还是对训练记录的记忆;以及一个约化方法,将重建攻击和成员推断攻击置于同一可比尺度。主要发现包括:SDG方法的选择对风险的影响远大于攻击选择;差分隐私(DP)仅在很小的预算(ε≲1)下有效,超过后保护效果趋于平稳,受限于合成器的容量而非噪声;去标识化方法暴露风险最高;大多数重建攻击反映的是分布结构而非记忆,个体风险集中在异常记录上。该攻击和基础设施在2025年美国国家标准与技术研究院(NIST)合作研究周期中,在所有红队中获得第一名,从而得到外部验证。

💡 推荐理由: 系统化揭示了合成表格数据重建攻击的威胁全貌,为防御者评估和选择SDG方法、配置差分隐私预算提供了实证依据,尤其指出低DP预算以外的保护效果有限,且去标识化方法存在高风险。

🎯 建议动作: 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Peihan Liu, Lucas Rosenblatt, Weiwei Kong, Natalia Ponomareva, Gautam Kamath, Rachel Cummings, Roxana Geambasu, Yu Gan, Lillian Tsai, Alex Bie

差分隐私(DP)文本合成技术旨在通过生成合成数据来解锁敏感语料库,使其可用于模型训练,同时保护隐私。然而,现有评估基准存在重大局限性:它们使用的任务通常即使不经过训练也能近乎解决,因此强基准性能并不能证明DP合成数据能够替代原始数据访问。为了填补这一评估空白,本文提出了ContinuousBench——一个持续自动更新的基准,用于衡量DP合成文本带来的能力增益。每个季度,ContinuousBench会发布一个全新的训练语料库及对应的问答(QA)数据集,这些数据被设计为:(1)没有语料库则无法解决;(2)在DP下可学习,因为测试知识由数百条独立记录支持。研究人员从训练语料库中生成DP合成数据,并通过标准化的训练和评估工具衡量能力提升。ContinuousBench包含两个赛道:Geminon,一个关于虚构生物的程序生成数据集;以及News,一个持续爬取的公共新闻文章流。实验结果表明,虽然标准基准已近乎饱和,但在ContinuousBench上,非私有合成数据能够从原始语料库中传递大量知识,而最先进的DP合成方法即使在ε=100的高隐私预算下也基本无法做到这一点。这揭示了当前DP合成文本在传递新知识和能力方面的严重不足,对依赖DP合成数据作为数据访问替代方案的研究与实践提出了挑战。

💡 推荐理由: 该基准揭示了现有DP合成文本在传递语料库特有知识方面的根本性失败,促使安全从业者重新评估DP合成数据在敏感数据共享与模型训练中的实际效用,并推动更有效的DP合成方法研发。

🎯 建议动作: 研究跟进:关注ContinuousBench后续版本及基于该基准的DP合成方法改进成果,评估自身场景下DP合成数据的实际能力增益。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Fengyu Gao, Jing Yang

本文提出 DPPrefSyn,一种用于生成差分隐私(DP)合成偏好数据的新算法,旨在保护大语言模型(LLM)对齐过程中的隐私。在偏好对齐的后训练阶段,使用真实人类偏好数据可能泄露敏感的用户提示和判断。DPPrefSyn 基于 Bradley-Terry 偏好模型和成对偏好数据的内在几何结构,首先从私有数据中学习具有严格差分隐私保证的潜在偏好模型,然后利用该模型与公共提示生成高质量的合成偏好数据。该方法通过利用每簇奖励模型的共享线性结构来有效捕获私有数据中的异质人类偏好,并使用差分隐私主成分分析(DP-PCA)提高学习准确性。大量实验表明,DPPrefSyn 在强 DP 保证下实现了有竞争力的对齐性能。这是首个生成 DP 合成偏好数据用于 LLM 对齐的工作,代码已开源。

💡 推荐理由: LLM 对齐依赖人类偏好数据,但隐私问题日益突出。本文第一个提出差分隐私合成偏好数据方法,为隐私保护对齐提供了可行方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 11.5
Conf: 50%
👥 作者: Zheng Liu, Chen Gong 0005, Terry Yue Zhuo, Kecen Li, Weichen Yu, Matt Fredrikson, Tianhao Wang

该论文提出了PrivCode,这是首个专门为代码数据集设计的差分隐私(DP)合成器,旨在解决大型语言模型(LLM)在代码生成时微调私有数据集可能引发的隐私泄露问题。传统的DP方法在代码数据上面临语法依赖强和隐私-效用权衡的挑战。PrivCode采用两阶段框架:第一阶段“隐私净化”,利用DP-SGD训练模型生成符合差分隐私的合成代码,并通过引入语法信息保留代码结构;第二阶段“效用提升”,在合成的无隐私代码上微调更大的预训练LLM,以缓解DP带来的效用损失。在四个LLM和四个基准测试上的实验表明,PrivCode在各种任务下生成的代码具有更高的效用,同时在不同隐私预算下能保护敏感数据。该研究为代码领域的隐私保护生成提供了新的方法论,适合对差分隐私、代码生成和LLM隐私保护感兴趣的研究者阅读。

💡 推荐理由: 首次将差分隐私合成技术应用于代码数据集,提出两阶段框架平衡隐私与效用,对保护企业专有代码和用户隐私有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.6
Conf: 50%
👥 作者: Daniil Filienko, Martine De Cock, Sikha Pentyala

本文针对基因组数据的高度敏感性和访问限制,提出了一种跨机构安全合成基因组数据生成方法。由于基因组数据的隐私性,数据共享受到严格监管,阻碍了AI在基因组学中的发展。合成数据生成通过训练生成模型并采样保留相关统计信息的人工数据,可以在不泄露个体敏感信息的同时促进数据共享。但在许多应用中(如罕见病研究),单个机构的数据量不足以训练有效的生成模型,需要跨机构协作。为此,本文设计了一种结合安全多方计算(MPC)和差分隐私(DP)的方案,使得多个数据持有者能够在不暴露原始数据的情况下联合训练合成数据生成器。MPC确保输入隐私,即任何一方都不会以未加密形式泄露其数据;DP则提供输出隐私,通过限制从发布的合成数据中泄露信息来保护个体隐私。作者使用多个真实RNA-seq数据集在联邦环境中进行了实验,结果表明该方法能够在数据分布在不同机构的情况下生成高质量、高实用性的合成数据集,同时有效保护隐私。该工作为隐私保护的跨机构基因组数据共享提供了可行的技术路径。

💡 推荐理由: 该方法直接解决了基因组数据共享与隐私保护之间的矛盾,允许医疗机构在合规前提下安全合作,对推动基因组学AI研究有重要意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)