#inference-attack

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Xiaochen Zhu 0003, Xinjian Luo, Yuncheng Wu, Yangfan Jiang 0001, Xiaokui Xiao, Beng Chin Ooi

本文研究拆分学习(Split Learning, SL)场景下的隐私泄露风险,提出了一种名为 SDAR 的新型被动推理攻击框架。拆分学习被视为传统联邦学习的实用高效替代方案,客户端在本地保留部分模型层(即私有模型)并只与服务器交换中间表征,但已有研究表明恶意或好奇的服务器仍可能推断客户端私有数据。然而,以往攻击方法往往依赖过强假设(如拥有大量同分布辅助数据或可控训练流程)或仅针对易受攻击的简单模型,实用性受限。作者假定服务器是诚实但好奇(honest-but-curious)的,即服务器严格遵循协议但试图从收到的中间表征中学习客户端私有信息。SDAR 的核心思想是利用辅助数据通过对抗正则化(adversarial regularization)学习一个客户端私有模型的可解码模拟器:该模拟器在训练阶段拟合客户端模型的行为,同时借助对抗约束迫使编码结果保留与私有特征/标签相关的信息,从而在推理阶段仅凭中间表征即可重构客户端私有特征;在 U 型拆分学习(U-shaped SL)配置下还可同时推断标签。作者在标准配置和 U 型配置下进行了大量实验,验证了攻击的有效性。实验结果显示,在现有被动攻击难以有效重构私有数据的挑战性场景中(如深层拆分点),SDAR 的重构性能显著优于已有被动攻击,甚至可媲美主动攻击。具体而言,在 CIFAR-10 数据集上,当拆分深度为 7 时,SDAR 在标准 SL 和 U 型 SL 下均能将私有特征重建的平均平方误差降至 0.025 以下,并且在 U 型设置下标签推断准确率超过 98%,而现有攻击方法在此设定下无法产生非平凡结果。本文的研究贡献在于揭示拆分学习在更现实假设下的严重隐私漏洞,对设计安全的拆分学习协议具有警示意义。适合关注机器学习隐私、联邦学习/拆分学习安全的研究人员及安全工程师阅读。

💡 推荐理由: 拆分学习被视为隐私保护技术,但本文证明在诚实但好奇的服务器假设下,仅凭公开的中间表征即可高精度重构私有数据,甚至优于已有攻击。安全从业者应重新评估拆分学习在实际部署中的隐私边界,尤其是深层拆分场景。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Longzhu He, Zelang Wen, Chaozhuo Li, Sen Su

本文系统评估了由大语言模型增强的图神经网络(LLM-enhanced GNNs)在隐私安全方面的风险。近年来,LLM 通过丰富节点表示的语义信息显著提升了 GNN 的性能,但这类模型面对隐私攻击时的脆弱性尚未被充分研究。为此,作者提出了一个包含五个阶段的统一评估框架:数据集准备、受害模型训练、隐私攻击、风险评估和防御分析。实验基于六个真实世界的文本属性图数据集,覆盖不同领域;针对链接推断、标签推断和成员推断三类基本威胁,采用了六种代表性隐私攻击方法,并通过组合多种基于 LLM 的特征增强器与典型 GNN 骨干网络,构建了 42 种受害模型配置。大量实验表明,尽管 LLM 增强带来了效用提升,但与浅层文本表示基线相比,LLM 增强的 GNN 始终表现出更高的隐私攻击脆弱性。进一步分析发现,语义增强在嵌入空间中放大了与链接、标签和成员相关的信号,使其更容易被推断攻击利用。最后,作者评估了差分隐私作为防御策略的效果,结果显示差分隐私虽能部分缓解隐私风险,但会带来显著的效用下降,凸显了 LLM 增强图学习中隐私与效用之间的根本权衡。总体而言,该工作为理解 LLM 增强 GNN 的隐私风险提供了全面视角,并为开发更安全可信的图学习系统提供了实用见解。

💡 推荐理由: LLM增强GNN在真实业务中应用广泛,但其隐私风险尚未被系统性揭示。本研究首次量化了语义增强带来的隐私泄露放大效应,帮助安全团队在采用此类模型前充分评估威胁。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Florian Tramèr, Reza Shokri, Ayrton San Joaquin, Hoang Le, Matthew Jagielski, Sanghyun Hong 0001, Nicholas Carlini

本论文提出了一类新的针对机器学习模型的主动推断攻击,称为“Truth Serum”。这类攻击的核心思想是:如果攻击者能够向训练数据集中投毒(即注入精心设计的恶意样本),那么训练出的模型将会泄露其他参与方(受害者)训练数据中的敏感隐私信息。这种攻击将两种原本独立的研究方向——数据完整性攻击(投毒)和隐私攻击(推断)——联系在了一起。作者证明了这些攻击在成员推断、属性推断和数据提取等隐私攻击场景中都非常有效。具体而言,在针对性的攻击中,仅需投毒训练集的不到0.1%的样本,就能将推断攻击的性能提升1到2个数量级。此外,如果攻击者能够控制训练数据的很大一部分(例如50%),则可以发起无目标的攻击,使得对所有其他用户私有数据点的推理精度提升约8倍。实验结果还对多方计算(MPC)协议在机器学习中的隐私保证提出了质疑:如果参与方可以任意选择自己的训练数据份额,那么基于密码学的隐私保护可能变得毫无意义。这项研究揭示了训练数据投毒不仅影响模型完整性,还会破坏模型隐私性,为机器学习模型的隐私与安全研究提供了新的思路,也对使用公共数据池进行协作学习的安全实践提出了警告。

💡 推荐理由: 该研究揭示训练数据投毒不仅破坏模型完整性,还能大幅加剧隐私泄露风险,使现有的隐私保护机制(如差分隐私、MPC)面临新的挑战,安全从业者需关注此类攻击的检测与防护。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Karel Dhondt, Victor Le Pochat, Alexios Voulimeneas, Wouter Joosen, Stijn Volckaert

该论文研究了健身追踪社交网络(如Strava)中端点隐私区域(Endpoint Privacy Zones)的安全性问题。这些隐私区域本应隐藏用户家庭或工作地点的精确位置,但研究发现攻击者可以通过公开的健身活动数据(如跑步轨迹、时间戳)进行推理攻击,从而绕过保护机制。论文提出了一种基于区域密度和轨迹分析的方法,能够以高成功率推断出被隐藏的端点位置。实验在真实数据集上进行,验证了攻击的有效性,并揭示了现有隐私保护措施的不足。该工作揭示了位置社交网络中隐私保护的漏洞,并为改进设计提供了方向。

💡 推荐理由: 健身追踪应用用户数量庞大,端点隐私区域被攻破可能导致家庭地址、工作地点等敏感信息泄露,增加用户被跟踪或物理攻击的风险。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Hossein Fereidooni, Samuel Marchal, Markus Miettinen, Azalia Mirhoseini, Helen Möllering, Thien Duc Nguyen, Phillip Rieger, Ahmad-Reza Sadeghi, Thomas Schneider 0003, Hossein Yalame, Shaza Zeitouni

该论文聚焦于联邦学习(FL)中的隐私保护问题。联邦学习作为一种分布式机器学习范式,允许多个客户端在不共享原始数据的前提下,通过聚合服务器联合训练全局模型。然而,现有研究表明,恶意聚合服务器可能通过客户端上传的模型更新发起推理攻击,窃取客户端的隐私信息。安全聚合(Secure Aggregation)技术旨在让聚合服务器仅能获取更新之和或平均值,从而保护个体更新。但现有的安全聚合协议存在通信开销大、计算复杂、轮次过多等缺陷。本文提出SAFELearn,一个通用的高效隐私联邦学习系统设计,专门抵御针对个体模型更新的推理攻击。其核心思想是结合安全多方计算(MPC)或全同态加密(FHE)技术,在不依赖可信第三方的前提下,实现仅两轮通信的聚合,且客户端无需执行昂贵的密码操作,同时支持客户端掉线处理。作者基于两方安全计算实例化该系统,并在实验中证明:聚合500个参数超过30万的模型,耗时不到0.5秒。总体来说,SAFELearn在保证隐私性的同时,大幅提升了联邦学习中安全聚合的效率与实用性。

💡 推荐理由: 联邦学习场景中隐私泄露风险日益突出,现有安全聚合方案效率低下,本文提出了一种高效、低通信轮次、支持掉线的通用框架,对实际部署隐私保护联邦学习具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ana-Maria Cretu 0002, Florimond Houssiau, Antoine Cully, Yves-Alexandre de Montjoye

本文针对基于查询的系统(如数据库、机器学习API)中的属性推断攻击,提出了一种自动化发现方法QuerySnout。属性推断攻击是指攻击者通过向系统发送一系列精心设计的查询,推断出目标用户的敏感属性(如年龄、性别、疾病等),这对用户隐私构成严重威胁。现有攻击方法通常依赖人工设计查询策略,效率低且难以覆盖所有可能攻击面。QuerySnout创新性地引入强化学习框架,自动学习最优查询序列以最大化推断准确率。该方法将攻击建模为一个马尔可夫决策过程,其中状态为已获取的部分信息,动作为选择下一个查询,奖励为推断信息的增益。通过深度Q网络等算法,QuerySnout能够在黑盒场景下高效探索查询空间。实验在多个真实数据集(如医疗记录、社交网络)和查询系统(如统计数据库、分类模型API)上进行,结果表明QuerySnout发现攻击的成功率显著高于手动基线方法,且能发现未知攻击模式。文章还分析了该攻击对差分隐私等防御机制的有效性影响,指出即使添加噪声,攻击仍可能通过查询组合绕过。主要贡献包括:(1)首次提出自动化属性推断攻击框架;(2)验证强化学习在此场景的可行性;(3)提供开源工具供社区研究。本文适合隐私保护、安全审计和AI系统安全的研究者阅读。

💡 推荐理由: 随着查询式API和数据库的普及,属性推断攻击成为重大隐私风险。QuerySnout实现了攻击的自动化发现,帮助防御者提前评估系统脆弱性,对设计更健壮的隐私保护机制具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)