👥 作者: Andrea Gadotti, Florimond Houssiau, Meenatchi Sundaram Muthu Selva Annamalai, Yves-Alexandre de Montjoye
本文针对Apple在本地差分隐私(Local Differential Privacy, LDP)实践中使用的Count Mean Sketch(CMS)机制,提出了一种名为'池推断攻击'(Pool Inference Attack)的新颖隐私分析框架。Apple在iOS和macOS等系统中利用CMS机制收集用户的表情符号使用、输入习惯等统计信息,其核心思想是在用户端添加扰动噪声后再上传数据,从而宣称满足ε-差分隐私。然而,研究者从攻击者视角出发,系统性地分析了当大量用户的数据被聚合到服务器时,攻击者能否利用这种聚合统计信息反向推断出特定用户是否属于某个'池'(例如是否输入过某个特定词组)。论文通过形式化建模和实验评估,证明了在真实参数配置下,CMS机制的实际隐私保证远低于理论预期:即使单个用户的上传噪声足够强,但多次更新、数据分组和时间相关性等因素仍会被攻击者利用,以较高置信度区分目标用户与随机用户。研究进一步量化了不同参数(如隐私预算ε、哈希桶数m、每个桶的位数)对攻击成功率和隐私损失边界的影响,并使用模拟数据和Apple公开部署的参照参数进行了验证。该论文的核心贡献包括:首次针对Apple CMS机制提出系统性的池推断攻击模型;提出了一种度量实践隐私损失的新方法;并讨论了改进隐私-效用权衡的潜在对策。该研究对隐私工程和差分隐私的工业部署具有重要警示意义,也为蓝队和安全研究者理解LDP系统的实际风险提供了参考。由于只有论文标题,没有完整摘要,所有描述均基于标题推断。
💡 推荐理由: 该研究直接质疑Apple CMS机制实际提供的隐私保护强度,若攻击被证实,用户隐私可能在苹果官方宣称的差分隐私保护下仍遭泄露,SOC团队需要重新评估依赖该机制的合规与风险假设。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Chunmian Wang, Junzhou Luo, Zhen Ling 0001, Yue Zhang 0025, Shan Wang 0008, Ming Yang 0001, Guangchi Liu, Xinwen Fu
本论文研究了一种针对 Tor 匿名通信协议的破坏性攻击方式,利用“描述符洪泛”(Descriptor Flood)现象击穿 Tor 的匿名保障。在 Tor 架构中,隐藏服务(如洋葱服务)通过描述符注册到分布式目录节点(HSDir),客户端依靠这些描述符获取服务入口。论文观察到描述符的传播与获取过程存在不对称可能:攻击者能够生成或扩散大量伪造/冗余的描述符记录,导致 HSDir 节点在存储、同步与查询响应上的资源被大量占据,进而对真实描述符的可见性和路径选择产生偏差。攻击者可利用该偏差作为侧信道,将访问者来源或目标与特定描述符使用行为关联起来,从而实施去匿名化、跟踪或联合监控。研究在理论层面系统分析了此类洪泛攻击的可行性、触发条件与影响范围,并可能通过仿真评估对 Tor 匿名性指标的损害。文章进一步探讨了防御方法,包括调整目录协议以限制洪泛影响、加强描述符合法性验证,以及提高 HSDir 选择的鲁棒性。由于原始文档仅提供标题与作者信息,以上概括基于 Tor 通识和该题目中的线索进行推断,具体实验细节未确认。
💡 推荐理由: 这项研究揭示出 Tor 目录服务机制在资源型攻击面前的脆弱性,洪泛攻击可能不仅造成拒绝服务,更会破坏 Tor 赖以立足的匿名性。对依赖 Tor 的高风险用户、目录服务运营者以及 Tor 核心开发者而言,该方向的研究有助于提前掌握风险并规划协议加固。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Stefano Leggio, Giulio Rossolini, Alessandro Biondi
本文针对视觉 Transformer (ViT) 在分割推理(split inference)场景中的隐私泄露问题展开研究。在分割推理中,边缘设备将中间 token 表示发送给远程云端进行处理;这一过程中,通常采用 token 减少(token reduction)来降低计算与通信开销,以及 token 乱序(token shuffling)来破坏 token 的空间组织,从而可能减少信息泄露。然而,这些机制在特征反转攻击(feature inversion attack)下的实际隐私保护效果尚不清楚。作者发现,尽管乱序扰乱了传统重建攻击所需的空间结构,但所传输的 token embedding 中仍保留了丰富的位置信息。基于这一观察,作者提出了一种名为 SARA(Spatially Aligned Reconstruction Attack)的统一攻击流程,它通过预测原始 token 的位置并恢复其空间布局,再利用特征空间掩码自编码器重建被删除的 embedding,最终重构出原始输入图像。实验结果表明,token 乱序仅提供表面上的隐私,因为 SARA 能高保真地恢复 token 排列;token 减少提供了相对更强的保护,但保留的 token 若携带充分的语义和位置信息,仍然存在显著的泄露风险。为缓解此类风险,作者进一步提出了一种轻量级的边缘侧防御方案:在边缘端移除 positional embeddings,并通过知识蒸馏让边缘侧的 transformer 块逐步适应这种变化。该防御显著降低 SARA 的攻击性能,同时保持下游任务精度,且无需修改云端模型。论文揭示了分割推理中位置信息泄露的隐患,并提供了具有实用价值的防御方向。
💡 推荐理由: 该研究证明 token 乱序几乎不能保护 ViT 分割推理的输入隐私,边缘节点必须重新评估其已有的防御假设。所提出的轻量级防御可直接为实际推理系统提供可落地的加固方案,提醒模型部署方在传输中间特征时注意位置编码泄露。
🎯 建议动作: 研究跟进并纳入内部评估:针对使用 ViT 做分割推理的系统,进行隐私泄露测试,并考虑采用论文提出的防御方案进行加固。
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Prince Jha, Samuele Poppi, Nils Lukas
本文研究 Agentic AI 系统在推理时处理敏感数据(如医疗记录、金融文档)时面临的隐私泄露问题。与以往主要关注通过越狱攻击直接诱导模型泄露敏感内容的研究不同,本文首次系统化地研究了 Agent 自身的工具调用所组装出的隐藏上下文(hidden context)的泄露风险。作者通过安全游戏的形式形式化了上下文推断攻击(context-inference attacks),并设计了三种攻击场景:已知上下文、未知上下文以及由 Agent 通过自身工具检索得到的上下文,以反映攻击者知识逐渐减少且上下文传递变得间接的现实情况。他们还区分了灰盒设置(使用目标模型本身对观测结果打分)和黑盒设置(攻击者使用自己控制的替代模型打分)。实验针对一个具备网页浏览能力的 Agent 模型,在基线防护措施(不泄露上下文的指令、logit 抑制、上下文稀释)下,发现该 Agent 仍然可被利用:在已知上下文的小规模候选中,攻击成功率(ASR)达 100%,1024 候选时也有 63%;当模板和周围记录未知时,AUROC 为 78.9;当 14B 替代模型对 32B 目标模型打分时,AUROC 达 92.5;而当记录通过 Agent 的检索返回时,AUROC 仍达 81.8,远超随机基线(1/|Z| 和 50)。论文进一步刻画了泄露随查询预算、上下文大小和目标模型规模的变化规律,且发现同一攻击无需修改即可贯穿所有三种设置。该工作揭示了 Agentic AI 在数据组装流程中存在可被利用的侧信道信号,对安全社区理解与防御此类新型隐私威胁具有重要参考价值。适合关注 LLM 隐私、可信 AI 和安全攻防的研究人员及工程团队阅读。
💡 推荐理由: Agentic AI 正被用于处理敏感数据,但现有防护措施无法阻止上下文推断攻击。该攻击不依赖越狱,可在黑盒条件下以替代模型实现高精度泄露,为安全评估和隐私防护带来全新挑战。
🎯 建议动作: 研究跟进并评估自身 Agent 服务的上下文泄露风险
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Dzung Pham 0002, Shreyas Kulkarni, Amir Houmansadr
本文提出并研究了针对交互式联邦学习(Interaction-based Federated Learning)的隐私重构攻击方法,命名为RAIFLE。联邦学习旨在通过不共享原始数据、仅交换模型参数或梯度来保护用户隐私,但近年来已有研究表明,攻击者可以从模型更新中推断或重建用户的训练数据。然而,现有重构攻击大多针对传统联邦学习或集中式训练场景,对交互式联邦学习(如基于对话、推荐或协同过滤的联合训练)中的隐私风险关注不足。本文的核心研究问题是:在交互式联邦学习框架下,恶意服务器或攻击者能否通过操纵交互数据、利用用户模型更新的特性,重构出用户的敏感输入或个人信息?为此,作者提出了一种结合对抗性数据操纵的通用攻击框架RAIFLE,其核心思想是:攻击者控制服务端的交互接口,向目标用户发送精心构造的恶意输入,诱使用户模型产生包含更多用户私有信息的梯度更新;随后攻击者基于这些更新进行迭代优化,逐步恢复出用户的原始训练数据或交互内容。该框架不依赖于对目标模型结构和参数的先验知识,具有较强的黑盒适用性,并可通过调整操纵策略适配多种交互建模方式(如矩阵分解、深度神经网络等)。实验部分,作者在多个公开数据集(如电影评分、文本偏好等)和多种联邦学习配置下验证了RAIFLE的有效性,结果显示其重构精度显著优于基线方法,且能突破部分现有防御机制。此外,论文还分析了影响攻击成功率的关键因素,包括交互次数、操纵强度、用户数据分布等,并讨论了潜在的防御方向,如输入差分隐私、交互噪声注入、恶意输入检测等。总体而言,这项工作揭示了交互式联邦学习中一类尚未被充分重视的隐私威胁,对设计安全联邦学习系统具有重要警示意义。适合关注联邦学习隐私保护、对抗机器学习和数据安全的科研人员、安全工程师以及隐私合规从业者阅读。
💡 推荐理由: 该研究揭示交互式联邦学习(如推荐、对话场景)可被恶意服务器通过数据操纵实施重构攻击,突破隐私防护,为蓝队设计防御策略和评估联邦系统隐私风险提供关键参考。
🎯 建议动作: 研究跟进,评估现有系统是否受此类攻击影响,并考虑将论文中的防御建议纳入隐私设计评审。
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Chunyi Zhou 0001, Yansong Gao 0001, Anmin Fu, Kai Chen 0012, Zhiyang Dai, Zhi Zhang 0001, Minhui Xue 0001, Yuqing Zhang 0001
联邦学习(FL)通过在多用户间训练全局模型,无需直接访问本地数据集,旨在缓解数据隐私问题。然而,已有研究表明推理攻击(如成员推断、属性推断、数据重建)仍可导致隐私泄露。本文提出一种新型隐私推理攻击——偏好画像攻击(PPA),可准确刻画本地用户模型的私有偏好,例如在线购物中用户最喜爱/不喜爱的商品、自拍中最常见的表情等。PPA 能针对本地用户特征推断 top-k 偏好(k=1,2,3,尤其 k=1)。核心洞察是:本地用户模型的梯度变化对给定类别的样本比例具有可区分的敏感性,尤其是多数类或少数类。通过观察用户模型对某个类别的梯度敏感度,PPA 可以推断该类在用户本地数据集中的样本比例,从而暴露用户对该类别的偏好。联邦学习固有的统计异构性进一步促进了 PPA 的有效性。作者使用四个数据集(MNIST、CIFAR10、RAF-DB 和 Products-10K)进行了广泛评估。结果表明,PPA 在 MNIST 和 CIFAR10 上分别达到 90% 和 98% 的 top-1 攻击准确率。更重要的是,在真实的商业购物场景(Products-10K)中,PPA 以 78% 的 top-1 准确率推断用户最常订购的商品(作为商业竞争对手);在社交网络场景(RAF-DB)中,以 88% 的准确率推断受害用户最常见的面部表情(如厌恶)。该研究揭示了联邦学习梯度交换中的新隐私泄露风险,对隐私保护联邦学习的实践提出了挑战。
💡 推荐理由: 此攻击表明联邦学习虽不直接共享数据,但梯度信息仍可被用于推断用户敏感偏好,威胁了商业化联邦推荐系统等场景,推动更严格的梯度隐私防护研究。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xinben Gao, Lan Zhang
本文提出了一种针对分割学习(Split Learning)框架的新型攻击方法,命名为伪客户端攻击(Pseudo-Client Attack, PCAT)。分割学习是一种保护隐私的分布式机器学习范式,其中客户端在本地保留部分模型层,仅将中间激活( smashed data )发送给服务器端,以完成剩余层的训练和推理。已有研究通常假设服务器是诚实但好奇的,并尝试从中间表示中重构原始数据;但本文从更极端的威胁模型出发,认为服务器可以扮演恶意角色,主动诱导或操控客户端行为。PCAT 的核心思路是:服务器不被动等待客户端上传,而是伪装成一个或多个伪客户端,利用分割学习中的梯度交换机制,向真实客户端发送精心构造的恶意梯度或参数更新,从而在不破坏训练过程的前提下,逐步窃取客户端私有模型的功能(即提取模型权重或复制其决策边界)以及训练数据的敏感信息。文章中详细阐述了攻击的具体算法流程,包括如何设计伪客户端的更新策略、如何在多客户端场景下扩大攻击影响,并分析了不同分割点位置、不同批大小和不同模型架构下攻击的有效性。实验部分在多个图像分类数据集(如 CIFAR-10、Tiny ImageNet)和不同网络结构(如 ResNet、VGG)上验证了 PCAT 的性能,结果表明该方法能够以较低的训练轮次开销,实现远超随机猜测的功能窃取精度,并能显著提高数据重建的质量(如提升 SSIM 和降低 Lp 距离)。此外,文章还讨论了对抗此类攻击的潜在防御方向,比如对客户端上传的梯度进行异常检测、增加噪声扰动或使用安全聚合机制,但未给出完整的防御方案。总体而言,该研究揭示了分割学习在现实部署中可能面临的未被充分认识的安全漏洞,为设计更鲁棒的隐私保护分布式学习系统提供了新的攻击视角和威胁模型。
💡 推荐理由: 分割学习常被视为比联邦学习更保护隐私,但 PCAT 证明恶意服务器可主动窃取客户端数据和模型功能,颠覆了传统信任假设,对隐私保护 ML 系统的安全评估有重要警示意义。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu 0057, Songlei Wang, Zhiping Cai, Lin Liu 0018, Xiaohua Jia, Shaojing Fu
本文针对联邦大语言模型(FedLLMs)中的成员推断攻击(MIA)问题展开研究。FedLLMs允许多方协作微调大语言模型而无需共享原始数据,从而解决资源有限和隐私保护等挑战。然而,即使数据不离本地,共享的梯度仍然可能通过成员推断攻击泄露敏感信息。由于FedLLMs具有参数规模巨大、收敛速度快、梯度稀疏且非正交等独特特性,现有的MIA方法效果不佳。为此,作者提出了ProjRes——首个针对FedLLMs的基于投影残差的被动成员推断攻击方法。ProjRes将隐藏嵌入向量作为样本表示,并分析它们在梯度子空间上的投影残差,以揭示梯度与输入之间的内在联系。该方法不需要影子模型、辅助分类器或历史更新,因此效率高且鲁棒性强。在四个基准测试和四个大语言模型上的实验表明,ProjRes达到了接近100%的准确率,比之前的方法性能提升了高达75.75%,即使在强差分隐私防御下仍然有效。该研究揭示了一个先前被忽视的FedLLMs隐私漏洞,并呼吁重新审视其安全假设。代码和数据已公开。
💡 推荐理由: 本文首次实现了对联邦大语言模型的高效、高精度成员推断攻击,暴露了当前隐私保护机制的不足,对联邦学习场景下的用户隐私构成实质性威胁,值得安全社区关注。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zirui Gong, Leo Yu Zhang, Yanjun Zhang, Viet Vo, Tianqing Zhu, Shirui Pan, Cong Wang
本文提出了一种名为ARES(通过稀疏反演恢复激活)的主动梯度反转攻击方法,旨在解决联邦学习(FL)中现有梯度反转攻击(GIA)在面对大批量训练样本时重建保真度低且需修改模型架构的问题。联邦学习通过共享模型更新而非原始数据来保护隐私,但研究表明共享更新可能泄露敏感训练数据。现有主动GIA虽能在大批量下实现高保真重建,但通常需要架构修改,限制实用性。ARES将激活恢复问题建模为噪声稀疏恢复任务,利用广义LASSO(最小绝对收缩与选择算子)求解。为扩展到多样本恢复,ARES采用印记方法解耦激活,实现可扩展的逐样本重建。理论上,推导了预期恢复率和重建误差上界,提供了理论保证。在CNN和MLP上的大量实验表明,ARES在多种数据集上实现高保真重建,显著优于现有GIA,尤其在大批量及现实FL设置中。结果强调中间激活在FL中构成严重且被低估的隐私风险,亟需更强防御。
💡 推荐理由: 揭露联邦学习中间激活被忽略的隐私泄露风险,推动防御研究;ARES无需架构修改即可生效,实用性高。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chongkai Li, Bang Zhang, Wenjian Luo
本文研究了联邦学习(FL)中的一种新型攻击:中央化“取走训练数据”(TATD)攻击。传统的TATD攻击利用深度模型的记忆能力存储并恢复训练数据,但在联邦学习环境中,多客户端平均聚合可能会覆盖编码后的数据,使得攻击难以实现。为此,作者提出了FedCVESA方法,这是相关值编码攻击(CVEA)的联邦变体。该方法假设恶意服务器选择n个目标客户端,通过向目标客户端的损失函数添加皮尔逊相关正则化项,将私有训练数据逐步编码到选定的模型参数(称为载体参数)中。为了减少服务器聚合时载体参数被覆盖,作者进一步提出对分散的载体参数进行分段聚合,保留选定的载体参数,同时对其余参数进行标准平均。在MNIST、Fashion-MNIST和CIFAR-10数据集上,基于狄利克雷非独立同分布划分的实验表明,该方法能够在保持可接受主任务效用的前提下,从训练好的模型中窃取语义上可识别的私有训练图像。这些结果证明,在所研究的白盒恶意服务器设置下,联邦学习可以成为主动TATD攻击的参数级记忆通道。
💡 推荐理由: 揭示了联邦学习在面对恶意服务器时,模型参数可能成为泄露训练数据的通道,对隐私保护构成严重威胁,提醒安全从业者关注联邦学习中的主动攻击风险。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Dayong Ye, Tainqing Zhu, Kun Gao, Junhao Liu, Yichuan Chen, Shuai Zhou, Hengzhu Liu, Bo Liu, Wanlei Zhou
本文提出首个统一框架,用于对文本生成、文本到图像、图像到文本三种模态的生成模型进行成员推理攻击(MIA)。现有方法针对单一模态设计,无法跨模态适用。作者发现一个模态无关的观察:生成模型的输出分布可近似其训练数据分布。利用这一特性,他们在共享嵌入空间中建模模型生成输出与辅助非成员样本的分布,通过似然比检验进行成员推理。在严格黑盒设置下(部分知识/零知识威胁模型),针对微调数据和预训练数据进行了广泛实验。结果表明,该方法在跨模态场景下优于针对单一模型类优化的现有最先进方法。这是首个跨模态统一MIA研究,为评估生成模型隐私风险提供了通用工具。
💡 推荐理由: 该研究揭示了生成模型在跨模态场景下共享的隐私泄漏模式,为防御者提供了一种统一评估成员隐私风险的方法,有助于设计更全面的隐私保护机制。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Chong Fu 0002, Xuhong Zhang 0002, Shouling Ji, Jinyin Chen, Jingzheng Wu, Shanqing Guo, Jun Zhou 0011, Alex X. Liu, Ting Wang 0006
本文针对纵向联邦学习(VFL)中的标签推断攻击提出了一种名为KD-k(知识蒸馏结合k-匿名)的防御框架。在VFL中,多个参与方持有垂直划分的数据,共同训练机器学习模型,其中标签仅由聚合服务器(标签所有者)持有,旨在保护标签隐私。然而,已有研究发现,攻击者可以利用服务器返回给底层模型的梯度信息,结合少量辅助标签(仅需训练数据中极少部分样本的标签),推断出其他样本的私有标签。这类攻击被称为标签推断攻击,严重威胁了VFL中的标签隐私。为了抵御此类攻击,本文提出的KD-k框架结合了知识蒸馏和k-匿名技术:首先通过知识蒸馏机制,将原始教师模型的知识迁移至学生模型,从而减少梯度中关于标签信息的泄露;同时引入k-匿名,确保每一类的梯度在统计上无法区分个体样本,进一步弱化攻击者的推断能力。在多个标准数据集上进行的实验表明,应用KD-k后,多种标签推断攻击的成功率显著下降,降幅超过60%,而VFL全局模型的精度几乎不受影响(几乎无损失)。该工作为VFL中的隐私保护提供了有效的解决方案,平衡了模型效用与隐私安全性。本文适合联邦学习、隐私保护机器学习领域的研究人员和工程师阅读,以了解标签推断攻击的现状及一种实用的防御思路。
💡 推荐理由: 标签隐私是VFL中的关键安全问题,本文提出的KD-k框架能有效降低标签推断攻击成功率(>60%),同时几乎不影响模型精度,为联邦学习隐私保护提供了实用方案。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xinjian Luo, Hongyan Chang, Jianxin Wei, Yuncheng Wu, Xiaofeng Gao, Meikang Qiu, Ting Yu, Xue Liu
该论文首次系统研究了分布式多模态大语言模型(MLLM)推理框架中的图像提示重构攻击问题。分布式推理框架通过连接多个消费级设备实现大模型推理,降低了硬件门槛,但近期研究表明,参与节点间传输的中间嵌入会泄露文本提示。随着MLLM的普及,图像提示包含丰富的视觉和语义信息,其中间嵌入更具隐私敏感性,然而针对图像提示的泄露问题尚未被充分探索。本文首先分析了从图像像素到中间表示的信息流,由于图像和文本嵌入在MLLM各层中交织,作者设计了图像嵌入提取算法作为重构攻击的前提,实验表明该算法在几乎所有MLLM层上实现了100%的提取准确率。在此基础上,提出了两种被动黑盒图像重构攻击:MPAA(基于块的像素级重构)和IEDA(基于嵌入引导扩散的语义级重构)。MPAA通过逐块信息提取与组装实现细粒度像素重构,IEDA则利用嵌入引导的扩散生成实现粗粒度语义重构。在Gemma 3、Phi 4 Multimodal、Qwen 2.5 VL和Llama 4 Scout四个代表性MLLM系列上进行了评估,结果显示在不同设置下均有一致的出色重构性能。此外,还分析了MoE架构、图像预处理、模型规模和文本-图像依赖关系对攻击性能的影响。据作者所知,这是首个针对MLLM的图像重构攻击研究,揭示了分布式MLLM推理中图像隐私的严重风险。
💡 推荐理由: 该工作揭示了分布式MLLM推理中图像提示的隐私泄露风险,攻击者可从中间嵌入重构出原始图像,对使用分布式MLLM服务的用户隐私构成威胁。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: William Kalikman, Ivo Petrov, Dimitar I. Dimitrov, Martin Vechev
本文提出了一种名为TIGER的新型梯度反演攻击方法,针对联邦学习场景下Transformer模型的隐私泄露问题。联邦学习中,多个客户端协同训练共享模型,仅上传梯度更新至中央服务器,理论上原始输入数据保留在本地。然而,已有的梯度反演攻击表明,这些更新足以泄露客户端输入信息。现有针对Transformer的攻击方法存在局限:优化假输入匹配真实梯度更新对于现代模型成本高且不稳定;或者利用注意力梯度的低秩性识别包含真实层嵌入的子空间,再对候选token进行离散成员测试,但该测试对数值噪声(如量化或差分隐私DP)鲁棒性差,且在非因果注意力编码器模型中扩展性差。TIGER创新性地将子空间信号转化为可微分目标,通过直接优化token嵌入以最小化其到子空间的距离,避免了对完整梯度的匹配或离散搜索。实验表明,在仅编码器模型上,TIGER在重建质量和运行时间上显著优于现有攻击;在解码器模型上,TIGER比基于子空间的先前攻击更具鲁棒性,首次在受差分隐私保护的联邦学习设置中成功实现了输入重建。这项工作揭示了现有联邦学习隐私保护机制的脆弱性,对采用Transformer架构的联邦学习系统构成实际威胁。
💡 推荐理由: 该攻击首次在差分隐私保护的联邦学习设置中成功重建输入,突破了现有防御,对采用Transformer模型的联邦学习隐私保护提出严峻挑战。
🎯 建议动作: 研究跟进
排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zhikun Zhang 0001, Min Chen 0032, Michael Backes 0001, Yun Shen, Yang Zhang 0016
该论文首次系统性地分析了图神经网络(GNN)在节点级成员推断攻击下的隐私风险。GNN广泛应用于社交网络、蛋白质结构等图数据,但先前对隐私攻击的研究主要集中在欧几里得数据(如图像和文本)上,GNN的隐私漏洞尚未被充分探索。作者定义了三种威胁模型,基于攻击者的背景知识强度:仅知道图结构和部分节点标签、知道目标节点子图、知道完整图结构。针对这些模型,提出了三种成员推断攻击方法,利用节点嵌入的过拟合特性及图结构信息。在三个经典GNN架构(GCN、GraphSAGE、GAT)和四个基准数据集(Cora、Citeseer、Pubmed、Facebook)上评估,结果显示即使攻击者仅有最小背景知识,GNN也显著泄露节点成员信息。实验进一步表明,图的密度和节点特征的相似性对攻击成功率有重要影响:高密度图或高特征相似性会增加攻击风险。最后,作者探索了两种防御机制——差分隐私训练和图扰动,并发现它们能降低攻击性能,但会以适度牺牲模型效用为代价。该工作对理解GNN隐私风险并设计防御策略具有重要意义。
💡 推荐理由: GNN广泛应用于敏感图数据,但成员推断攻击可能泄露节点是否在训练集中,导致隐私泄露。该研究首次系统揭示此风险,对安全从业者评估GNN部署的隐私威胁至关重要。
🎯 建议动作: 研究跟进: 评估自身GNN模型对成员推断攻击的脆弱性,考虑部署差分隐私或图扰动等防御。
排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Farhin Farhad Riya, Olivera Kotevska, Jinyuan Stella Sun
联邦学习(FL)中,异构差分隐私(HDP)允许客户端根据自身策略和数据敏感度选择不同的隐私预算(ε_i)。现有HDP-FL系统常采用ε感知的服务器聚合,通过根据客户端声明的隐私预算重新加权其梯度更新来提升模型效用。然而,联邦学习中的梯度更新保留了由非独立同分布(non-IID)数据引起的结构模式,这些额外信号为诚实但好奇的服务器提供了新的推断机会。本文首先展示了一种隐私推理攻击:服务器利用梯度去噪和代理建模,在现实知识约束下,能够推断客户端的分布属性并在训练轮次间链接同一客户端的更新,通过代理推断准确率和链接成功率衡量。Shuffle-Model作为一种防御手段,通过匿名化更新来源来抵御此类风险,但其与HDP-FL的ε感知聚合本质不兼容。为解决此矛盾,本文提出IntraShuffler,一种面向HDP-FL系统的中间件防御框架。IntraShuffler引入隐私感知的洗牌机制:将客户端分组到隐私兼容的桶中,在每个桶内执行参数级洗牌,以破坏持续的梯度结构,同时保留ε感知聚合。在四个不同数据集上的实验表明,IntraShuffler将梯度可恢复性降低超过60%,代理推断准确率从0.78降至0.33,同时在不同FL聚合规则下保持了可比的模型效用。
💡 推荐理由: 揭示了HDP-FL中ε感知聚合的隐私漏洞,并提出了一种兼容的防御方案,对联邦学习隐私保护实践有重要指导意义。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Jinze Gu, Qinghua Mao, Xi Lin, Jun Wu
该论文提出了一种针对基于知识图谱的检索增强生成(Graph RAG)系统的结构知识窃取攻击方法,称为GraphSteal。Graph RAG通过将知识图谱集成到检索管道中,使大语言模型能够利用结构化知识中的实体、关系和多跳依赖。然而,这种结构化知识同时引入了新的隐私风险:攻击者可以通过黑盒交互将Graph RAG系统转化为结构化预言机,逐步获取足够的关联证据以重建隐藏知识图谱的大部分内容。论文提出的重构框架包含两种策略:深度优先启发式搜索(Depth-Wise Heuristic Search)通过递归扩展以实体为中心的线索来提取细粒度的节点属性;广度优先扩散搜索(Breadth-Wise Diffusion Search)通过沿关系诱导的邻域传播来推断图拓扑。在通用医疗场景下的实验表明,该方法能从代表性Graph RAG系统中恢复超过90%的原始知识图谱,高保真地揭示敏感实体、关系和结构依赖。现有防护措施对此攻击的防御效果有限,凸显了保护Graph RAG管道中结构隐私的固有困难。该研究主要面向LLM安全、隐私保护以及RAG系统设计的研究人员。
💡 推荐理由: 该研究揭示了Graph RAG系统在结构隐私方面的新攻击面,攻击者无需内部权限即可高精度重建知识图谱,对依赖结构化知识的应用构成严重隐私威胁,安全从业者需重新评估RAG体系的安全假设。
🎯 建议动作: 内部评估现有Graph RAG系统的结构隐私暴露风险,研究对抗性查询检测与响应扰动机制。
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jianfeng Li 0006, Shuohan Wu, Hao Zhou 0043, Xiapu Luo, Ting Wang 0006, Yangyang Liu, Xiaobo Ma
该论文针对无线加密流量中移动应用指纹识别(AF)攻击面临的四大挑战:隐藏目的地、不可见边界、应用多路复用和开放世界识别,提出了一种新型攻击方法PACKETPRINT。现有AF攻击无法同时解决这些问题,而PACKETPRINT通过结合序列化XGBoost模型和层次化词袋模型,从加密无线流量中准确识别与目标应用相关的用户活动。序列化XGBoost用于捕获流量包的时间序列特征,层次化词袋模型则处理应用内多路复用和开放世界分类。论文在多个挑战性场景下进行了评估,包括开放世界设置、丢包和网络拥塞、不同应用同时使用以及跨数据集识别。实验结果表明:开放世界应用识别的平均F1分数达到0.884,应用内用户动作识别的平均F1分数为0.959。研究揭示了无线流量中应用指纹识别的严重隐私威胁,为防御方理解此类攻击提供了技术细节。
💡 推荐理由: 该研究揭示了即使在加密无线流量中,攻击者仍能准确识别用户正在使用的移动应用及具体操作,对用户在线隐私构成严重威胁。安全从业者需了解此类攻击手段以设计更有效的流量混淆或加密增强方案。
🎯 建议动作: 研究跟进,评估PACKETPRINT攻击对自身移动应用或网络环境的具体影响,并探索流量整形、随机填充等可能的防御策略。
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Abtin Mahyar, Masoumeh Shafieinejad, Yuhan Liu, Xi He
该论文研究了针对表格扩散模型的成员推断攻击(Membership Inference Attack, MIA)。扩散模型在合成表格数据方面表现出色,常被用于共享敏感记录,但其隐私保护能力受到质疑。现有成员推断攻击通常假设单表设置,忽略了真实敏感数据中的多表关系结构。论文指出,在多表场景下评估隐私风险的核心挑战在于如何利用与目标表相关联的辅助信息(如其父表)。然而,在攻击推理时,攻击者只能观察到目标表中目标记录的属性值。为此,作者提出了FERMI(FEature-mapping for Relational Membership Inference)方法,通过将单表特征与关系成员信号相结合来解决这一差距。FERMI 首先在训练阶段利用辅助关系表学习一个特征映射,将多表关系转化为单表特征上的增强信号;在推理时仅需目标记录的属性值即可进行成员推断。实验基于三种表格扩散架构(如 CTGAN、TableDiffusion 等)和三个真实关系数据集(如 IMDB、Airbnb 等),评估了白盒和黑盒设置下的攻击性能。结果显示,FERMI 在假阳性率(FPR)为0.1时,真阳性率(TPR)在白盒设置下比单表基线提升高达53%,在黑盒设置下提升22%。论文的主要贡献在于首次将关系结构引入表格扩散模型的成员推断攻击,并提出了有效的特征映射方法,显著提高了攻击效果。该研究提醒数据发布者:即使在推理时仅释放单表数据,多表关系在训练阶段的存在仍可能被攻击者利用,从而加剧隐私泄露风险。适合从事数据隐私、机器学习安全的研究人员以及使用合成数据发布敏感信息的组织阅读。
💡 推荐理由: 揭示了表格扩散模型在多表关系场景中未被重视的隐私泄露渠道,为数据发布者评估合成数据的成员隐私风险提供了新视角,具有重要警示意义。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yuntao Du 0002, Jiacheng Li, Yuetian Chen, Kaiyuan Zhang 0002, Zhizhen Yuan, Hanshen Xiao, Bruno Ribeiro 0001, Ninghui Li 0001
本文提出了一种新型的成员推理攻击方法——级联代理成员推理攻击(Cascading and Proxy Membership Inference Attacks)。成员推理攻击旨在判断特定数据点是否被用于训练目标机器学习模型,对模型训练的隐私构成严重威胁。现有的攻击方法通常需要访问目标模型的输出或梯度,或者依赖影子模型进行黑盒攻击,但在黑盒场景下效率较低。本文提出的级联代理攻击方法通过构建多个代理模型来模拟目标模型的行为,并利用级联结构逐步提升攻击精度。具体而言,该方法首先训练一个初始代理模型,然后基于该模型对目标模型的输出进行预测,再使用这些预测作为标签训练下一级代理模型,从而逐步逼近目标模型的决策边界。实验在多个标准数据集(如CIFAR-10、ImageNet)和多种模型架构(如ResNet、CNN)上进行,结果表明该方法在攻击成功率上显著优于传统的单代理模型攻击和基于影子模型的攻击,尤其在目标模型参数不可见或仅提供有限输出信息的情况下。此外,该方法还展示了良好的可迁移性,即在一个数据集上训练的代理模型可以有效攻击其他相似数据集上的目标模型。本文的主要贡献包括:1)提出级联代理攻击的通用框架,可适用于黑盒和白盒场景;2)设计高效的训练策略,减少对目标模型查询次数;3)通过大量实验验证了方法的有效性和鲁棒性。该研究揭示了机器学习模型在隐私保护方面的潜在风险,提醒开发者在部署模型时应考虑更严格的防御措施,如差分隐私训练或输出扰动。
💡 推荐理由: 该研究提出了一种更高效的成员推理攻击方法,能在黑盒场景下达到较高准确率,表明现有模型在隐私保护上仍存在薄弱环节,对数据合规和隐私安全有警示意义。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xinhao Deng, Yixiang Zhang, Qi Li 0002, Zhuotao Liu, Yabo Wang, Ke Xu 0002
本文针对网站指纹攻击(Website Fingerprinting, WF)在面临流量漂移(Traffic Drift)时性能退化的问题展开研究。随着网络协议更新、网站内容变化以及用户行为模式演变,攻击者基于早期流量样本训练的模型在实际部署中准确率大幅下降。论文提出一种新颖的主动学习与对比学习相结合的适应框架,能够在少量新标记样本的辅助下,持续更新攻击模型以保持高精度。具体地,该框架利用对比学习提取对漂移不敏感的稳定特征,同时通过主动选择最具信息量的未标记样本进行人工标注,有效降低适应成本。在多个真实世界数据集上的实验表明,所提方法在控制标注预算的前提下,能将攻击准确率从传统方法的60%左右提升至85%以上,显著优于现有最佳方法。此外,论文还设计了多种漂移场景模拟,包括渐进式漂移与突变式漂移,验证了方法的鲁棒性。该工作揭示了网站指纹攻击在真实环境中的实际威胁潜力,也为防御方提供了理解攻击者适应能力的重要参考。
💡 推荐理由: 该研究揭示了网站指纹攻击在真实流量漂移环境下仍能维持高准确率,显示攻击者具备持续适应能力,威胁被忽视的隐私泄露风险。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Rishi Raj Sahoo, Jyotirmaya Shivottam, Subhankar Mishra
该论文研究了从差分隐私(DP)保护的图神经网络(GNN)解释中重建隐藏图结构的安全风险。虽然差分隐私通常被视为发布解释时降低隐私风险的标准手段,但作者证明了仅依赖DP并不足够:攻击者仅观察到经过DP扰动的GNN解释,就能以高精度重建原始图结构。作者提出的攻击方法PRIVX利用了高斯DP机制实质上是已知噪声水平σ(ε)下的单步DDPM(去噪扩散概率模型)前向过程,将重建问题转化为以被污染信号为条件的反向扩散,从而成为在已知DP扰动下的贝叶斯去噪器。论文形式化了一个分层攻击者模型,参数为(M, ε̂, δ̂, S, ρ),可插值从无信息攻击者到全能攻击者,并推导了重建AUC的端点匹配双边界。针对实践者,论文提供了关于解释器选择的按状态分层指导:在同质图上,相同DP预算下,邻域聚合解释器(如GraphLIME、GNNExplainer)比逐节点梯度解释器泄露更多结构;而在强异质图上顺序相反。此外,论文引入PRIVF作为辅助诊断工具,共享相同的扩散骨干,用于将泄露分解为解释器引起的部分和内在图分布引起的部分。在七个基准数据集、三种DP机制和三种GNN主干网络上的实验表明,PRIVX在五个数据集上实现了AUC大于0.7(ε=5),且攻击在典型部署的隐私预算内成功。
💡 推荐理由: 该研究揭示了一个重要的隐私漏洞:即使GNN解释满足差分隐私,攻击者仍可能重建敏感图结构(如社交关系、分子结构),这对使用GNN解释且依赖DP保护隐私的应用构成严重威胁。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Fan Wu 0011, Yunhui Long, Ce Zhang 0001, Bo Li 0026
该论文提出了一种针对图神经网络(GNN)的隐私攻击方法LINKTELLER,旨在从GNN模型中恢复私有边信息。研究背景为图结构数据在推荐系统、交通预测等领域的广泛应用,其中节点特征和边信息通常由不同数据持有者掌握,出于隐私考虑,他们需要联合训练协议而非直接共享数据。论文聚焦于边隐私,考虑一个垂直数据分割场景:拥有节点特征的数据持有者Bob将特征发送给拥有邻接信息的Alice,Alice训练GNN并提供推理API给Bob。在推理时,Bob可提供测试节点特征并查询预测结果。LINKTELLER通过影响分析设计对抗性查询,以推断Alice持有的私有边信息。实验在8个归纳式数据集和3个直推式数据集上验证,表明该方法能在不同图密度下显著恢复大量私有边,性能优于现有基线。此外,论文评估了差分隐私GCN(DP GCN)机制对此攻击的鲁棒性,并提出了基于拉普拉斯机制的LAPGRAPH方法。实验显示,在弱隐私保证(ε>5)下,DP GCN机制对LINKTELLER并不总是鲁棒。该研究为设计更鲁棒的隐私保护GCN模型提供了方向,并深入探讨了GCN模型效用与隐私攻击鲁棒性之间的权衡。
💡 推荐理由: 该攻击揭示了GNN在垂直分割数据场景下存在的边隐私泄露风险,对联合训练中边信息的保密性构成威胁,有助于推动更安全的GNN隐私保护机制设计。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Shanghao Shi, Ning Wang 0022, Yang Xiao 0010, Chaoyu Zhang, Yi Shi 0001, Y. Thomas Hou 0001, Wenjing Lou
联邦学习(Federated Learning)因其能够保护参与者数据隐私而闻名。然而,近期出现的模型逆向攻击(Model Inversion Attacks, MIAs)表明,恶意的参数服务器可以从模型更新中重建用户的本地数据样本。现有的最先进攻击要么依赖计算密集型的迭代优化方法来重建每个输入批次,导致难以扩展;要么需要恶意参数服务器在全局模型架构前添加额外模块,使得攻击过于显眼且容易被检测。为了克服这些局限,本文提出了Scale-MIA,一种新型的模型逆向攻击,能够高效且准确地从聚合模型更新中重建本地训练样本,即使系统受到鲁棒的安全聚合(Secure Aggregation, SA)协议保护。Scale-MIA利用模型的内部架构,将潜在空间(Latent Space)识别为破坏隐私的关键层。它将复杂的重建任务分解为创新的两步过程:第一步,利用精心设计的线性层,通过闭式反演机制从聚合模型更新中重建潜在空间表示(LSRs);第二步,将LSRs输入微调后的生成式解码器,重建整个输入批次。作者在常用机器学习模型上实现了Scale-MIA,并在多种设置下进行了全面实验。结果表明,与最先进的MIAs相比,Scale-MIA在不同数据集上均取得了优异的性能,在更大规模下表现出高重建率、高准确性和高攻击效率。代码已开源。
💡 推荐理由: 该攻击展示了在安全聚合保护的联邦学习中,对手仍能以高效、可扩展的方式重建用户本地数据,严重威胁联邦学习的隐私承诺,值得联邦学习部署方和安全研究人员高度关注。
🎯 建议动作: 研究跟进
排序因子: Community 数据源 (+1) | LLM 评分加成 (+0.5)