该论文研究联邦学习（Federated Learning）中的梯度泄露隐私问题。联邦学习只共享模型更新而不共享原始数据，但已有研究表明这些更新可被反演以重建客户端训练数据。其中解析式重建攻击（analytic reconstruction attack）能以闭式解直接反演梯度，然而其效果随 batch 增大而迅速退化：此前的单轮攻击即使假定攻击者完全控制网络参数，在 batch size 为 100 时也只能恢复约一半样本，且已有理论上界限制了任何此类方法可恢复的信息量。本文的核心创新在于建立了梯度反演与纠删码（erasure-correcting codes）理论之间的联系，把「反演一批梯度」形式化为「从擦除信道中解码」，并借鉴 LT 码（Luby Transform 码）的 peeling 剥离思想，构造出级联式（cascading）的逐层剥离攻击框架，从而突破此前认为的上界。主要贡献包括：(1) 在单个 FedSGD 轮次内即可精确恢复整个 batch 以及每个样本的标签，而不仅是部分样本；(2) 无需任何 ground-truth 数据即可对恢复结果进行自证（certify），给出可验证的成功判据；(3) 在八个图像与表格基准数据集上大幅超越既有单轮攻击。实验显示，即使攻击者是被动的、只能观测一个诚实训练的网络，也能在 batch size 达 128 时恢复 ImageNet 批次的 94%–100%，超过此前攻击者主动操纵模型时的水平；在主动设置下，batch 为数百时恢复率仍超过 90%。作者据此指出，联邦学习的隐私泄露程度长期以来被严重低估。该工作适合研究联邦学习隐私、梯度反演、隐私保护机器学习与安全聚合的研究者，以及负责 FL 系统隐私风险评估的工程与合规人员阅读。

本文针对联邦学习中共享梯度可能泄露私有训练文本的严重隐私威胁，提出了一种轻量级防御方法 AEGIS（Attention-Embedding Gradient Isolation Shield）。作者首先通过对 Transformer 梯度结构的深入分析，识别出三个导致私有 token 信息泄露的通道：通道1是注意力输出投影梯度暴露出的低秩子空间，能够编码输入嵌入；通道2是嵌入梯度的行范数稀疏性，直接揭示哪些 token 出现在训练数据中；通道3是 MLP 扩展梯度中携带的可恢复子空间信号，与通道1具有类似性质。研究表明，最先进的梯度反演攻击能够在数秒内利用这些通道实现近乎精确的 token 恢复。现有防御大多只针对单一通道，且往往以牺牲模型效用或留下结构信号为代价。AEGIS 的核心创新在于通过三个无需架构修改的反向路径操作同时关闭所有三个分析通道：冻结注意力投影参数从构造上消除通道1；向嵌入梯度注入校准噪声以破坏通道2的 token 存在信号；对 MLP 扩展梯度进行逐块噪声注入以掩盖通道3。该方法确保用于本地优化器步进和服务器导出的梯度均为掩蔽后的版本，任何一侧都不保留干净信号。作者在 11 个模型和 6 个数据集上进行了全面评估，证明 AEGIS 能够将多种解析型和基于优化的梯度反演攻击的 token 恢复率降至接近零，同时保持甚至提升模型效用。此外，论文为通道1和通道2提供了形式化保证，并针对完全了解防御机制的自适应对手进行了实证验证，展示了方法在极端威胁模型下的鲁棒性。

本文提出了一种名为ARES（通过稀疏反演恢复激活）的主动梯度反转攻击方法，旨在解决联邦学习（FL）中现有梯度反转攻击（GIA）在面对大批量训练样本时重建保真度低且需修改模型架构的问题。联邦学习通过共享模型更新而非原始数据来保护隐私，但研究表明共享更新可能泄露敏感训练数据。现有主动GIA虽能在大批量下实现高保真重建，但通常需要架构修改，限制实用性。ARES将激活恢复问题建模为噪声稀疏恢复任务，利用广义LASSO（最小绝对收缩与选择算子）求解。为扩展到多样本恢复，ARES采用印记方法解耦激活，实现可扩展的逐样本重建。理论上，推导了预期恢复率和重建误差上界，提供了理论保证。在CNN和MLP上的大量实验表明，ARES在多种数据集上实现高保真重建，显著优于现有GIA，尤其在大批量及现实FL设置中。结果强调中间激活在FL中构成严重且被低估的隐私风险，亟需更强防御。

本文提出了一种名为TIGER的新型梯度反演攻击方法，针对联邦学习场景下Transformer模型的隐私泄露问题。联邦学习中，多个客户端协同训练共享模型，仅上传梯度更新至中央服务器，理论上原始输入数据保留在本地。然而，已有的梯度反演攻击表明，这些更新足以泄露客户端输入信息。现有针对Transformer的攻击方法存在局限：优化假输入匹配真实梯度更新对于现代模型成本高且不稳定；或者利用注意力梯度的低秩性识别包含真实层嵌入的子空间，再对候选token进行离散成员测试，但该测试对数值噪声（如量化或差分隐私DP）鲁棒性差，且在非因果注意力编码器模型中扩展性差。TIGER创新性地将子空间信号转化为可微分目标，通过直接优化token嵌入以最小化其到子空间的距离，避免了对完整梯度的匹配或离散搜索。实验表明，在仅编码器模型上，TIGER在重建质量和运行时间上显著优于现有攻击；在解码器模型上，TIGER比基于子空间的先前攻击更具鲁棒性，首次在受差分隐私保护的联邦学习设置中成功实现了输入重建。这项工作揭示了现有联邦学习隐私保护机制的脆弱性，对采用Transformer架构的联邦学习系统构成实际威胁。

本文提出了一种针对语言模型联邦学习（FL）训练过程的梯度反转攻击方法GRAB。以往研究表明，梯度反转攻击在视觉模型的连续域中威胁显著，但在语言模型中由于文本数据的离散性，攻击效果通常被认为较弱或依赖于不切实际的训练设置，导致其隐私威胁被低估。GRAB通过混合优化策略克服了实际训练中的挑战：首先，通过层间dropout掩码的同步优化来提升令牌恢复的准确性；其次，采用离散优化以实现有效的令牌排序。实验表明，GRAB在基准设置下可恢复高达92.9%的私有训练数据，相比仅使用辅助模型进行离散优化的攻击方法，恢复率提升达28.9%；在实际设置下提升达48.5%。该工作揭示了联邦学习语言模型训练中此前被忽视的隐私风险，为理解这一新兴训练模式的隐私威胁提供了重要进展。适合关注联邦学习隐私安全的研究人员、语言模型开发者以及安全工程师阅读。

联邦学习（FL）允许多个客户端协同训练模型而不共享原始数据，但面临梯度反转攻击（GIA）的威胁，攻击者可从共享梯度中重建私有数据。现有防御方法要么在嵌入式平台上计算开销过高，要么无法同时保证隐私保护和模型效用，且许多方法易被了解防御细节的自适应攻击者绕过。为此，本文提出SVDefense，一种基于截断奇异值分解（SVD）的梯度混淆防御框架。SVDefense包含三项关键创新：1）自适应能量阈值（Self-Adaptive Energy Threshold），根据客户端脆弱性动态调整SVD截断阈值；2）通道级加权近似（Channel-Wise Weighted Approximation），有选择地保留关键梯度信息以维持模型训练效果，同时增强隐私保护；3）层级加权聚合（Layer-Wise Weighted Aggregation），在类别不平衡下实现有效的模型聚合。实验评估在图像分类、人类活动识别和关键词识别等多个应用上表明，SVDefense在提供强大隐私保护的同时对模型精度影响极小，且可在多种资源受限的嵌入式平台上实际部署。论文若被接收将公开代码。