本文提出了一种名为ARES（通过稀疏反演恢复激活）的主动梯度反转攻击方法，旨在解决联邦学习（FL）中现有梯度反转攻击（GIA）在面对大批量训练样本时重建保真度低且需修改模型架构的问题。联邦学习通过共享模型更新而非原始数据来保护隐私，但研究表明共享更新可能泄露敏感训练数据。现有主动GIA虽能在大批量下实现高保真重建，但通常需要架构修改，限制实用性。ARES将激活恢复问题建模为噪声稀疏恢复任务，利用广义LASSO（最小绝对收缩与选择算子）求解。为扩展到多样本恢复，ARES采用印记方法解耦激活，实现可扩展的逐样本重建。理论上，推导了预期恢复率和重建误差上界，提供了理论保证。在CNN和MLP上的大量实验表明，ARES在多种数据集上实现高保真重建，显著优于现有GIA，尤其在大批量及现实FL设置中。结果强调中间激活在FL中构成严重且被低估的隐私风险，亟需更强防御。

本文提出了一种名为TIGER的新型梯度反演攻击方法，针对联邦学习场景下Transformer模型的隐私泄露问题。联邦学习中，多个客户端协同训练共享模型，仅上传梯度更新至中央服务器，理论上原始输入数据保留在本地。然而，已有的梯度反演攻击表明，这些更新足以泄露客户端输入信息。现有针对Transformer的攻击方法存在局限：优化假输入匹配真实梯度更新对于现代模型成本高且不稳定；或者利用注意力梯度的低秩性识别包含真实层嵌入的子空间，再对候选token进行离散成员测试，但该测试对数值噪声（如量化或差分隐私DP）鲁棒性差，且在非因果注意力编码器模型中扩展性差。TIGER创新性地将子空间信号转化为可微分目标，通过直接优化token嵌入以最小化其到子空间的距离，避免了对完整梯度的匹配或离散搜索。实验表明，在仅编码器模型上，TIGER在重建质量和运行时间上显著优于现有攻击；在解码器模型上，TIGER比基于子空间的先前攻击更具鲁棒性，首次在受差分隐私保护的联邦学习设置中成功实现了输入重建。这项工作揭示了现有联邦学习隐私保护机制的脆弱性，对采用Transformer架构的联邦学习系统构成实际威胁。

本文提出了一种针对语言模型联邦学习（FL）训练过程的梯度反转攻击方法GRAB。以往研究表明，梯度反转攻击在视觉模型的连续域中威胁显著，但在语言模型中由于文本数据的离散性，攻击效果通常被认为较弱或依赖于不切实际的训练设置，导致其隐私威胁被低估。GRAB通过混合优化策略克服了实际训练中的挑战：首先，通过层间dropout掩码的同步优化来提升令牌恢复的准确性；其次，采用离散优化以实现有效的令牌排序。实验表明，GRAB在基准设置下可恢复高达92.9%的私有训练数据，相比仅使用辅助模型进行离散优化的攻击方法，恢复率提升达28.9%；在实际设置下提升达48.5%。该工作揭示了联邦学习语言模型训练中此前被忽视的隐私风险，为理解这一新兴训练模式的隐私威胁提供了重要进展。适合关注联邦学习隐私安全的研究人员、语言模型开发者以及安全工程师阅读。

联邦学习（FL）允许多个客户端协同训练模型而不共享原始数据，但面临梯度反转攻击（GIA）的威胁，攻击者可从共享梯度中重建私有数据。现有防御方法要么在嵌入式平台上计算开销过高，要么无法同时保证隐私保护和模型效用，且许多方法易被了解防御细节的自适应攻击者绕过。为此，本文提出SVDefense，一种基于截断奇异值分解（SVD）的梯度混淆防御框架。SVDefense包含三项关键创新：1）自适应能量阈值（Self-Adaptive Energy Threshold），根据客户端脆弱性动态调整SVD截断阈值；2）通道级加权近似（Channel-Wise Weighted Approximation），有选择地保留关键梯度信息以维持模型训练效果，同时增强隐私保护；3）层级加权聚合（Layer-Wise Weighted Aggregation），在类别不平衡下实现有效的模型聚合。实验评估在图像分类、人类活动识别和关键词识别等多个应用上表明，SVDefense在提供强大隐私保护的同时对模型精度影响极小，且可在多种资源受限的嵌入式平台上实际部署。论文若被接收将公开代码。