推荐 11.5
Conf: 50%
本文针对联邦大语言模型(FedLLMs)中的成员推断攻击(MIA)问题展开研究。FedLLMs允许多方协作微调大语言模型而无需共享原始数据,从而解决资源有限和隐私保护等挑战。然而,即使数据不离本地,共享的梯度仍然可能通过成员推断攻击泄露敏感信息。由于FedLLMs具有参数规模巨大、收敛速度快、梯度稀疏且非正交等独特特性,现有的MIA方法效果不佳。为此,作者提出了ProjRes——首个针对FedLLMs的基于投影残差的被动成员推断攻击方法。ProjRes将隐藏嵌入向量作为样本表示,并分析它们在梯度子空间上的投影残差,以揭示梯度与输入之间的内在联系。该方法不需要影子模型、辅助分类器或历史更新,因此效率高且鲁棒性强。在四个基准测试和四个大语言模型上的实验表明,ProjRes达到了接近100%的准确率,比之前的方法性能提升了高达75.75%,即使在强差分隐私防御下仍然有效。该研究揭示了一个先前被忽视的FedLLMs隐私漏洞,并呼吁重新审视其安全假设。代码和数据已公开。
💡 推荐理由: 本文首次实现了对联邦大语言模型的高效、高精度成员推断攻击,暴露了当前隐私保护机制的不足,对联邦学习场景下的用户隐私构成实质性威胁,值得安全社区关注。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)