去中心化大语言模型(LLM)微调允许多个机构在不汇聚原始数据、也没有中心协调者的情况下,协作训练一个共享的 LLM。其典型流程是:每一轮中,每个节点在通信图上与邻居交换可训练的适配器(adapter),随后在本地对收到的适配器进行聚合更新。论文指出这一范式存在被「传播型后门」污染的风险——后门是一种隐藏行为,使模型在干净输入上表现正常,但只要输入中出现秘密触发器,就产生攻击者预先选定的输出。作者首先给出一个关键发现:仅仅一个节点对自己的模型投毒,就能让从未见过任何投毒样本的邻居节点所持有的适配器也被植入后门,从而让这些无辜节点在收到包含秘密触发词的提示时选择拒答(即被触发为攻击者期望的行为)。这意味着后门会沿着通信图逐跳扩散,危害远超投毒节点自身。 针对该问题,作者提出 Chorus:一种去中心化的防御机制,使每个节点在聚合之前就能检测并拒绝来自邻居的后门适配器。Chorus 的两个核心设计目标是:不需要任何共享的验证数据集,也不需要预先知道攻击者使用的触发器或攻击目标。其基本原理是「以行为判优劣」——接收方把自身当前持有的适配器当作可信参考,用它对收到的邻居适配器进行行为对比评估。更关键的是,Chorus 不依赖任何单一节点独立下结论:同一个适配器会被它的多个接收方分别独立探测,各接收方的探测结果在邻域内汇总并进行投票,最终决定是否接纳。因此,即使某个接收方漏检、让后门溜过,其它接收方仍能在投票中把它拦截下来,显著提升了鲁棒性。 实验评估覆盖两个指令微调数据集与多种 LLM 架构,并与一个当前最优(state-of-the-art)基线进行对比。结果显示:Chorus 将攻击者邻居节点的平均攻击成功率(ASR)从 48%–63% 降到最高 2.2%,与一个「全知 oracle」(已知确切恶意节点)的差距在 0.6 个百分点以内;在最多 78% 节点被影响的无防御情形下,Chorus 中最受影响的诚实节点 ASR 也从未超过 10%,与 oracle 的同一上界持平。此外,该机制带来的通信开销可以忽略不计。整体而言,论文为去中心化/联邦式 LLM 微调提供了一种无需共享数据、无需触发器先验、基于多接收方独立探测与邻域投票的后门检测与拒收方案。
💡 推荐理由: 去中心化与联邦式 LLM 微调正被跨机构协作、模型/适配器市场等场景采用,单点投毒即可沿通信图传播后门、让未接触投毒数据的节点也产出攻击者指定行为。Chorus 证明不依赖共享验证集与触发器先验也能高效检测并拒收,对构建可信聚合与模型供应链防护有直接参考价值。
🎯 建议动作: 研究跟进:阅读全文并评估其探测/投票流程在本组织去中心化或联邦微调流水线中的可落地性,纳入内部评估