该论文提出 MetaMoE，一个隐私保护的混合专家（MoE）模型统一框架。在现实场景中，训练数据通常分布在多个客户端且无法共享，导致无法直接训练统一的 MoE 模型。MetaMoE 利用公开的代理数据作为私有数据的替代，通过多样性感知的代理选择方法，从公开数据中挑选与各客户端领域相关且多样化的样本，以有效逼近私有数据分布并监督路由器的学习。这些代理还用于对齐专家训练，改善统一时的专家协调，同时上下文感知的路由器增强了跨异构输入的专家选择。在计算机视觉和自然语言处理基准上的实验表明，MetaMoE 持续优于现有的隐私保护 MoE 统一方法。该工作为隐私约束下的 MoE 模型训练提供了新思路，适用于联邦学习、分布式专家系统等场景。