本类时间线
01核心算法
先学这些，按年份排列。
稀疏门控混合专家Sparsely-Gated Mixture of Experts 一个门控网络为每个输入只挑少数几个“专家”子网络。 2017核心 Switch Transformer 每个 token 只路由到 1 个专家的极简 MoE。 2021核心 Mixtral（top-2 MoE）Mixtral (Top-2 MoE) 8 个专家选 2 个的开源 MoE 模型，让 MoE 走进开源社区。 2024核心 DeepSeekMoE 细粒度专家DeepSeekMoE (Fine-Grained & Shared Experts) 把专家切得更细并加入共享专家，让每个专家更专精。 2024核心 无辅助损失负载均衡Auxiliary-Loss-Free Load Balancing 用动态偏置而非额外损失来平衡专家负载。 2024核心
02扩展
核心学懂之后值得了解的变体和后续工作。