01学习目标
- 理解 top-k 路由与专家并行
- 理解总参数与激活参数
- 比较 Transformer 与 SSM 的复杂度
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
稀疏门控混合专家Sparsely-Gated Mixture of Experts 一个门控网络为每个输入只挑少数几个“专家”子网络。 2017核心 GShard 专家并行GShard (Expert Parallelism) 把 MoE 的专家分布到上千个加速器上训练。 2020扩展 Switch Transformer 每个 token 只路由到 1 个专家的极简 MoE。 2021核心 Mixtral（top-2 MoE）Mixtral (Top-2 MoE) 8 个专家选 2 个的开源 MoE 模型，让 MoE 走进开源社区。 2024核心 DeepSeekMoE 细粒度专家DeepSeekMoE (Fine-Grained & Shared Experts) 把专家切得更细并加入共享专家，让每个专家更专精。 2024核心 无辅助损失负载均衡Auxiliary-Loss-Free Load Balancing 用动态偏置而非额外损失来平衡专家负载。 2024核心 结构化状态空间 S4Structured State Spaces (S4) 用连续时间状态空间方程高效建模超长序列。 2021扩展 Mamba 选择性状态空间Mamba (Selective State Spaces) 让状态空间参数随输入变化，获得线性时间且接近 Transformer 的效果。 2023核心 Mamba-2 / 状态空间对偶Mamba-2 (State Space Duality) 证明 SSM 与一类注意力等价，并据此设计更快的 Mamba。 2024扩展 线性注意力Linear Attention 用核函数近似 softmax，把注意力复杂度从平方降到线性。 2020核心 RWKV 能像 Transformer 并行训练、像 RNN 一样推理的模型。 2023核心 RetNet 保留网络Retentive Network (RetNet) 可并行、可递推、可分块三种模式切换的注意力替代方案。 2023扩展 Hyena 长卷积Hyena Hierarchy 用隐式参数化的超长卷积和门控代替注意力。 2023扩展 xLSTM 用指数门控和矩阵记忆升级 LSTM，与 Transformer 正面竞争。 2024扩展 门控 DeltaNetGated Delta Networks 把“增量规则”记忆更新和门控遗忘结合的线性注意力。 2024核心 混合架构（Transformer+SSM）Hybrid Architectures (Jamba) 在同一模型里交替堆叠注意力层和 Mamba 层（并加 MoE）。 2024核心 扩散语言模型Diffusion Language Models (LLaDA) 不按从左到右生成，而是从全遮盖逐步“去噪”出整段文本。 2025核心 循环语言模型（Looped LM）Looped Language Models 同一组层反复执行多次，用“算更多遍”代替“堆更多层”。 2018扩展
03必读论文
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer ↗2017 ✓ 已核实 在必读经典里
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity ↗2021 ✓ 已核实
- DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models ↗2024 ✓ 已核实
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces ↗2023 ✓ 已核实 在必读经典里
- Gated Delta Networks: Improving Mamba2 with Delta Rule ↗2024 ✓ 已核实
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
实现一个 8 专家 top-2 的 MoE 前馈层替换小 GPT 的 FFN，观察专家负载分布。
- 1
- 2
06自测题
先自己想，再点开看答案。
MoE 为什么推理时省算力却费显存？
只激活少数专家，但所有专家权重都要加载。
Mamba 推理时为何不需要 KV Cache？
用固定大小的递推状态。
混合架构为何保留少量注意力层？
负责精确检索/复制能力。
所在人群路线：算法研究者