Skip to content
简体中文

切换主题

// ✳ 混合专家 MoE

Mixtral(top-2 MoE)

8 个专家选 2 个的开源 MoE 模型,让 MoE 走进开源社区。

Mixtral (Top-2 MoE) 2024 进阶 核心

通俗解释

每层有 8 个前馈专家,每个 token 用 2 个,总参数约 47B,激活约 13B,效果接近更大的稠密模型。它推动了开源 MoE 的普及。

用在哪里:Mixtral 8x7B / 8x22B

时间轴 · 前置 → 当前 → 后继

2017 稀疏门控混合专家2024 Mixtral(top-2 MoE)2024 DeepSeekMoE 细…

01原始论文

Mixtral of Experts

Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, et al. · 2024

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

Mixtral(top-2 MoE)

学完可以学

稀疏门控混合专家DeepSeekMoE 细粒度… Mixtral(top-2 MoE)

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)