// 课程 · 第 4 阶段（共 9 阶）
Transformer 与大模型
分词与嵌入、注意力、现代 LLM 架构、MoE 与新架构、预训练与缩放定律。
5 个单元约 54 小时47 个算法
01本阶段单元
按顺序学。每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
01 · U40 分词与嵌入 BPE 分词、token 计费、嵌入向量与语义相似度。 6 小时6 个算法2 篇论文已有正文 02 · U41 Transformer 与注意力 自注意力、多头、位置编码、残差与归一化，从零实现 GPT。 16 小时6 个算法3 篇论文已有正文 03 · U42 现代 LLM 架构：位置编码、GQA/MLA 与长上下文 RoPE、SwiGLU、RMSNorm、GQA/MLA、FlashAttention、滑动窗口与上下文扩展。 12 小时12 个算法5 篇论文 04 · U43 MoE 与新架构 稀疏专家、负载均衡、Mamba/SSM、线性注意力与混合架构、扩散语言模型。 10 小时18 个算法5 篇论文 05 · U44 预训练、数据与缩放定律 预训练数据流水线、缩放定律、Chinchilla、μP、MTP 与训练稳定性。 10 小时6 个算法4 篇论文
02会学到的算法
算法图谱 →BPE 子词分词Word2Vec 词向量句向量（Sentence-BERT）SentencePiece 分词GloVe 词向量ELMo 上下文词向量Transformer 与自注意力BERTT5 文本到文本GPT-3 与上下文学习旋转位置编码 RoPE层归一化ALiBi 线性偏置SwiGLURMSNorm多查询注意力 MQA分组查询注意力 GQA多头潜在注意力 MLAFlashAttention滑动窗口/稀疏注意力原生稀疏注意力 NSAYaRN 上下文扩展环形注意力 Ring Attention稀疏门控混合专家GShard 专家并行Switch TransformerMixtral（top-2 MoE）DeepSeekMoE 细粒度专家无辅助损失负载均衡结构化状态空间 S4Mamba 选择性状态空间Mamba-2 / 状态空间对偶线性注意力RWKVRetNet 保留网络Hyena 长卷积xLSTM门控 DeltaNet混合架构（Transformer+SSM）扩散语言模型循环语言模型（Looped LM）缩放定律Chinchilla 计算最优涌现能力μP 超参迁移多 token 预测混合精度与 FP8 训练