第 2 阶段 · 大模型原理
Transformer 与大模型原理
Token、Embedding、注意力机制，以及大模型背后的缩放定律。
4 节课2 节可读
- 01 Token 与 Embedding：文字如何变成数字 分词（BPE）、词表，以及承载语义的向量空间。 进阶 15 分钟 ✓
- 02 Transformer 与注意力机制详解 自注意力、Q/K/V、多头注意力，以及完整的解码器层。 进阶 25 分钟 ✓
- 03 缩放定律与“涌现” 损失如何随参数、数据和算力下降，以及 Chinchilla 改变了什么。 高级 15 分钟 ✎ 编写中
- 04 现代大模型架构：解码器、MoE 与长上下文 纯解码器、混合专家（MoE）、位置编码与长上下文技术。 高级 20 分钟 ✎ 编写中
在新版课程里对应的单元
每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
U40 分词与嵌入 BPE 分词、token 计费、嵌入向量与语义相似度。 6 小时6 个算法2 篇论文已有正文 U41 Transformer 与注意力 自注意力、多头、位置编码、残差与归一化，从零实现 GPT。 16 小时6 个算法3 篇论文已有正文 U42 现代 LLM 架构：位置编码、GQA/MLA 与长上下文 RoPE、SwiGLU、RMSNorm、GQA/MLA、FlashAttention、滑动窗口与上下文扩展。 12 小时12 个算法5 篇论文 U44 预训练、数据与缩放定律 预训练数据流水线、缩放定律、Chinchilla、μP、MTP 与训练稳定性。 10 小时6 个算法4 篇论文