从零理解一个大模型

每一步都以上一步为基础。点卡片看论文和资料。

1. 文本如何变成数字

   2 个算法

   BPE 子词分词Byte-Pair Encoding (BPE) Tokenization 反复合并最常见的字符对，得到子词词表。 2015核心 Word2Vec 词向量Word2Vec 用“上下文预测词”学到能做加减法的词向量。 2013核心

2. Transformer 核心

   6 个算法

   Transformer 与自注意力Transformer & Self-Attention 完全基于注意力、可并行训练的序列模型，是所有大模型的骨架。 2017核心 GPT-3 与上下文学习GPT-3 & In-Context Learning 足够大的语言模型只看几个例子就能完成新任务。 2020核心 BERT 双向 Transformer 编码器，通过“完形填空”预训练。 2018核心 旋转位置编码 RoPERotary Position Embedding (RoPE) 通过旋转 Q/K 向量来编码位置，使注意力天然感知相对距离。 2021核心 RMSNorm 只用均方根缩放、省掉减均值的简化版 LayerNorm。 2019核心 SwiGLUSwiGLU (Gated Linear Units) 给前馈层加一条“门控”支路，提升 Transformer 质量。 2020核心

3. 现代效率组件

   5 个算法

   分组查询注意力 GQAGrouped-Query Attention (GQA) 把注意力头分组，每组共享一份 K/V，在 MHA 与 MQA 间折中。 2023核心 多头潜在注意力 MLAMulti-head Latent Attention (MLA) 把 K/V 压缩成一个低维潜在向量缓存，再按需还原。 2024核心 FlashAttentionFlashAttention (v1–v3) 按 GPU 内存层级分块计算的精确注意力，快且省显存。 2022核心 KV Cache 把已生成 token 的 Key/Value 存起来，避免每步重复计算。 核心 温度与 Top-p 采样Temperature & Nucleus (Top-p) Sampling 控制生成随机性：只从累计概率达到 p 的候选里抽样。 2019核心

4. 规模化

   6 个算法

   缩放定律Scaling Laws 模型损失随参数、数据、算力按幂律平滑下降。 2020核心 Chinchilla 计算最优Chinchilla Compute-Optimal Scaling 同样算力下，参数量和训练 token 应同比增长（约 20 token/参数）。 2022核心 稀疏门控混合专家Sparsely-Gated Mixture of Experts 一个门控网络为每个输入只挑少数几个“专家”子网络。 2017核心 DeepSeekMoE 细粒度专家DeepSeekMoE (Fine-Grained & Shared Experts) 把专家切得更细并加入共享专家，让每个专家更专精。 2024核心 混合精度与 FP8 训练Mixed Precision & FP8 Training 用 16 位甚至 8 位浮点计算，用 32 位保存主权重。 2017核心 ZeRO / FSDP 数据并行ZeRO / FSDP (Sharded Data Parallelism) 把优化器状态、梯度和参数切片到各卡，消除数据并行的冗余。 2019核心

和这些算法配套的学习目标、动手项目和自测题。

• 1从零到深度学习 · 从线性回归一路走到 ResNet 和 Transformer 的前身，打牢“模型如何被训练”的直觉。24
• 2后训练与推理模型 · 从指令微调、LoRA 到 RLHF、DPO，再到 GRPO、RLVR 与 DeepSeek-R1，理解 ChatGPT 与 o1/R1 是怎么“炼”成的。19
• 3AI 应用工程师 · 面向做产品的工程师：检索、RAG、Agent、推理服务与安全，尽快把 AI 做成可靠的应用。20
• 4生成式与前沿研究 · 扩散/流匹配、多模态、新架构、世界模型与可解释性——2024–2026 年最活跃的研究方向。26