01学习目标
- 理解损失与参数/数据/算力的幂律
- 会估算训练所需 FLOPs（≈6ND）
- 了解数据清洗、去重、配比
建议先学：Transformer 与注意力
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
缩放定律Scaling Laws 模型损失随参数、数据、算力按幂律平滑下降。 2020核心 Chinchilla 计算最优Chinchilla Compute-Optimal Scaling 同样算力下，参数量和训练 token 应同比增长（约 20 token/参数）。 2022核心 涌现能力Emergent Abilities 某些能力在模型变大到某个规模后才“突然”出现。 2022核心 μP 超参迁移μP (Maximal Update Parametrization) 调好小模型的超参数，直接迁移到大模型。 2022扩展 多 token 预测Multi-Token Prediction (MTP) 训练时让模型一次预测后面多个 token。 2024核心 混合精度与 FP8 训练Mixed Precision & FP8 Training 用 16 位甚至 8 位浮点计算，用 32 位保存主权重。 2017核心
03必读论文
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用不同大小的小 GPT（1M–20M 参数）各训练到收敛，拟合自己的缩放曲线。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
Chinchilla 结论的经验比例？
每个参数约 20 个训练 token。
训练 FLOPs 的粗略公式？
约 6 × 参数量 × token 数。
为什么许多模型“超训”超过 Chinchilla 比例？
以更多训练换更小、更便宜的推理模型。