本类时间线
01核心算法
先学这些，按年份排列。
混合精度与 FP8 训练Mixed Precision & FP8 Training 用 16 位甚至 8 位浮点计算，用 32 位保存主权重。 2017核心 流水线并行Pipeline Parallelism (GPipe) 把模型按层切段放到不同卡上，像流水线一样处理微批次。 2018核心 ZeRO / FSDP 数据并行ZeRO / FSDP (Sharded Data Parallelism) 把优化器状态、梯度和参数切片到各卡，消除数据并行的冗余。 2019核心 张量并行（Megatron）Tensor Parallelism (Megatron-LM) 把一层的矩阵乘法切到多张卡上同时算。 2019核心 缩放定律Scaling Laws 模型损失随参数、数据、算力按幂律平滑下降。 2020核心 Chinchilla 计算最优Chinchilla Compute-Optimal Scaling 同样算力下，参数量和训练 token 应同比增长（约 20 token/参数）。 2022核心 涌现能力Emergent Abilities 某些能力在模型变大到某个规模后才“突然”出现。 2022核心 多 token 预测Multi-Token Prediction (MTP) 训练时让模型一次预测后面多个 token。 2024核心
02扩展
核心学懂之后值得了解的变体和后续工作。