01学习目标
- 估算训练显存（权重+梯度+优化器+激活）
- 理解 3D 并行与 ZeRO
- 了解主流 AI 芯片
建议先学：预训练、数据与缩放定律
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
混合精度与 FP8 训练Mixed Precision & FP8 Training 用 16 位甚至 8 位浮点计算，用 32 位保存主权重。 2017核心 ZeRO / FSDP 数据并行ZeRO / FSDP (Sharded Data Parallelism) 把优化器状态、梯度和参数切片到各卡，消除数据并行的冗余。 2019核心 张量并行（Megatron）Tensor Parallelism (Megatron-LM) 把一层的矩阵乘法切到多张卡上同时算。 2019核心 流水线并行Pipeline Parallelism (GPipe) 把模型按层切段放到不同卡上，像流水线一样处理微批次。 2018核心 环形注意力 Ring AttentionRing Attention 把超长序列切到多张卡上，按环传递 K/V 计算注意力。 2023核心 GShard 专家并行GShard (Expert Parallelism) 把 MoE 的专家分布到上千个加速器上训练。 2020扩展
03必读论文
- Mixed Precision Training ↗2017 ✓ 已核实
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models ↗2019 ✓ 已核实 在必读经典里
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism ↗2019 ✓ 已核实 在必读经典里
- GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism ↗2018 ✓ 已核实
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用 FSDP 在 2 张卡（或 Colab 模拟）上训练小模型，对比 DDP 的显存占用。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
AdamW 训练每个参数大约占多少字节（混合精度）？
约 16 字节（权重、梯度、两份动量与主权重）。
张量并行适合跨机还是机内？
机内高速互联。
ZeRO-3 切分了什么？
参数、梯度和优化器状态。
所在人群路线：算法研究者