01学习目标
- 会写标准训练循环
- 理解 autograd 计算图
- 会在 GPU/Colab 上运行
建议先学:Python、NumPy 与开发环境 · 微积分与优化
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
03课程与视频
04动手:项目、代码与练习
全部是官方或作者公开的免费页面,多数能在浏览器或免费 Colab 里直接运行。
动手项目
跟着 micrograd 从零写一个 100 行的自动求导引擎,再用 PyTorch 重写同一个两层网络并对比梯度。
- 1
- 2
- 3
05自测题
先自己想,再点开看答案。
loss.backward() 做了什么?
沿计算图反向计算所有需要梯度的张量的梯度。
为什么每步要 zero_grad?
PyTorch 默认累加梯度。
model.eval() 影响哪些层?
Dropout、BatchNorm 等训练/推理行为不同的层。