01学习目标
- 会对多元函数求偏导与梯度
- 理解链式法则如何支撑反向传播
- 理解凸与非凸、学习率的作用
建议先学:Python、NumPy 与开发环境
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
03必读论文
- A Stochastic Approximation Method ↗1951 ✓ 已核实
04课程与视频
05动手:项目、代码与练习
全部是官方或作者公开的免费页面,多数能在浏览器或免费 Colab 里直接运行。
动手项目
手写梯度下降拟合 y=ax+b,再试三种学习率,画出损失曲线并解释发散与收敛。
- 1
- 2
06自测题
先自己想,再点开看答案。
梯度指向哪里?
函数值增长最快的方向。
学习率过大会怎样?
可能来回震荡甚至发散。
链式法则在神经网络中的作用?
把输出误差逐层分解成每个参数的梯度。
所在人群路线:算法研究者