Skip to content
简体中文

切换主题

// ⬡ 深度学习基础

反向传播

用链式法则从输出往回算出每个参数的梯度。

Backpropagation 1986 基础 核心

通俗解释

前向计算得到损失后,从最后一层开始,把“误差对本层的影响”逐层往回传,一次就算出所有权重的梯度。PyTorch 的自动求导就是它的通用实现。

用在哪里:所有深度学习框架的自动求导

时间轴 · 前置 → 当前 → 后继

1951 随机梯度下降1958 感知机1986 反向传播1997 LSTM 长短期记忆网络1998 卷积神经网络2006 自编码器2010 权重初始化(Xavier …2012 Dropout

01原始论文

Learning representations by back-propagating errors

Rumelhart et al. · Nature · 1986

DOI ↗ ✓ 已核实 · Crossref API doi:10.1038/323533a0

02知识位置

左边先学;右边是学完它之后可以学的。

相关:Adam 优化器

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:从零到深度学习

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)