本类时间线
01核心算法
先学这些，按年份排列。
随机梯度下降Stochastic Gradient Descent (SGD) 每次用一小批数据估计梯度，沿下坡方向走一小步。 1951核心 感知机Perceptron 最早的“人工神经元”：加权求和后过阈值。 1958核心 反向传播Backpropagation 用链式法则从输出往回算出每个参数的梯度。 1986核心 LSTM 长短期记忆网络Long Short-Term Memory (LSTM) 带“门”的循环网络，能记住长距离信息。 1997核心 卷积神经网络Convolutional Neural Network (CNN) 用滑动的小滤波器提取局部图案，层层组合成高级特征。 1998核心 自编码器Autoencoder 先把输入压缩成短向量再还原，学到数据的紧凑表示。 2006核心 权重初始化（Xavier / He）Weight Initialization (Xavier / He) 按层宽设定初始权重的方差，让信号和梯度不爆炸也不消失。 2010核心 Dropout 训练时随机“关掉”一部分神经元以防过拟合。 2012核心 Word2Vec 词向量Word2Vec 用“上下文预测词”学到能做加减法的词向量。 2013核心 序列到序列（Seq2Seq）Sequence-to-Sequence Learning 一个网络读入句子，另一个网络生成句子。 2014核心 Adam 优化器Adam 给每个参数自适应步长的动量优化器。 2014核心 门控循环单元（GRU）Gated Recurrent Unit (GRU) 比 LSTM 更简洁的门控 RNN，用两个门控制记住和遗忘。 2014核心 批归一化Batch Normalization 把每层输出按一个 batch 标准化，让深网络更好训练。 2015核心 残差网络Residual Networks (ResNet) 加一条“捷径”让信号绕过层，使上百层网络可训练。 2015核心 U-Net 先下采样再上采样、中间用跳连拼接的“U 形”卷积网络。 2015核心 层归一化Layer Normalization 在单个样本内部做标准化，不依赖 batch。 2016核心 GELU 激活函数GELU 按概率“软开关”输入的平滑激活函数。 2016核心 AdamWAdamW (Decoupled Weight Decay) 把权重衰减从 Adam 的梯度更新中解耦出来。 2017核心 RMSNorm 只用均方根缩放、省掉减均值的简化版 LayerNorm。 2019核心 SwiGLUSwiGLU (Gated Linear Units) 给前馈层加一条“门控”支路，提升 Transformer 质量。 2020核心 Muon 优化器Muon Optimizer 把动量更新“正交化”后再用于矩阵参数的新优化器。 2024核心
02扩展
核心学懂之后值得了解的变体和后续工作。
03哪些课程单元在讲
U12 微积分与优化 导数、偏导、链式法则与梯度，理解“沿梯度下山”。 12 小时2 个算法1 篇论文 U14 PyTorch 入门与自动求导 张量、自动求导、数据加载与训练循环。 10 小时2 个算法0 篇论文 U20 机器学习流程：数据、损失与泛化 训练/验证/测试划分、过拟合、偏差-方差、交叉验证与评估指标。 10 小时3 个算法1 篇论文已有正文 U22 线性模型、SVM 与近邻 从感知机到最大间隔与核技巧，以及 k 近邻。 6 小时5 个算法2 篇论文 U30 神经网络与反向传播 从神经元、多层感知机到反向传播与激活函数。 10 小时4 个算法2 篇论文已有正文 U31 训练深层网络：优化器、归一化与正则 SGD/动量/Adam/AdamW/Muon、学习率调度、BatchNorm/LayerNorm/RMSNorm、Dropout、残差。 10 小时10 个算法4 篇论文