01学习目标
- 理解卷积的参数共享与感受野
- 理解 LSTM 门控如何缓解梯度消失
- 理解注意力为何解决 Seq2Seq 的瓶颈
建议先学：训练深层网络：优化器、归一化与正则
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
卷积神经网络Convolutional Neural Network (CNN) 用滑动的小滤波器提取局部图案，层层组合成高级特征。 1998核心 残差网络Residual Networks (ResNet) 加一条“捷径”让信号绕过层，使上百层网络可训练。 2015核心 LSTM 长短期记忆网络Long Short-Term Memory (LSTM) 带“门”的循环网络，能记住长距离信息。 1997核心 序列到序列（Seq2Seq）Sequence-to-Sequence Learning 一个网络读入句子，另一个网络生成句子。 2014核心 Word2Vec 词向量Word2Vec 用“上下文预测词”学到能做加减法的词向量。 2013核心 注意力机制（Bahdanau）Attention (Bahdanau) 生成每个词时“回头看”输入里最相关的部分。 2014核心 门控循环单元（GRU）Gated Recurrent Unit (GRU) 比 LSTM 更简洁的门控 RNN，用两个门控制记住和遗忘。 2014核心
03必读论文
- Gradient-based learning applied to document recognition ↗1998 ✓ 已核实 在必读经典里
- Long Short-Term Memory ↗1997 ✓ 已核实 在必读经典里
- Sequence to Sequence Learning with Neural Networks ↗2014 ✓ 已核实 在必读经典里
- Neural Machine Translation by Jointly Learning to Align and Translate ↗2014 ✓ 已核实 在必读经典里
- Efficient Estimation of Word Representations in Vector Space ↗2013 ✓ 已核实 在必读经典里
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
分别用 CNN 和 LSTM 做影评情感分类，并用 Grad-CAM 或注意力权重可视化模型关注的位置。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
卷积层为何比全连接层参数少？
同一卷积核在所有位置共享参数。
Seq2Seq 的信息瓶颈是什么？
整句被压成一个固定长度向量。
Word2Vec 学到的向量有什么性质？
语义相近的词向量相近，可做类比运算。
所在人群路线：算法研究者