01学习目标
- 手推缩放点积注意力
- 理解因果掩码与解码器结构
- 从零训练一个小 GPT
建议先学：分词与嵌入 · 训练深层网络：优化器、归一化与正则
02站内正文
03要掌握的算法
每张卡都有原始论文、前置和学习资料。
Transformer 与自注意力Transformer & Self-Attention 完全基于注意力、可并行训练的序列模型，是所有大模型的骨架。 2017核心 BERT 双向 Transformer 编码器，通过“完形填空”预训练。 2018核心 T5 文本到文本T5 (Text-to-Text Transfer Transformer) 把所有 NLP 任务统一成“输入文本→输出文本”。 2019核心 GPT-3 与上下文学习GPT-3 & In-Context Learning 足够大的语言模型只看几个例子就能完成新任务。 2020核心 旋转位置编码 RoPERotary Position Embedding (RoPE) 通过旋转 Q/K 向量来编码位置，使注意力天然感知相对距离。 2021核心 层归一化Layer Normalization 在单个样本内部做标准化，不依赖 batch。 2016核心
04必读论文
05课程与视频
06动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
按 nanoGPT 在莎士比亚或中文古诗语料上训练字符级 GPT，并可视化某层注意力。
- 1
- 2
- 3
07自测题
先自己想，再点开看答案。
注意力为何要除以 √d？
防止点积过大使 softmax 饱和。
因果掩码的作用？
让每个位置只能看到它之前的 token。
多头注意力相比单头的好处？
不同头可关注不同关系子空间。