01学习目标
- 读懂 Llama/Qwen/DeepSeek 的配置文件
- 计算 GQA/MLA 对 KV Cache 的节省
- 理解 FlashAttention 为何快
建议先学：Transformer 与注意力
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
旋转位置编码 RoPERotary Position Embedding (RoPE) 通过旋转 Q/K 向量来编码位置，使注意力天然感知相对距离。 2021核心 ALiBi 线性偏置ALiBi (Attention with Linear Biases) 按距离给注意力分数加线性惩罚，代替位置编码。 2021扩展 SwiGLUSwiGLU (Gated Linear Units) 给前馈层加一条“门控”支路，提升 Transformer 质量。 2020核心 RMSNorm 只用均方根缩放、省掉减均值的简化版 LayerNorm。 2019核心 多查询注意力 MQAMulti-Query Attention (MQA) 所有注意力头共享一份 K/V，大幅缩小 KV Cache。 2019扩展 分组查询注意力 GQAGrouped-Query Attention (GQA) 把注意力头分组，每组共享一份 K/V，在 MHA 与 MQA 间折中。 2023核心 多头潜在注意力 MLAMulti-head Latent Attention (MLA) 把 K/V 压缩成一个低维潜在向量缓存，再按需还原。 2024核心 FlashAttentionFlashAttention (v1–v3) 按 GPU 内存层级分块计算的精确注意力，快且省显存。 2022核心 滑动窗口/稀疏注意力Sliding-Window & Sparse Attention 每个 token 只看附近窗口加少量全局 token，让注意力线性增长。 2020核心 原生稀疏注意力 NSANative Sparse Attention (NSA) 可训练、对硬件友好的动态稀疏注意力。 2025核心 YaRN 上下文扩展YaRN (Context Window Extension) 通过调整 RoPE 频率，用少量训练把上下文窗口扩大数倍。 2023核心 环形注意力 Ring AttentionRing Attention 把超长序列切到多张卡上，按环传递 K/V 计算注意力。 2023核心
03必读论文
- RoFormer: Enhanced Transformer with Rotary Position Embedding ↗2021 ✓ 已核实 在必读经典里
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints ↗2023 ✓ 已核实 在必读经典里
- DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model ↗2024 ✓ 已核实 在必读经典里
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness ↗2022 ✓ 已核实 在必读经典里
- YaRN: Efficient Context Window Extension of Large Language Models ↗2023 ✓ 已核实
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
把自己的小 GPT 改成 RoPE+RMSNorm+SwiGLU+GQA，记录参数量、速度与损失变化。
- 1
- 2
06自测题
先自己想，再点开看答案。
GQA 的 KV Cache 相对 MHA 缩小多少？
缩小为 KV 头数/查询头数的比例。
RoPE 让注意力依赖什么？
两个 token 的相对位置。
FlashAttention 节省的主要是什么？
显存读写（IO），而非 FLOPs。
所在人群路线：算法研究者