// ◎ 算法图谱
Transformer 与注意力
大模型的骨架：注意力、位置编码、分词，以及 FlashAttention、GQA/MLA、长上下文等变体。
16 个核心2 个扩展2014–2025
本类时间线
01核心算法
先学这些，按年份排列。
注意力机制（Bahdanau）Attention (Bahdanau) 生成每个词时“回头看”输入里最相关的部分。 2014核心 BPE 子词分词Byte-Pair Encoding (BPE) Tokenization 反复合并最常见的字符对，得到子词词表。 2015核心 Transformer 与自注意力Transformer & Self-Attention 完全基于注意力、可并行训练的序列模型，是所有大模型的骨架。 2017核心 BERT 双向 Transformer 编码器，通过“完形填空”预训练。 2018核心 SentencePiece 分词SentencePiece Tokenization 直接在原始文本上训练子词分词器，不依赖空格，适合中文等语言。 2018核心 T5 文本到文本T5 (Text-to-Text Transfer Transformer) 把所有 NLP 任务统一成“输入文本→输出文本”。 2019核心 GPT-3 与上下文学习GPT-3 & In-Context Learning 足够大的语言模型只看几个例子就能完成新任务。 2020核心 滑动窗口/稀疏注意力Sliding-Window & Sparse Attention 每个 token 只看附近窗口加少量全局 token，让注意力线性增长。 2020核心 线性注意力Linear Attention 用核函数近似 softmax，把注意力复杂度从平方降到线性。 2020核心 旋转位置编码 RoPERotary Position Embedding (RoPE) 通过旋转 Q/K 向量来编码位置，使注意力天然感知相对距离。 2021核心 FlashAttentionFlashAttention (v1–v3) 按 GPU 内存层级分块计算的精确注意力，快且省显存。 2022核心 分组查询注意力 GQAGrouped-Query Attention (GQA) 把注意力头分组，每组共享一份 K/V，在 MHA 与 MQA 间折中。 2023核心 YaRN 上下文扩展YaRN (Context Window Extension) 通过调整 RoPE 频率，用少量训练把上下文窗口扩大数倍。 2023核心 环形注意力 Ring AttentionRing Attention 把超长序列切到多张卡上，按环传递 K/V 计算注意力。 2023核心 多头潜在注意力 MLAMulti-head Latent Attention (MLA) 把 K/V 压缩成一个低维潜在向量缓存，再按需还原。 2024核心 原生稀疏注意力 NSANative Sparse Attention (NSA) 可训练、对硬件友好的动态稀疏注意力。 2025核心
02扩展
核心学懂之后值得了解的变体和后续工作。
03哪些课程单元在讲
U00 AI、机器学习、深度学习与大模型是什么 用一张图理清 AI 家族关系，知道大模型如何“预测下一个 token”。 3 小时2 个算法1 篇论文已有正文 U01 提示词与高效使用 AI 掌握角色、上下文、示例、分步思考与结构化输出等提示技巧。 3 小时3 个算法1 篇论文已有正文 U32 CNN、RNN 与注意力的诞生 卷积网络、LSTM、Seq2Seq、词向量与 Bahdanau 注意力。 10 小时7 个算法5 篇论文 U40 分词与嵌入 BPE 分词、token 计费、嵌入向量与语义相似度。 6 小时6 个算法2 篇论文已有正文 U41 Transformer 与注意力 自注意力、多头、位置编码、残差与归一化，从零实现 GPT。 16 小时6 个算法3 篇论文已有正文 U42 现代 LLM 架构：位置编码、GQA/MLA 与长上下文 RoPE、SwiGLU、RMSNorm、GQA/MLA、FlashAttention、滑动窗口与上下文扩展。 12 小时12 个算法5 篇论文