通俗解释
每个 token 生成查询（Q）、键（K）、值（V），用 Q 与所有 K 的相似度给 V 加权求和，从而直接“看到”整句。多头注意力 + 前馈层 + 残差 + 归一化堆叠成层，训练可完全并行。
用在哪里：GPT、Claude、Gemini、Llama、Qwen、DeepSeek 等全部大模型
时间轴 · 前置 → 当前 → 后继
01原始论文
Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. · 2017
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学；右边是学完它之后可以学的。
Transformer 与自注意力
学完可以学 · 29
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
U00 AI、机器学习、深度学习与大模型是什么 用一张图理清 AI 家族关系，知道大模型如何“预测下一个 token”。 3 小时2 个算法1 篇论文已有正文 U41 Transformer 与注意力 自注意力、多头、位置编码、残差与归一化，从零实现 GPT。 16 小时6 个算法3 篇论文已有正文 U95 如何追踪前沿：读论文与复现 读论文三遍法、追踪 arXiv/会议、复现与写作。 6 小时3 个算法0 篇论文
所在学习路线：从零理解一个大模型
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
transformer)