// 算法图谱
算法关系图
把鼠标移到一个算法上,会点亮学它之前要先学的全部算法。也可以选一条路线,或拖动年份看 1901→2025 年的演进。
223 个节点298 条前置关系实线 = 前置,虚线 = 相关
小屏幕上以按领域分组的列表显示。
◇ 经典机器学习 (18)
- 主成分分析 1901 · 先学 线性回归
- 逻辑回归 1958 · 先学 线性回归
- K 近邻 1967
- K 均值聚类 1982
- 支持向量机 1995 · 先学 逻辑回归
- 正则化回归(Lasso / Ridge) 1996 · 先学 线性回归
- AdaBoost 1997 · 先学 决策树(CART)
- 朴素贝叶斯 1997
- 随机森林 2001 · 先学 决策树(CART)
- 梯度提升树 2001 · 先学 决策树(CART)、随机梯度下降
- XGBoost 2016 · 先学 梯度提升树
- 线性回归
- 决策树(CART)
- 期望最大化(EM) 1977 · 先学 K 均值聚类
- DBSCAN 密度聚类 1996 · 先学 K 均值聚类
- t-SNE 2008 · 先学 主成分分析
- LightGBM 2017 · 先学 梯度提升树
- UMAP 2018 · 先学 主成分分析、t-SNE
⬡ 深度学习基础 (23)
- 随机梯度下降 1951 · 先学 线性回归
- 感知机 1958
- 反向传播 1986 · 先学 随机梯度下降、感知机
- LSTM 长短期记忆网络 1997 · 先学 反向传播
- 卷积神经网络 1998 · 先学 反向传播
- 自编码器 2006 · 先学 反向传播
- 权重初始化(Xavier / He) 2010 · 先学 反向传播
- Dropout 2012 · 先学 反向传播
- Word2Vec 词向量 2013 · 先学 反向传播
- 序列到序列(Seq2Seq) 2014 · 先学 LSTM 长短期记忆网络
- Adam 优化器 2014 · 先学 随机梯度下降
- 门控循环单元(GRU) 2014 · 先学 LSTM 长短期记忆网络
- 批归一化 2015 · 先学 反向传播
- 残差网络 2015 · 先学 卷积神经网络、批归一化
- U-Net 2015 · 先学 卷积神经网络
- 层归一化 2016 · 先学 批归一化
- GELU 激活函数 2016 · 先学 感知机
- AdamW 2017 · 先学 Adam 优化器
- RMSNorm 2019 · 先学 层归一化
- SwiGLU 2020 · 先学 GELU 激活函数、Transformer 与自注意力
- Muon 优化器 2024 · 先学 AdamW
- GloVe 词向量 2014 · 先学 Word2Vec 词向量
- ELMo 上下文词向量 2018 · 先学 LSTM 长短期记忆网络、Word2Vec 词向量
◎ Transformer 与注意力 (18)
- 注意力机制(Bahdanau) 2014 · 先学 序列到序列(Seq2Seq)
- BPE 子词分词 2015
- Transformer 与自注意力 2017 · 先学 注意力机制(Bahdanau)、残差网络
- BERT 2018 · 先学 Transformer 与自注意力
- SentencePiece 分词 2018 · 先学 BPE 子词分词
- T5 文本到文本 2019 · 先学 Transformer 与自注意力、BERT
- GPT-3 与上下文学习 2020 · 先学 Transformer 与自注意力
- 滑动窗口/稀疏注意力 2020 · 先学 Transformer 与自注意力
- 线性注意力 2020 · 先学 Transformer 与自注意力
- 旋转位置编码 RoPE 2021 · 先学 Transformer 与自注意力
- FlashAttention 2022 · 先学 Transformer 与自注意力
- 分组查询注意力 GQA 2023 · 先学 多查询注意力 MQA
- YaRN 上下文扩展 2023 · 先学 旋转位置编码 RoPE
- 环形注意力 Ring Attention 2023 · 先学 FlashAttention
- 多头潜在注意力 MLA 2024 · 先学 分组查询注意力 GQA、KV Cache
- 原生稀疏注意力 NSA 2025 · 先学 滑动窗口/稀疏注意力、FlashAttention
- 多查询注意力 MQA 2019 · 先学 Transformer 与自注意力、KV Cache
- ALiBi 线性偏置 2021 · 先学 Transformer 与自注意力
✳ 混合专家 MoE (6)
- 稀疏门控混合专家 2017 · 先学 Transformer 与自注意力
- Switch Transformer 2021 · 先学 稀疏门控混合专家
- Mixtral(top-2 MoE) 2024 · 先学 稀疏门控混合专家
- DeepSeekMoE 细粒度专家 2024 · 先学 Mixtral(top-2 MoE)
- 无辅助损失负载均衡 2024 · 先学 DeepSeekMoE 细粒度专家
- GShard 专家并行 2020 · 先学 稀疏门控混合专家
∿ 新架构:SSM / 线性注意力 (11)
- Mamba 选择性状态空间 2023 · 先学 结构化状态空间 S4
- RWKV 2023 · 先学 线性注意力、LSTM 长短期记忆网络
- 门控 DeltaNet 2024 · 先学 线性注意力、Mamba-2 / 状态空间对偶
- 混合架构(Transformer+SSM) 2024 · 先学 Mamba 选择性状态空间、稀疏门控混合专家
- 扩散语言模型 2025 · 先学 BERT、去噪扩散概率模型 DDPM
- 循环语言模型(Looped LM) 2018 · 先学 Transformer 与自注意力
- 结构化状态空间 S4 2021 · 先学 LSTM 长短期记忆网络
- RetNet 保留网络 2023 · 先学 线性注意力
- Hyena 长卷积 2023 · 先学 结构化状态空间 S4
- Mamba-2 / 状态空间对偶 2024 · 先学 Mamba 选择性状态空间、线性注意力
- xLSTM 2024 · 先学 LSTM 长短期记忆网络
▲ 预训练、缩放与分布式训练 (9)
- 混合精度与 FP8 训练 2017 · 先学 随机梯度下降
- 流水线并行 2018 · 先学 张量并行(Megatron)
- ZeRO / FSDP 数据并行 2019 · 先学 混合精度与 FP8 训练
- 张量并行(Megatron) 2019 · 先学 Transformer 与自注意力
- 缩放定律 2020 · 先学 GPT-3 与上下文学习
- Chinchilla 计算最优 2022 · 先学 缩放定律
- 涌现能力 2022 · 先学 缩放定律
- 多 token 预测 2024 · 先学 Transformer 与自注意力
- μP 超参迁移 2022 · 先学 AdamW
⚖ 对齐与偏好优化 (10)
- 奖励模型 2017 · 先学 逻辑回归
- 人类反馈强化学习 RLHF 2022 · 先学 近端策略优化 PPO、指令微调(FLAN)
- 宪法式 AI / RLAIF 2022 · 先学 人类反馈强化学习 RLHF
- 直接偏好优化 DPO 2023 · 先学 人类反馈强化学习 RLHF
- SimPO 2024 · 先学 直接偏好优化 DPO
- 组相对策略优化 GRPO 2024 · 先学 近端策略优化 PPO、人类反馈强化学习 RLHF
- 可验证奖励强化学习 RLVR 2024 · 先学 组相对策略优化 GRPO、近端策略优化 PPO
- DAPO 2025 · 先学 组相对策略优化 GRPO
- KTO 2024 · 先学 直接偏好优化 DPO
- ORPO 2024 · 先学 直接偏好优化 DPO
∞ 推理模型与测试时计算 (9)
- 思维链提示 2022 · 先学 GPT-3 与上下文学习
- 自洽性投票 2022 · 先学 思维链提示
- STaR 自举推理 2022 · 先学 思维链提示、指令微调(FLAN)
- 思维树 2023 · 先学 思维链提示
- 过程奖励模型 2023 · 先学 奖励模型、思维链提示
- Self-Refine 自我反馈迭代 2023 · 先学 思维链提示
- 测试时计算扩展 2024 · 先学 自洽性投票、过程奖励模型
- DeepSeek-R1 推理强化学习配方 2025 · 先学 组相对策略优化 GRPO、可验证奖励强化学习 RLVR
- 预算强制(s1) 2025 · 先学 测试时计算扩展
⚙ 微调与参数高效训练 (8)
- Adapter 适配器 2019 · 先学 BERT
- 指令微调(FLAN) 2021 · 先学 T5 文本到文本、GPT-3 与上下文学习
- LoRA 低秩适配 2021 · 先学 主成分分析、Adapter 适配器
- Self-Instruct 合成指令 2022 · 先学 指令微调(FLAN)
- 模型合并与任务算术 2022 · 先学 LoRA 低秩适配
- QLoRA 2023 · 先学 LoRA 低秩适配、LLM.int8() 与离群值
- 前缀/提示微调 2021 · 先学 Adapter 适配器
- DoRA 2024 · 先学 LoRA 低秩适配
◈ 量化、剪枝与蒸馏 (7)
- 知识蒸馏 2015 · 先学 逻辑回归
- LLM.int8() 与离群值 2022 · 先学 混合精度与 FP8 训练
- GPTQ 训练后量化 2022 · 先学 LLM.int8() 与离群值
- SmoothQuant 2022 · 先学 LLM.int8() 与离群值
- AWQ 激活感知量化 2023 · 先学 GPTQ 训练后量化
- BitNet b1.58 三值模型 2024 · 先学 LLM.int8() 与离群值
- SparseGPT 一次性剪枝 2023 · 先学 GPTQ 训练后量化
⚡ 推理加速与服务 (10)
- 温度与 Top-p 采样 2019 · 先学 Transformer 与自注意力
- 推测解码 2022 · 先学 KV Cache、温度与 Top-p 采样
- 连续批处理 2022 · 先学 KV Cache
- PagedAttention(vLLM) 2023 · 先学 KV Cache
- EAGLE 2024 · 先学 推测解码
- KV Cache · 先学 Transformer 与自注意力
- RadixAttention 前缀缓存 2023 · 先学 PagedAttention(vLLM)
- 注意力汇聚点 StreamingLLM 2023 · 先学 KV Cache、滑动窗口/稀疏注意力
- Medusa 多解码头 2024 · 先学 推测解码
- 预填充/解码分离 2024 · 先学 KV Cache、连续批处理
✦ 扩散、流匹配与生成模型 (15)
- 变分自编码器 VAE 2013 · 先学 期望最大化(EM)、反向传播
- VQ-VAE 离散表示 2017 · 先学 变分自编码器 VAE
- 去噪扩散概率模型 DDPM 2020 · 先学 变分自编码器 VAE
- 潜空间扩散(Stable Diffusion) 2021 · 先学 去噪扩散概率模型 DDPM、变分自编码器 VAE
- 无分类器引导 CFG 2022 · 先学 去噪扩散概率模型 DDPM
- 扩散 Transformer DiT 2022 · 先学 潜空间扩散(Stable Diffusion)、视觉 Transformer ViT
- 流匹配 2022 · 先学 去噪扩散概率模型 DDPM、分数匹配与随机微分方程
- ControlNet 2023 · 先学 潜空间扩散(Stable Diffusion)
- 生成对抗网络 GAN 2014 · 先学 反向传播
- 标准化流(RealNVP / Glow) 2016 · 先学 变分自编码器 VAE
- DDIM 快速采样 2020 · 先学 去噪扩散概率模型 DDPM
- 分数匹配与随机微分方程 2020 · 先学 去噪扩散概率模型 DDPM
- 整流(Rectified Flow) 2022 · 先学 流匹配
- 一致性模型 2023 · 先学 DDIM 快速采样、分数匹配与随机微分方程
- 视觉自回归 VAR 2024 · 先学 VQ-VAE 离散表示、Transformer 与自注意力
◉ 多模态与视觉 (15)
- CTC 序列对齐损失 2006 · 先学 LSTM 长短期记忆网络
- Faster R-CNN 目标检测 2015 · 先学 卷积神经网络、残差网络
- YOLO 实时目标检测 2015 · 先学 卷积神经网络
- 视觉 Transformer ViT 2020 · 先学 Transformer 与自注意力、卷积神经网络
- 神经辐射场与 3D 高斯泼溅 2020 · 先学 反向传播
- DETR(Transformer 目标检测) 2020 · 先学 Transformer 与自注意力、Faster R-CNN 目标检测
- wav2vec 2.0 自监督语音表征 2020 · 先学 Transformer 与自注意力、对比学习与 InfoNCE
- CLIP 图文对比学习 2021 · 先学 视觉 Transformer ViT、对比学习与 InfoNCE
- Whisper 弱监督语音识别 2022 · 先学 Transformer 与自注意力
- SigLIP 2023 · 先学 CLIP 图文对比学习
- 视觉指令微调(LLaVA) 2023 · 先学 CLIP 图文对比学习、指令微调(FLAN)
- Segment Anything(SAM) 2023 · 先学 视觉 Transformer ViT
- Swin Transformer 2021 · 先学 视觉 Transformer ViT
- Flamingo 交错图文模型 2022 · 先学 CLIP 图文对比学习、Transformer 与自注意力
- VALL-E 神经编解码语言模型 TTS 2023 · 先学 VQ-VAE 离散表示、GPT-3 与上下文学习
⌕ RAG 与向量检索 (13)
- BM25 关键词检索 2009
- 乘积量化 PQ 2011 · 先学 K 均值聚类、K 近邻
- HNSW 图索引 2016 · 先学 K 近邻
- 对比学习与 InfoNCE 2018 · 先学 逻辑回归
- 句向量(Sentence-BERT) 2019 · 先学 BERT、对比学习与 InfoNCE
- 交叉编码器重排(BERT Reranker) 2019 · 先学 BERT
- 稠密段落检索 DPR 2020 · 先学 句向量(Sentence-BERT)、对比学习与 InfoNCE
- ColBERT 后期交互 2020 · 先学 BERT、稠密段落检索 DPR
- 检索增强生成 RAG 2020 · 先学 稠密段落检索 DPR、GPT-3 与上下文学习
- GraphRAG 2024 · 先学 检索增强生成 RAG
- FAISS GPU 相似度搜索 2017 · 先学 乘积量化 PQ、HNSW 图索引
- 套娃表示学习 2022 · 先学 句向量(Sentence-BERT)
- HyDE 假设文档检索 2022 · 先学 检索增强生成 RAG、句向量(Sentence-BERT)
⌘ Agent 与工具调用 (9)
- ReAct 推理-行动循环 2022 · 先学 思维链提示
- 函数调用 / 工具调用 2023 · 先学 ReAct 推理-行动循环
- Reflexion 语言反思 2023 · 先学 ReAct 推理-行动循环
- 生成式智能体与记忆 2023 · 先学 ReAct 推理-行动循环、检索增强生成 RAG
- 多智能体对话框架(AutoGen) 2023 · 先学 ReAct 推理-行动循环、函数调用 / 工具调用
- MemGPT 分层记忆 2023 · 先学 检索增强生成 RAG、函数调用 / 工具调用
- 模型上下文协议 MCP 2024 · 先学 函数调用 / 工具调用
- Agent-计算机接口(SWE-agent) 2024 · 先学 ReAct 推理-行动循环、函数调用 / 工具调用
- Toolformer 自学用工具 2023 · 先学 GPT-3 与上下文学习
♞ 强化学习 (12)
- Q 学习 1992 · 先学 随机梯度下降
- 策略梯度 REINFORCE 1992 · 先学 随机梯度下降
- 深度 Q 网络 DQN 2013 · 先学 Q 学习、卷积神经网络
- DDPG / TD3(连续动作控制) 2015 · 先学 深度 Q 网络 DQN、策略梯度 REINFORCE
- AlphaGo / AlphaZero(自对弈 + 蒙特卡洛树搜索) 2016 · 先学 策略梯度 REINFORCE、卷积神经网络
- Actor-Critic 与 A3C/A2C 2016 · 先学 策略梯度 REINFORCE、深度 Q 网络 DQN
- 近端策略优化 PPO 2017 · 先学 策略梯度 REINFORCE
- 信赖域策略优化(TRPO) 2015 · 先学 策略梯度 REINFORCE
- 软演员-评论家 SAC 2018 · 先学 近端策略优化 PPO、深度 Q 网络 DQN
- MuZero 2019 · 先学 AlphaGo / AlphaZero(自对弈 + 蒙特卡洛树搜索)
- 保守 Q 学习(CQL,离线强化学习) 2020 · 先学 Q 学习、深度 Q 网络 DQN
- Decision Transformer 2021 · 先学 Transformer 与自注意力、深度 Q 网络 DQN
◐ 世界模型与自监督表征 (7)
- 世界模型(Ha & Schmidhuber) 2018 · 先学 变分自编码器 VAE、LSTM 长短期记忆网络
- Dreamer(隐空间想象) 2019 · 先学 世界模型(Ha & Schmidhuber)、软演员-评论家 SAC
- 掩码自编码器 MAE 2021 · 先学 视觉 Transformer ViT、BERT
- 联合嵌入预测架构 JEPA 2023 · 先学 掩码自编码器 MAE、视觉 Transformer ViT
- DINOv2 自监督视觉特征 2023 · 先学 视觉 Transformer ViT、SimCLR 自监督对比学习
- Genie 可交互世界生成 2024 · 先学 VQ-VAE 离散表示、Transformer 与自注意力
- SimCLR 自监督对比学习 2020 · 先学 对比学习与 InfoNCE、残差网络
⌬ 图神经网络与科学 AI (3)
- 图神经网络(GCN / GAT) 2016 · 先学 反向传播
- AlphaFold 2 蛋白质结构预测 2021 · 先学 Transformer 与自注意力、图神经网络(GCN / GAT)
- AlphaGeometry 神经-符号推理 2024 · 先学 Transformer 与自注意力
⌖ 可解释性 (9)
- 特征归因(积分梯度 / SHAP) 2017 · 先学 反向传播
- Logit Lens 与探针 2020 · 先学 Transformer 与自注意力
- 电路与归纳头 2022 · 先学 Transformer 与自注意力、Logit Lens 与探针
- 叠加假说 2022 · 先学 主成分分析
- 稀疏自编码器 SAE 2023 · 先学 叠加假说、变分自编码器 VAE
- 激活引导 2023 · 先学 Logit Lens 与探针
- 电路追踪与归因图 2025 · 先学 稀疏自编码器 SAE、电路与归纳头
- Grad-CAM 热力图 2016 · 先学 卷积神经网络、反向传播
- 知识定位与编辑 ROME 2022 · 先学 Transformer 与自注意力、Logit Lens 与探针
⛨ 安全、评测与治理技术 (11)
- 对抗样本(FGSM) 2014 · 先学 反向传播、卷积神经网络
- 成员推断攻击 2016 · 先学 逻辑回归
- 自动化红队 2022 · 先学 人类反馈强化学习 RLHF
- GCG 通用越狱攻击 2023 · 先学 对抗样本(FGSM)、人类反馈强化学习 RLHF
- 间接提示注入 2023 · 先学 检索增强生成 RAG、函数调用 / 工具调用
- 大模型当评委 2023 · 先学 人类反馈强化学习 RLHF
- 大模型文本水印 2023 · 先学 温度与 Top-p 采样
- 弱到强泛化 2023 · 先学 人类反馈强化学习 RLHF、知识蒸馏
- 差分隐私 SGD 2016 · 先学 随机梯度下降
- AI 辩论 2018 · 先学 人类反馈强化学习 RLHF
- 潜伏后门与欺骗性对齐 2024 · 先学 人类反馈强化学习 RLHF、对抗样本(FGSM)