Skip to content
简体中文

切换主题

// 算法图谱

算法关系图

把鼠标移到一个算法上,会点亮学它之前要先学的全部算法。也可以选一条路线,或拖动年份看 1901→2025 年的演进。

223 个节点298 条前置关系实线 = 前置,虚线 = 相关

◇ 经典机器学习⬡ 深度学习基础◎ Transformer 与注意力✳ 混合专家 MoE∿ 新架构:SSM / 线性注意力▲ 预训练、缩放与分布式训练⚖ 对齐与偏好优化∞ 推理模型与测试时计算⚙ 微调与参数高效训练◈ 量化、剪枝与蒸馏⚡ 推理加速与服务✦ 扩散、流匹配与生成模型◉ 多模态与视觉⌕ RAG 与向量检索⌘ Agent 与工具调用♞ 强化学习◐ 世界模型与自监督表征⌬ 图神经网络与科学 AI⌖ 可解释性⛨ 安全、评测与治理技术 线性回归 逻辑回归 K 近邻 决策树(CART) 随机森林 梯度提升树 XGBoost LightGBM 支持向量机 K 均值聚类 主成分分析 期望最大化(EM) t-SNE UMAP 感知机 随机梯度下降 反向传播 卷积神经网络 LSTM 长短期记忆网络 序列到序列(Seq2Seq) Word2Vec 词向量 Adam 优化器 AdamW Muon 优化器 Dropout 批归一化 层归一化 RMSNorm 残差网络 GELU 激活函数 SwiGLU BPE 子词分词 注意力机制(Bahdanau) Transformer 与自注意力 BERT T5 文本到文本 GPT-3 与上下文学习 旋转位置编码 RoPE ALiBi 线性偏置 多查询注意力 MQA 分组查询注意力 GQA 多头潜在注意力 MLA FlashAttention 滑动窗口/稀疏注意力 原生稀疏注意力 NSA YaRN 上下文扩展 环形注意力 Ring Attention 线性注意力 稀疏门控混合专家 GShard 专家并行 Switch Transformer Mixtral(top-2 MoE) DeepSeekMoE 细粒度专家 无辅助损失负载均衡 结构化状态空间 S4 Mamba 选择性状态空间 Mamba-2 / 状态空间对偶 RWKV RetNet 保留网络 Hyena 长卷积 xLSTM 门控 DeltaNet 混合架构(Transformer+SSM) 扩散语言模型 缩放定律 Chinchilla 计算最优 涌现能力 μP 超参迁移 多 token 预测 混合精度与 FP8 训练 ZeRO / FSDP 数据并行 张量并行(Megatron) 流水线并行 人类反馈强化学习 RLHF 奖励模型 直接偏好优化 DPO KTO ORPO SimPO 宪法式 AI / RLAIF 组相对策略优化 GRPO 可验证奖励强化学习 RLVR DAPO 思维链提示 自洽性投票 思维树 过程奖励模型 STaR 自举推理 测试时计算扩展 DeepSeek-R1 推理强化学习配方 预算强制(s1) 指令微调(FLAN) Self-Instruct 合成指令 Adapter 适配器 前缀/提示微调 LoRA 低秩适配 QLoRA DoRA 模型合并与任务算术 知识蒸馏 LLM.int8() 与离群值 GPTQ 训练后量化 AWQ 激活感知量化 SmoothQuant SparseGPT 一次性剪枝 BitNet b1.58 三值模型 KV Cache 温度与 Top-p 采样 推测解码 Medusa 多解码头 EAGLE PagedAttention(vLLM) 连续批处理 RadixAttention 前缀缓存 注意力汇聚点 StreamingLLM 预填充/解码分离 变分自编码器 VAE 生成对抗网络 GAN VQ-VAE 离散表示 去噪扩散概率模型 DDPM DDIM 快速采样 分数匹配与随机微分方程 潜空间扩散(Stable Diffusion) 无分类器引导 CFG 扩散 Transformer DiT 流匹配 整流(Rectified Flow) 一致性模型 ControlNet 视觉自回归 VAR 视觉 Transformer ViT CLIP 图文对比学习 SigLIP 视觉指令微调(LLaVA) Flamingo 交错图文模型 Whisper 弱监督语音识别 Segment Anything(SAM) 神经辐射场与 3D 高斯泼溅 对比学习与 InfoNCE BM25 关键词检索 句向量(Sentence-BERT) 稠密段落检索 DPR ColBERT 后期交互 HNSW 图索引 乘积量化 PQ FAISS GPU 相似度搜索 套娃表示学习 检索增强生成 RAG HyDE 假设文档检索 GraphRAG ReAct 推理-行动循环 Toolformer 自学用工具 函数调用 / 工具调用 模型上下文协议 MCP Reflexion 语言反思 生成式智能体与记忆 Agent-计算机接口(SWE-agent) Q 学习 深度 Q 网络 DQN 策略梯度 REINFORCE 近端策略优化 PPO 软演员-评论家 SAC AlphaGo / AlphaZero(自对弈 + 蒙特卡洛树搜索) MuZero 世界模型(Ha & Schmidhuber) Dreamer(隐空间想象) 联合嵌入预测架构 JEPA Genie 可交互世界生成 SimCLR 自监督对比学习 掩码自编码器 MAE 图神经网络(GCN / GAT) AlphaFold 2 蛋白质结构预测 AlphaGeometry 神经-符号推理 特征归因(积分梯度 / SHAP) Grad-CAM 热力图 Logit Lens 与探针 电路与归纳头 叠加假说 稀疏自编码器 SAE 电路追踪与归因图 知识定位与编辑 ROME 激活引导 对抗样本(FGSM) GCG 通用越狱攻击 间接提示注入 自动化红队 大模型当评委 大模型文本水印 差分隐私 SGD 弱到强泛化 AI 辩论 潜伏后门与欺骗性对齐 循环语言模型(Looped LM) 正则化回归(Lasso / Ridge) AdaBoost DBSCAN 密度聚类 朴素贝叶斯 门控循环单元(GRU) 自编码器 U-Net 权重初始化(Xavier / He) GloVe 词向量 ELMo 上下文词向量 SentencePiece 分词 Faster R-CNN 目标检测 YOLO 实时目标检测 DETR(Transformer 目标检测) Swin Transformer DINOv2 自监督视觉特征 Actor-Critic 与 A3C/A2C 信赖域策略优化(TRPO) DDPG / TD3(连续动作控制) 保守 Q 学习(CQL,离线强化学习) Decision Transformer Self-Refine 自我反馈迭代 标准化流(RealNVP / Glow) CTC 序列对齐损失 wav2vec 2.0 自监督语音表征 VALL-E 神经编解码语言模型 TTS 交叉编码器重排(BERT Reranker) 多智能体对话框架(AutoGen) MemGPT 分层记忆 成员推断攻击

小屏幕上以按领域分组的列表显示。

◇ 经典机器学习 (18)
⬡ 深度学习基础 (23)
◎ Transformer 与注意力 (18)
✳ 混合专家 MoE (6)
∿ 新架构:SSM / 线性注意力 (11)
▲ 预训练、缩放与分布式训练 (9)
⚖ 对齐与偏好优化 (10)
∞ 推理模型与测试时计算 (9)
⚙ 微调与参数高效训练 (8)
◈ 量化、剪枝与蒸馏 (7)
⚡ 推理加速与服务 (10)
✦ 扩散、流匹配与生成模型 (15)
◉ 多模态与视觉 (15)
⌕ RAG 与向量检索 (13)
⌘ Agent 与工具调用 (9)
♞ 强化学习 (12)
◐ 世界模型与自监督表征 (7)
⌬ 图神经网络与科学 AI (3)
⌖ 可解释性 (9)
⛨ 安全、评测与治理技术 (11)

数据更新于:AI 算法图谱与课程体系(北京时间)