// 人群路线
算法研究者
从数学到前沿论文，6–12 个月能读懂并复现大模型、对齐与推理模型论文。
已完成 0 / 24
24 个单元约 257 小时每周 15 小时以上
01路线
学完一个就勾上。进度只保存在这台设备的浏览器里，不需要账号。
-
Python、NumPy 与开发环境
能读写 Python，会用 NumPy 做向量化计算，会用命令行、Git 和 Jupyter。
-
线性代数：向量、矩阵与分解
理解向量空间、矩阵乘法、特征值与 SVD——嵌入、注意力和 LoRA 的语言。
-
微积分与优化
导数、偏导、链式法则与梯度，理解“沿梯度下山”。
-
概率、统计与信息论
分布、期望、贝叶斯、最大似然、交叉熵与 KL 散度。
-
PyTorch 入门与自动求导
张量、自动求导、数据加载与训练循环。
-
机器学习流程：数据、损失与泛化
训练/验证/测试划分、过拟合、偏差-方差、交叉验证与评估指标。
-
无监督学习：聚类、降维与 EM
k-means、高斯混合与 EM、PCA、t-SNE/UMAP。
-
神经网络与反向传播
从神经元、多层感知机到反向传播与激活函数。
-
训练深层网络：优化器、归一化与正则
SGD/动量/Adam/AdamW/Muon、学习率调度、BatchNorm/LayerNorm/RMSNorm、Dropout、残差。
-
CNN、RNN 与注意力的诞生
卷积网络、LSTM、Seq2Seq、词向量与 Bahdanau 注意力。
-
强化学习基础
MDP、Q 学习、DQN、策略梯度、PPO 与 AlphaZero——后训练和推理模型的前置。
-
分词与嵌入
BPE 分词、token 计费、嵌入向量与语义相似度。
-
Transformer 与注意力
自注意力、多头、位置编码、残差与归一化，从零实现 GPT。
-
现代 LLM 架构：位置编码、GQA/MLA 与长上下文
RoPE、SwiGLU、RMSNorm、GQA/MLA、FlashAttention、滑动窗口与上下文扩展。
-
MoE 与新架构
稀疏专家、负载均衡、Mamba/SSM、线性注意力与混合架构、扩散语言模型。
-
预训练、数据与缩放定律
预训练数据流水线、缩放定律、Chinchilla、μP、MTP 与训练稳定性。
-
指令微调与参数高效微调
SFT、合成数据、LoRA/QLoRA/DoRA、适配器、模型合并。
-
对齐：RLHF、DPO 与宪法式 AI
奖励模型、PPO 式 RLHF、DPO 家族、RLAIF 与奖励黑客。
-
推理模型：RLVR、GRPO 与测试时计算
思维链、自洽、过程奖励、GRPO/DAPO、可验证奖励与 R1 配方。
-
量化、剪枝与蒸馏
INT8/INT4、GPTQ、AWQ、SmoothQuant、BitNet、知识蒸馏。
-
GPU、分布式训练与 AI 芯片
显存/带宽/算力、混合精度、数据/张量/流水线并行、ZeRO/FSDP、芯片格局。
-
扩散模型、流匹配与图像生成
VAE/GAN、DDPM/DDIM、分数 SDE、潜空间扩散、CFG、DiT、流匹配、ControlNet。
-
可解释性：从归因到电路
归因、探针、Logit Lens、叠加、SAE、电路追踪、知识编辑与激活引导。
-
如何追踪前沿：读论文与复现
读论文三遍法、追踪 arXiv/会议、复现与写作。