从零到深度学习

每一步都以上一步为基础。点卡片看论文和资料。

1. 起点：学习就是最小化损失

   3 个算法

   线性回归Linear Regression 用一条直线（超平面）拟合输入与输出的关系。 核心 逻辑回归Logistic Regression 用 S 形函数把线性得分变成概率，做二分类。 1958核心 随机梯度下降Stochastic Gradient Descent (SGD) 每次用一小批数据估计梯度，沿下坡方向走一小步。 1951核心

2. 经典模型工具箱

   8 个算法

   决策树（CART）Decision Trees (CART) 用一连串“是/否”问题把数据切分成纯净的小组。 核心 随机森林Random Forest 训练很多棵随机化的决策树，让它们投票。 2001核心 梯度提升树Gradient Boosting (GBDT) 一棵接一棵地训练小树，每棵专门修正前面的错误。 2001核心 XGBoost 工程化到极致的梯度提升树系统。 2016核心 支持向量机Support Vector Machine 找一条离两类样本都尽量远的分界线。 1995核心 K 近邻k-Nearest Neighbors 看离你最近的 k 个样本是什么，你就是什么。 1967核心 K 均值聚类k-Means Clustering 反复“分组—求中心”，把数据分成 k 簇。 1982核心 主成分分析Principal Component Analysis (PCA) 找出数据变化最大的几个方向来降维。 1901核心

3. 神经网络与训练

   7 个算法

   感知机Perceptron 最早的“人工神经元”：加权求和后过阈值。 1958核心 反向传播Backpropagation 用链式法则从输出往回算出每个参数的梯度。 1986核心 Adam 优化器Adam 给每个参数自适应步长的动量优化器。 2014核心 AdamWAdamW (Decoupled Weight Decay) 把权重衰减从 Adam 的梯度更新中解耦出来。 2017核心 Dropout 训练时随机“关掉”一部分神经元以防过拟合。 2012核心 批归一化Batch Normalization 把每层输出按一个 batch 标准化，让深网络更好训练。 2015核心 层归一化Layer Normalization 在单个样本内部做标准化，不依赖 batch。 2016核心

4. 经典网络结构

   6 个算法

   卷积神经网络Convolutional Neural Network (CNN) 用滑动的小滤波器提取局部图案，层层组合成高级特征。 1998核心 残差网络Residual Networks (ResNet) 加一条“捷径”让信号绕过层，使上百层网络可训练。 2015核心 LSTM 长短期记忆网络Long Short-Term Memory (LSTM) 带“门”的循环网络，能记住长距离信息。 1997核心 序列到序列（Seq2Seq）Sequence-to-Sequence Learning 一个网络读入句子，另一个网络生成句子。 2014核心 Word2Vec 词向量Word2Vec 用“上下文预测词”学到能做加减法的词向量。 2013核心 注意力机制（Bahdanau）Attention (Bahdanau) 生成每个词时“回头看”输入里最相关的部分。 2014核心

和这些算法配套的学习目标、动手项目和自测题。

• 1从零理解一个大模型 · 从分词到 Transformer、现代架构、预训练和推理，按 nanoGPT 的顺序搞懂一个大模型的每个零件。19
• 2后训练与推理模型 · 从指令微调、LoRA 到 RLHF、DPO，再到 GRPO、RLVR 与 DeepSeek-R1，理解 ChatGPT 与 o1/R1 是怎么“炼”成的。19
• 3AI 应用工程师 · 面向做产品的工程师：检索、RAG、Agent、推理服务与安全，尽快把 AI 做成可靠的应用。20
• 4生成式与前沿研究 · 扩散/流匹配、多模态、新架构、世界模型与可解释性——2024–2026 年最活跃的研究方向。26