// ◇ 算法图谱

经典机器学习

深度学习之前就成熟的统计学习方法，表格数据和小数据场景至今仍是主力。

13 个核心5 个扩展1901–2018

本类时间线

1901 主成分分析1958 逻辑回归1967 K 近邻1977 期望最大化（EM）1982 K 均值聚类1995 支持向量机1996 正则化回归（Lasso / 1996 DBSCAN 密度聚类1997 AdaBoost1997 朴素贝叶斯2001 随机森林2001 梯度提升树2008 t-SNE2016 XGBoost2017 LightGBM2018 UMAP

01核心算法

先学这些，按年份排列。

主成分分析Principal Component Analysis (PCA) 找出数据变化最大的几个方向来降维。 1901核心逻辑回归Logistic Regression 用 S 形函数把线性得分变成概率，做二分类。 1958核心 K 近邻k-Nearest Neighbors 看离你最近的 k 个样本是什么，你就是什么。 1967核心 K 均值聚类k-Means Clustering 反复“分组—求中心”，把数据分成 k 簇。 1982核心支持向量机Support Vector Machine 找一条离两类样本都尽量远的分界线。 1995核心正则化回归（Lasso / Ridge）Regularized Regression (Lasso / Ridge) 给线性模型的权重加惩罚，防止过拟合并自动筛选特征。 1996核心 AdaBoost 串联许多弱分类器，每轮更关注上一轮分错的样本。 1997核心朴素贝叶斯Naive Bayes 假设特征相互独立，用贝叶斯公式算出最可能的类别。 1997核心随机森林Random Forest 训练很多棵随机化的决策树，让它们投票。 2001核心梯度提升树Gradient Boosting (GBDT) 一棵接一棵地训练小树，每棵专门修正前面的错误。 2001核心 XGBoost 工程化到极致的梯度提升树系统。 2016核心线性回归Linear Regression 用一条直线（超平面）拟合输入与输出的关系。核心决策树（CART）Decision Trees (CART) 用一连串“是/否”问题把数据切分成纯净的小组。核心

02扩展

核心学懂之后值得了解的变体和后续工作。

期望最大化（EM）Expectation–Maximization (EM) 在有隐藏变量时交替“猜隐藏值—更新参数”。 1977扩展 DBSCAN 密度聚类DBSCAN (Density-Based Clustering) 按“点够不够密”来聚类，能找出任意形状的簇和噪声点。 1996扩展 t-SNE 把高维数据压到二维，同时保持“邻居还是邻居”。 2008扩展 LightGBM 用直方图和按叶生长加速的梯度提升树。 2017扩展 UMAP 比 t-SNE 更快、更能保留全局结构的降维方法。 2018扩展

03哪些课程单元在讲

U11 线性代数：向量、矩阵与分解理解向量空间、矩阵乘法、特征值与 SVD——嵌入、注意力和 LoRA 的语言。 15 小时2 个算法0 篇论文 U13 概率、统计与信息论分布、期望、贝叶斯、最大似然、交叉熵与 KL 散度。 12 小时3 个算法0 篇论文 U20 机器学习流程：数据、损失与泛化训练/验证/测试划分、过拟合、偏差-方差、交叉验证与评估指标。 10 小时3 个算法1 篇论文已有正文 U21 树模型与集成学习决策树、随机森林、梯度提升、XGBoost/LightGBM——表格数据的王者。 8 小时6 个算法3 篇论文 U22 线性模型、SVM 与近邻从感知机到最大间隔与核技巧，以及 k 近邻。 6 小时5 个算法2 篇论文 U23 无监督学习：聚类、降维与 EM k-means、高斯混合与 EM、PCA、t-SNE/UMAP。 8 小时6 个算法2 篇论文