01学习目标
- 理解信息增益/基尼系数
- 理解 bagging 与 boosting 的区别
- 会调 XGBoost/LightGBM 的关键参数
建议先学:机器学习流程:数据、损失与泛化
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
03必读论文
- Random Forests ↗2001 ✓ 已核实
- Greedy function approximation: A gradient boosting machine. ↗2001 ✓ 已核实
- XGBoost: A Scalable Tree Boosting System ↗2016 ✓ 已核实
04课程与视频
- scikit-learn 用户指南:集成方法 ↗官方文档EN
- XGBoost 官方文档 ↗官方文档EN
- StatQuest 视频索引 ↗视频EN
05动手:项目、代码与练习
全部是官方或作者公开的免费页面,多数能在浏览器或免费 Colab 里直接运行。
动手项目
在同一数据集上比较单棵树、随机森林、XGBoost,用 SHAP 解释最好的模型。
- 1
- 2
06自测题
先自己想,再点开看答案。
随机森林为何比单棵树稳?
多棵去相关的树取平均,降低方差。
梯度提升每一轮拟合什么?
当前模型损失的负梯度(残差)。
树模型需要特征标准化吗?
一般不需要,分裂只看排序。
所在人群路线:各学科研究者