01学习目标
- 理解条件概率与贝叶斯公式
- 理解最大似然估计与交叉熵损失的关系
- 理解熵、交叉熵和 KL 散度
建议先学:Python、NumPy 与开发环境
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
03课程与视频
04动手:项目、代码与练习
全部是官方或作者公开的免费页面,多数能在浏览器或免费 Colab 里直接运行。
动手项目
模拟抛硬币实验,用最大似然估计偏置;再计算两个分布的交叉熵与 KL 并验证 KL≥0。
- 1
- 2
05自测题
先自己想,再点开看答案。
交叉熵损失与最大似然有何关系?
最小化交叉熵等价于最大化数据的对数似然。
KL 散度是否对称?
不对称,KL(P||Q)≠KL(Q||P)。
温度调高对 softmax 分布有何影响?
分布变平,采样更随机。