Skip to content
简体中文

切换主题

// 阶段 1 · 数学与编程基础

概率、统计与信息论

分布、期望、贝叶斯、最大似然、交叉熵与 KL 散度。

约 12 小时3 个算法0 篇论文正文编写中

01学习目标

建议先学:Python、NumPy 与开发环境

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

03课程与视频

04动手:项目、代码与练习

全部是官方或作者公开的免费页面,多数能在浏览器或免费 Colab 里直接运行。

动手项目

模拟抛硬币实验,用最大似然估计偏置;再计算两个分布的交叉熵与 KL 并验证 KL≥0。

  1. 1
    Brown University:Seeing Theory 概率可视化 ↗交互演示

    用交互可视化过一遍概率、分布、贝叶斯推断和回归。

  2. 2
    Mathematics for Machine Learning 配套仓库(含 Notebook 教程) ↗可运行 Notebook

    跑书配套的 Notebook 教程(线性回归、PCA、高斯混合)。

05自测题

先自己想,再点开看答案。

交叉熵损失与最大似然有何关系?

最小化交叉熵等价于最大化数据的对数似然。

KL 散度是否对称?

不对称,KL(P||Q)≠KL(Q||P)。

温度调高对 softmax 分布有何影响?

分布变平,采样更随机。

所在人群路线:算法研究者 · 各学科研究者

数据更新于:AI 算法图谱与课程体系(北京时间)