01学习目标
- 推导 DDPM 训练目标（预测噪声）
- 理解 CFG 与引导强度
- 理解流匹配与扩散的关系
建议先学：训练深层网络：优化器、归一化与正则 · 概率、统计与信息论
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
变分自编码器 VAEVariational Autoencoder (VAE) 把数据编码成概率分布，再从中采样解码生成新数据。 2013核心 生成对抗网络 GANGenerative Adversarial Network (GAN) 生成器造假、判别器鉴假，两者对抗中共同进步。 2014扩展 VQ-VAE 离散表示VQ-VAE (Neural Discrete Representation) 把图像/音频编码成离散的“视觉词表”token。 2017核心 去噪扩散概率模型 DDPMDenoising Diffusion Probabilistic Models (DDPM) 学会一步步把噪声还原成图像。 2020核心 DDIM 快速采样DDIM 把扩散采样改成确定性过程，步数从上千降到几十。 2020扩展 分数匹配与随机微分方程Score-Based Models via SDEs 用随机微分方程统一扩散模型，生成即逆向求解方程。 2020扩展 潜空间扩散（Stable Diffusion）Latent Diffusion Models 在 VAE 压缩后的潜空间里做扩散，大幅降低成本。 2021核心 无分类器引导 CFGClassifier-Free Guidance (CFG) 同时预测有条件和无条件的结果，按比例放大差异，让图更贴合提示。 2022核心 扩散 Transformer DiTDiffusion Transformer (DiT) 用 Transformer 代替 U-Net 做扩散去噪骨干。 2022核心 流匹配Flow Matching 直接学习把噪声“流动”成数据的速度场。 2022核心 整流（Rectified Flow）Rectified Flow 把生成路径“拉直”，少数几步甚至一步就能生成。 2022扩展 一致性模型Consistency Models 学会从轨迹上任一点一步跳到终点，实现一步生成。 2023扩展 ControlNet 给扩散模型加上边缘、姿态、深度等精确控制条件。 2023核心 视觉自回归 VARVisual Autoregressive Modeling (VAR) 按“由粗到细的分辨率”而不是逐像素做自回归生成图像。 2024扩展 标准化流（RealNVP / Glow）Normalizing Flows (RealNVP / Glow) 用一串可逆变换把简单分布变成复杂分布，可以精确算似然。 2016扩展
03必读论文
- Auto-Encoding Variational Bayes ↗2013 ✓ 已核实 在必读经典里
- Denoising Diffusion Probabilistic Models ↗2020 ✓ 已核实 在必读经典里
- High-Resolution Image Synthesis with Latent Diffusion Models ↗2021 ✓ 已核实 在必读经典里
- Classifier-Free Diffusion Guidance ↗2022 ✓ 已核实 在必读经典里
- Scalable Diffusion Models with Transformers ↗2022 ✓ 已核实 在必读经典里
- Flow Matching for Generative Modeling ↗2022 ✓ 已核实 在必读经典里
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
在 MNIST/CIFAR 上从零训练一个小 DDPM 和一个流匹配模型，比较同步数下的样本质量；再用 Diffusers + ControlNet 做受控生成。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
DDPM 训练时网络预测什么？
加入的噪声（或等价量）。
CFG 引导强度过大有何副作用？
过饱和、多样性下降。
流匹配回归的目标是什么？
沿概率路径的速度场。
所在人群路线：算法研究者