// 课程 · 第 7 阶段（共 9 阶）
多模态与生成
视觉 Transformer、CLIP 与 VLM、扩散与流匹配、语音、视频与世界模型。
4 个单元约 38 小时39 个算法
01本阶段单元
按顺序学。每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
01 · U70 视觉 Transformer 与自监督视觉 ViT、SimCLR、MAE、JEPA、SAM。 8 小时12 个算法4 篇论文 02 · U71 CLIP 与视觉语言模型 对比式图文预训练、SigLIP、LLaVA 式 VLM、Flamingo。 8 小时4 个算法4 篇论文 03 · U72 扩散模型、流匹配与图像生成 VAE/GAN、DDPM/DDIM、分数 SDE、潜空间扩散、CFG、DiT、流匹配、ControlNet。 14 小时15 个算法6 篇论文 04 · U73 语音、视频与世界模型 Whisper、视频扩散（Sora 式 DiT）、3D 重建、World Models、Dreamer、Genie。 8 小时10 个算法4 篇论文
02会学到的算法
算法图谱 →视觉 Transformer ViTSimCLR 自监督对比学习掩码自编码器 MAE联合嵌入预测架构 JEPASegment Anything（SAM）对比学习与 InfoNCEU-NetFaster R-CNN 目标检测YOLO 实时目标检测DETR（Transformer 目标检测）Swin TransformerDINOv2 自监督视觉特征CLIP 图文对比学习SigLIP视觉指令微调（LLaVA）Flamingo 交错图文模型变分自编码器 VAE生成对抗网络 GANVQ-VAE 离散表示去噪扩散概率模型 DDPMDDIM 快速采样分数匹配与随机微分方程潜空间扩散（Stable Diffusion）无分类器引导 CFG扩散 Transformer DiT流匹配整流（Rectified Flow）一致性模型ControlNet视觉自回归 VAR标准化流（RealNVP / Glow）Whisper 弱监督语音识别神经辐射场与 3D 高斯泼溅世界模型（Ha & Schmidhuber）Dreamer（隐空间想象）Genie 可交互世界生成CTC 序列对齐损失wav2vec 2.0 自监督语音表征VALL-E 神经编解码语言模型 TTS