01学习目标
- 理解语音识别与合成的基本流水线
- 理解视频生成中的时空 patch
- 理解世界模型“在想象中学习”
建议先学：扩散模型、流匹配与图像生成 · 强化学习基础
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
Whisper 弱监督语音识别Whisper 用 68 万小时网络语音弱标注数据训练的通用语音识别。 2022核心 扩散 Transformer DiTDiffusion Transformer (DiT) 用 Transformer 代替 U-Net 做扩散去噪骨干。 2022核心 神经辐射场与 3D 高斯泼溅NeRF & 3D Gaussian Splatting 从多张照片重建可任意视角渲染的 3D 场景。 2020核心 世界模型（Ha & Schmidhuber）World Models 先学一个能“做梦”的环境模型，再在梦里训练策略。 2018核心 Dreamer（隐空间想象）Dreamer (Latent Imagination) 在学到的隐空间世界模型中想象未来轨迹来训练行为。 2019核心 Genie 可交互世界生成Genie (Generative Interactive Environments) 从无标注游戏视频中学会生成可用键盘操控的世界。 2024核心 联合嵌入预测架构 JEPAJoint-Embedding Predictive Architecture (JEPA) 在抽象表征空间里预测被遮住的部分，而不是重建像素。 2023核心 CTC 序列对齐损失Connectionist Temporal Classification (CTC) 不用逐帧标注，就能训练语音、手写等输入输出长度不一的识别模型。 2006核心 wav2vec 2.0 自监督语音表征wav2vec 2.0 在无标注语音上做对比学习预训练，少量标注就能做好语音识别。 2020核心 VALL-E 神经编解码语言模型 TTSVALL-E (Neural Codec Language Model TTS) 把语音转成离散编码，用语言模型生成，几秒录音就能模仿音色。 2023扩展
03必读论文
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用 Whisper 给一段 10 分钟中文视频生成带时间戳字幕，并统计错误率。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
Whisper 用什么作为输入特征？
对数梅尔频谱。
Sora 技术报告中视觉数据的“token”是什么？
时空潜变量 patch。
世界模型对强化学习的好处？
可在想象中训练，提高样本效率。