第 3 阶段 · 工程实战
多模态 AI
能看、能听、能说，还能生成图像和视频的模型。
3 节课
- 01 视觉语言模型如何“看图” 图像编码器、图块、投影层与多模态训练。 高级 20 分钟 ✎ 编写中
- 02 扩散模型：图像与视频生成 加噪、去噪、潜空间扩散、引导与视频模型。 高级 20 分钟 ✎ 编写中
- 03 语音识别与语音合成 Whisper 类语音识别、现代语音合成，以及实时语音 agent。 进阶 15 分钟 ✎ 编写中
这部分正文还在写，先看新版课程单元
每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。