第 2 阶段 · 大模型原理
预训练、数据、微调与对齐
基座模型如何炼成，又如何被调教成有用、无害的助手。
5 节课1 节可读
- 01 大模型如何学习：预训练、微调与 RLHF ChatGPT 类助手背后的三段式训练，以及 DPO 等新方法。 进阶 25 分钟 ✓
- 02 预训练数据：采集、清洗与配比 网页抓取、去重、质量过滤、数据配比与版权。 高级 20 分钟 ✎ 编写中
- 03 微调实战：SFT、LoRA 与 QLoRA 什么时候该微调、参数高效方法如何工作、怎样评估结果。 高级 25 分钟 ✎ 编写中
- 04 对齐方法：RLHF、DPO 与宪法式 AI 奖励模型、偏好优化、AI 反馈，以及它们的失效方式。 高级 20 分钟 ✎ 编写中
- 05 推理模型与强化学习 思维链、可验证奖励的强化学习，以及测试时多花算力。 精通 20 分钟 ✎ 编写中
在新版课程里对应的单元
每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。