// 课程 · 第 5 阶段（共 9 阶）
训练、对齐与推理模型
SFT 与 PEFT、RLHF/DPO、可验证奖励强化学习、推理模型与测试时计算、强化学习基础。
3 个单元约 32 小时27 个算法
01本阶段单元
按顺序学。每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
02会学到的算法
算法图谱 →指令微调（FLAN）Self-Instruct 合成指令Adapter 适配器前缀/提示微调LoRA 低秩适配QLoRADoRA模型合并与任务算术奖励模型人类反馈强化学习 RLHF直接偏好优化 DPOKTOORPOSimPO宪法式 AI / RLAIF思维链提示自洽性投票思维树过程奖励模型STaR 自举推理组相对策略优化 GRPO可验证奖励强化学习 RLVRDAPODeepSeek-R1 推理强化学习配方测试时计算扩展预算强制（s1）Self-Refine 自我反馈迭代