// 算法学习路线
后训练与推理模型
从指令微调、LoRA 到 RLHF、DPO，再到 GRPO、RLVR 与 DeepSeek-R1，理解 ChatGPT 与 o1/R1 是怎么“炼”成的。
难度
4 步19 个算法4 个配套课程单元
01步骤
每一步都以上一步为基础。点卡片看论文和资料。
让模型听懂指令
强化学习底子
偏好对齐
人类反馈强化学习 RLHFReinforcement Learning from Human Feedback (RLHF) 先用人类偏好训练奖励模型，再用强化学习让模型迎合偏好。 2022核心 直接偏好优化 DPODirect Preference Optimization (DPO) 不训练奖励模型、不跑强化学习，直接用偏好数据微调。 2023核心 SimPOSimPO (Simple Preference Optimization) 用长度归一化的平均对数概率做隐式奖励，无需参考模型。 2024核心 宪法式 AI / RLAIFConstitutional AI / RLAIF 用一份成文“宪法”让 AI 自己批评修改回答，用 AI 反馈代替人工标注。 2022核心推理能力
思维链提示Chain-of-Thought Prompting 让模型先写出推理步骤再给答案。 2022核心 自洽性投票Self-Consistency 采样多条思维链，取出现最多的答案。 2022核心 过程奖励模型Process Reward Models (PRM) 给推理的每一步打分，而不只看最终答案。 2023核心 组相对策略优化 GRPOGroup Relative Policy Optimization (GRPO) 同一题采样一组答案，用组内相对得分代替价值网络。 2024核心 可验证奖励强化学习 RLVRRL with Verifiable Rewards (RLVR) 用程序可判定对错的任务（数学答案、单元测试）直接给奖励。 2024核心 DeepSeek-R1 推理强化学习配方DeepSeek-R1 Reasoning RL Recipe 只用结果奖励的大规模强化学习，就能让模型学会长链推理与自我反思。 2025核心 测试时计算扩展Test-Time Compute Scaling 推理时多花算力（多想、多采样、搜索）换取更好答案。 2024核心 DAPO 面向长思维链强化学习的一组 GRPO 改进与开源系统。 2025核心
02配套课程单元
和这些算法配套的学习目标、动手项目和自测题。
U50 指令微调与参数高效微调 SFT、合成数据、LoRA/QLoRA/DoRA、适配器、模型合并。 10 小时8 个算法3 篇论文已有正文 U33 强化学习基础 MDP、Q 学习、DQN、策略梯度、PPO 与 AlphaZero——后训练和推理模型的前置。 14 小时12 个算法4 篇论文 U51 对齐：RLHF、DPO 与宪法式 AI 奖励模型、PPO 式 RLHF、DPO 家族、RLAIF 与奖励黑客。 10 小时7 个算法4 篇论文 U52 推理模型：RLVR、GRPO 与测试时计算 思维链、自洽、过程奖励、GRPO/DAPO、可验证奖励与 R1 配方。 12 小时12 个算法5 篇论文