01学习目标
- 理解结果奖励与过程奖励
- 理解 GRPO 的组相对优势
- 理解测试时计算扩展的几种方式
建议先学：对齐：RLHF、DPO 与宪法式 AI
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
思维链提示Chain-of-Thought Prompting 让模型先写出推理步骤再给答案。 2022核心 自洽性投票Self-Consistency 采样多条思维链，取出现最多的答案。 2022核心 思维树Tree of Thoughts 把推理展开成树，边生成边评估、可回溯搜索。 2023核心 过程奖励模型Process Reward Models (PRM) 给推理的每一步打分，而不只看最终答案。 2023核心 STaR 自举推理STaR (Self-Taught Reasoner) 让模型用自己答对的推理过程反复训练自己。 2022核心 组相对策略优化 GRPOGroup Relative Policy Optimization (GRPO) 同一题采样一组答案，用组内相对得分代替价值网络。 2024核心 可验证奖励强化学习 RLVRRL with Verifiable Rewards (RLVR) 用程序可判定对错的任务（数学答案、单元测试）直接给奖励。 2024核心 DAPO 面向长思维链强化学习的一组 GRPO 改进与开源系统。 2025核心 DeepSeek-R1 推理强化学习配方DeepSeek-R1 Reasoning RL Recipe 只用结果奖励的大规模强化学习，就能让模型学会长链推理与自我反思。 2025核心 测试时计算扩展Test-Time Compute Scaling 推理时多花算力（多想、多采样、搜索）换取更好答案。 2024核心 预算强制（s1）Budget Forcing (s1) 用强行延长或截断“思考”的方法控制测试时算力。 2025扩展 Self-Refine 自我反馈迭代Self-Refine 同一个模型先写初稿，再自己点评，再按点评修改，循环几轮。 2023核心
03必读论文
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models ↗2022 ✓ 已核实 在必读经典里
- Let's Verify Step by Step ↗2023 ✓ 已核实 在必读经典里
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models ↗2024 ✓ 已核实 在必读经典里
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning ↗2025 ✓ 已核实 在必读经典里
- Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters ↗2024 ✓ 已核实 在必读经典里
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用 GRPO 在 GSM8K 上训练 0.5B–1.5B 模型（规则奖励），观察回答长度与准确率随步数的变化。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
RLVR 的奖励来自哪里？
程序可判定的结果，如答案匹配或单元测试。
GRPO 去掉了 PPO 的哪个组件？
价值网络（critic）。
自洽性投票属于训练还是推理阶段方法？
推理阶段（测试时计算）。