通俗解释
不用奖励模型，而是检查最终答案是否正确或代码能否通过测试，奖励无法被“讨好”。它是 o1/R1 类推理模型训练的关键配方。名称由 Tulu 3 报告提出。
用在哪里：Tulu 3、DeepSeek-R1、Qwen3 推理训练
01原始论文
Tulu 3: Pushing Frontiers in Open Language Model Post-Training
Nathan Lambert, Jacob Morrison, Valentina Pyatkin, et al. · 2024
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学；右边是学完它之后可以学的。
相关：过程奖励模型
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
U52 推理模型：RLVR、GRPO 与测试时计算 思维链、自洽、过程奖励、GRPO/DAPO、可验证奖励与 R1 配方。 12 小时12 个算法5 篇论文 U94 AI for Science 与各学科应用 图神经网络、AlphaFold、AlphaGeometry、自动化科研，与本站“AI × 学科”板块联动。 10 小时4 个算法3 篇论文
所在学习路线：后训练与推理模型
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
rlvr)