Skip to content
简体中文

切换主题

// ⚖ 对齐与偏好优化

DAPO

面向长思维链强化学习的一组 GRPO 改进与开源系统。

2025 前沿研究 核心

通俗解释

提出非对称裁剪(Clip-Higher)、动态采样、token 级损失和超长回答惩罚,缓解熵坍缩和训练不稳,用 Qwen2.5-32B 在 AIME 2024 上取得 50 分。

用在哪里:开源推理强化学习(verl 内置 DAPO 配方);Clip-Higher、动态采样等技巧已被后续 GRPO 变体广泛沿用

时间轴 · 前置 → 当前 → 后继

2024 组相对策略优化 GRPO2025 DAPO

01原始论文

DAPO: An Open-Source LLM Reinforcement Learning System at Scale

Qiying Yu, Zheng Zhang, Ruofei Zhu, et al. · 2025

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

DAPO

学完可以学

  • 图谱里暂无后继

相关:可验证奖励强化学习 RLVR

组相对策略优化 GRPO可验证奖励强化学习 RLVR DAPO

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:后训练与推理模型

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)