通俗解释
用“新旧策略概率比”乘优势估计做目标，并把比值裁剪在 1±ε 内，防止一步走太远。易实现、效果稳，是机器人、游戏和 RLHF 的默认算法。
用在哪里：RLHF、OpenAI Five、机器人控制
时间轴 · 前置 → 当前 → 后继
01原始论文
Proximal Policy Optimization Algorithms
John Schulman, Filip Wolski, Prafulla Dhariwal, et al. · 2017
arXiv ↗ ✓ 已核实 · arXiv API
备注：前身 TRPO：arXiv:1502.05477；优势估计 GAE：arXiv:1506.02438
02知识位置
左边先学；右边是学完它之后可以学的。
相关：信赖域策略优化（TRPO）Actor-Critic 与 A3C/A2C
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
所在学习路线：后训练与推理模型
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
ppo)