通俗解释
策略梯度步子迈大了，策略可能一下子崩掉。TRPO 要求新旧策略的 KL 散度不超过一个阈值，在这个“信赖域”内最大化改进，并用共轭梯度近似求解。它理论漂亮但实现复杂，PPO 用一个裁剪目标近似了同样的思想。
用在哪里：PPO 的直接前身；连续控制基准
01原始论文
Trust Region Policy Optimization
John Schulman, Sergey Levine, Philipp Moritz, et al. · 2015
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学；右边是学完它之后可以学的。
相关：近端策略优化 PPOActor-Critic 与 A3C/A2C
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-22。
- JSON: /api/learn/algorithms.json (id:
trpo)