通俗解释
机器人关节角这类连续动作没法像 DQN 那样枚举取最大。DDPG 训练一个直接输出动作的策略网络，再用 Q 网络给它打分并回传梯度，配合经验回放和目标网络。TD3 针对 DDPG 高估 Q 值的问题，加入双 Q 取小、延迟更新和目标平滑，更稳定。
用在哪里：机器人与 MuJoCo 连续控制基准
01原始论文
Continuous control with deep reinforcement learning
Timothy P. Lillicrap, Jonathan J. Hunt, Alexander Pritzel, et al. · 2015
arXiv ↗ ✓ 已核实 · arXiv API
备注：TD3 见 Fujimoto 等 arXiv:1802.09477（2018）。
02知识位置
左边先学；右边是学完它之后可以学的。
相关：软演员-评论家 SAC
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-22。
- JSON: /api/learn/algorithms.json (id:
ddpg-td3)