// ♞ 算法图谱
强化学习
从 Q-learning 到 PPO、AlphaZero、MuZero：通过试错和奖励学习决策。
7 个核心5 个扩展1992–2021
本类时间线
01核心算法
先学这些，按年份排列。
Q 学习Q-Learning 学习“在某状态做某动作能拿多少长期回报”的表格或函数。 1992核心 策略梯度 REINFORCEPolicy Gradient (REINFORCE) 直接调整策略，让带来高回报的动作概率变大。 1992核心 深度 Q 网络 DQNDeep Q-Network (DQN) 用卷积网络近似 Q 函数，直接从像素学会玩 Atari 游戏。 2013核心 DDPG / TD3（连续动作控制）DDPG / TD3 (Continuous Control) 把 DQN 的思路搬到连续动作空间，用确定性策略加评论家网络。 2015核心 AlphaGo / AlphaZero（自对弈 + 蒙特卡洛树搜索）AlphaGo / AlphaZero (Self-Play + MCTS) 神经网络评估局面、树搜索向前推演，靠自我对弈从零学会下棋。 2016核心 Actor-Critic 与 A3C/A2CActor-Critic & A3C/A2C 策略网络负责行动、价值网络负责打分，用优势函数降低方差。 2016核心 近端策略优化 PPOProximal Policy Optimization (PPO) 限制每次策略更新幅度，稳定又简单的策略梯度算法。 2017核心
02扩展
核心学懂之后值得了解的变体和后续工作。
信赖域策略优化（TRPO）Trust Region Policy Optimization (TRPO) 限制每次策略更新的 KL 步长，保证性能单调提升。 2015扩展 软演员-评论家 SACSoft Actor-Critic (SAC) 在最大化回报的同时最大化策略熵，样本效率高的离策略算法。 2018扩展 MuZero 不知道规则也能规划：学一个只预测有用量的内部模型。 2019扩展 保守 Q 学习（CQL，离线强化学习）Conservative Q-Learning (CQL, Offline RL) 只用固定数据集学策略，压低没见过的动作的 Q 值以免盲目乐观。 2020扩展 Decision Transformer 把强化学习当序列建模：给定目标回报，让 Transformer 预测下一个动作。 2021扩展