01学习目标
- 理解状态、动作、奖励、回报与价值
- 实现表格 Q-learning
- 理解策略梯度与 PPO 裁剪
建议先学：训练深层网络：优化器、归一化与正则 · 概率、统计与信息论
02要掌握的算法
每张卡都有原始论文、前置和学习资料。
Q 学习Q-Learning 学习“在某状态做某动作能拿多少长期回报”的表格或函数。 1992核心 深度 Q 网络 DQNDeep Q-Network (DQN) 用卷积网络近似 Q 函数，直接从像素学会玩 Atari 游戏。 2013核心 策略梯度 REINFORCEPolicy Gradient (REINFORCE) 直接调整策略，让带来高回报的动作概率变大。 1992核心 近端策略优化 PPOProximal Policy Optimization (PPO) 限制每次策略更新幅度，稳定又简单的策略梯度算法。 2017核心 软演员-评论家 SACSoft Actor-Critic (SAC) 在最大化回报的同时最大化策略熵，样本效率高的离策略算法。 2018扩展 AlphaGo / AlphaZero（自对弈 + 蒙特卡洛树搜索）AlphaGo / AlphaZero (Self-Play + MCTS) 神经网络评估局面、树搜索向前推演，靠自我对弈从零学会下棋。 2016核心 MuZero 不知道规则也能规划：学一个只预测有用量的内部模型。 2019扩展 Actor-Critic 与 A3C/A2CActor-Critic & A3C/A2C 策略网络负责行动、价值网络负责打分，用优势函数降低方差。 2016核心 信赖域策略优化（TRPO）Trust Region Policy Optimization (TRPO) 限制每次策略更新的 KL 步长，保证性能单调提升。 2015扩展 DDPG / TD3（连续动作控制）DDPG / TD3 (Continuous Control) 把 DQN 的思路搬到连续动作空间，用确定性策略加评论家网络。 2015核心 保守 Q 学习（CQL，离线强化学习）Conservative Q-Learning (CQL, Offline RL) 只用固定数据集学策略，压低没见过的动作的 Q 值以免盲目乐观。 2020扩展 Decision Transformer 把强化学习当序列建模：给定目标回报，让 Transformer 预测下一个动作。 2021扩展
03必读论文
04课程与视频
05动手：项目、代码与练习
全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。
动手项目
用 Gymnasium 训练 CartPole：先写表格/DQN 版本，再用 PPO，比较样本效率。
- 1
- 2
- 3
06自测题
先自己想，再点开看答案。
on-policy 与 off-policy 的区别？
是否只用当前策略产生的数据更新。
PPO 为什么要裁剪概率比？
限制单步更新幅度，保持稳定。
AlphaZero 的训练数据从哪里来？
自我对弈。
所在人群路线：算法研究者