// ⚖ 算法图谱
对齐与偏好优化
让模型听话、有用、无害：RLHF、DPO、宪法式 AI、GRPO 与可验证奖励强化学习。
8 个核心2 个扩展2017–2025
本类时间线
01核心算法
先学这些，按年份排列。
奖励模型Reward Modeling (Preference Learning) 从“A 比 B 好”的比较数据中学出一个打分函数。 2017核心 人类反馈强化学习 RLHFReinforcement Learning from Human Feedback (RLHF) 先用人类偏好训练奖励模型，再用强化学习让模型迎合偏好。 2022核心 宪法式 AI / RLAIFConstitutional AI / RLAIF 用一份成文“宪法”让 AI 自己批评修改回答，用 AI 反馈代替人工标注。 2022核心 直接偏好优化 DPODirect Preference Optimization (DPO) 不训练奖励模型、不跑强化学习，直接用偏好数据微调。 2023核心 SimPOSimPO (Simple Preference Optimization) 用长度归一化的平均对数概率做隐式奖励，无需参考模型。 2024核心 组相对策略优化 GRPOGroup Relative Policy Optimization (GRPO) 同一题采样一组答案，用组内相对得分代替价值网络。 2024核心 可验证奖励强化学习 RLVRRL with Verifiable Rewards (RLVR) 用程序可判定对错的任务（数学答案、单元测试）直接给奖励。 2024核心 DAPO 面向长思维链强化学习的一组 GRPO 改进与开源系统。 2025核心
02扩展
核心学懂之后值得了解的变体和后续工作。
03哪些课程单元在讲
U51 对齐：RLHF、DPO 与宪法式 AI 奖励模型、PPO 式 RLHF、DPO 家族、RLAIF 与奖励黑客。 10 小时7 个算法4 篇论文 U52 推理模型：RLVR、GRPO 与测试时计算 思维链、自洽、过程奖励、GRPO/DAPO、可验证奖励与 R1 配方。 12 小时12 个算法5 篇论文 U93 前沿风险、可扩展监督与治理 弱到强泛化、辩论、宪法式 AI、风险框架与法规（欧盟 AI 法案、NIST AI RMF）。 6 小时4 个算法3 篇论文 U94 AI for Science 与各学科应用 图神经网络、AlphaFold、AlphaGeometry、自动化科研，与本站“AI × 学科”板块联动。 10 小时4 个算法3 篇论文 U95 如何追踪前沿：读论文与复现 读论文三遍法、追踪 arXiv/会议、复现与写作。 6 小时3 个算法0 篇论文