Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 5 · 训练、对齐与推理模型

对齐：RLHF、DPO 与宪法式 AI

奖励模型、PPO 式 RLHF、DPO 家族、RLAIF 与奖励黑客。

看学习目标 ↓ 代码与练习 ↓

约 10 小时7 个算法4 篇论文正文编写中

01学习目标

建议先学：指令微调与参数高效微调 · 强化学习基础

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

奖励模型Reward Modeling (Preference Learning) 从“A 比 B 好”的比较数据中学出一个打分函数。 2017核心 人类反馈强化学习 RLHFReinforcement Learning from Human Feedback (RLHF) 先用人类偏好训练奖励模型，再用强化学习让模型迎合偏好。 2022核心 直接偏好优化 DPODirect Preference Optimization (DPO) 不训练奖励模型、不跑强化学习，直接用偏好数据微调。 2023核心 KTOKTO (Kahneman–Tversky Optimization) 只需“好/不好”单条标签，不需要成对比较的对齐方法。 2024扩展 ORPOORPO (Odds Ratio Preference Optimization) 把 SFT 和偏好优化合成一步、无需参考模型。 2024扩展 SimPOSimPO (Simple Preference Optimization) 用长度归一化的平均对数概率做隐式奖励，无需参考模型。 2024核心 宪法式 AI / RLAIFConstitutional AI / RLAIF 用一份成文“宪法”让 AI 自己批评修改回答，用 AI 反馈代替人工标注。 2022核心

03必读论文

04课程与视频

05动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

用 TRL 在公开偏好数据集上对一个 1B 级模型做 DPO，比较前后在有用性与安全性上的变化。

  1. 1
    TRL：DPO Trainer ↗官方文档

    在偏好数据集上用 DPO 训练小模型，比较训练前后回答。

  2. 2
    allenai/open-instruct（Tülu 后训练全流程） ↗参考实现

    阅读 Tülu 的 SFT → DPO → RLVR 完整后训练脚本。

06自测题

先自己想，再点开看答案。

RLHF 中 KL 惩罚的作用？

防止策略偏离参考模型太远、钻奖励漏洞。

DPO 省掉了哪两样东西？

单独的奖励模型和在线 RL 采样。

宪法式 AI 中“AI 反馈”替代了什么？

人工对有害性的偏好标注。

所在人群路线：算法研究者

数据更新于：AI 算法图谱与课程体系（北京时间）