预训练、数据、微调与对齐
对齐方法：RLHF、DPO 与宪法式 AI
奖励模型、偏好优化、AI 反馈，以及它们的失效方式。
高级 20 分钟 适合: 研究者 ✎ 编写中
✎ 本课正在编写，下面是规划好的大纲；正文完成前不会被搜索引擎收录。
本课将讲什么
- 奖励建模
- 基于 PPO 的 RLHF
- 直接偏好优化
- RLAIF 与“宪法”
- 奖励投机与谄媚
相关 AI 新闻
链接指向原始发布方。
- Fraud and computer misuse in England and Wales appendix tables: year ending March 2026GOV.UK research-and-statistics · artificial intelligence ·
- 宇树科技王兴兴：具身智能迈过GPT时刻，最大挑战是模型与真实机器人的对齐36氪 ·
- Anthropic CEO长文硬刚，自曝雪藏Mythos 4个月，为AI安全自断财路36氪 ·
- LiteLLM v1.107.0 compromised: malicious PyPI wheels and Docker images pulled; pin 1.106.2 and rotate credentialsLiteLLM 官方博客 ·
- Pluribus News: Advocates seek state guardrails as seniors turn to AI companionsEPIC ·