通俗解释
模型先按原则自我批评、改写有害回答做监督学习，再让 AI 按原则比较回答生成偏好数据，进行强化学习。减少了对有害内容的人工标注。
用在哪里：Anthropic Claude
01原始论文
Constitutional AI: Harmlessness from AI Feedback
Yuntao Bai, Saurav Kadavath, Sandipan Kundu, et al. · 2022
arXiv ↗ ✓ 已核实 · arXiv API
02知识位置
左边先学；右边是学完它之后可以学的。
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
U51 对齐：RLHF、DPO 与宪法式 AI 奖励模型、PPO 式 RLHF、DPO 家族、RLAIF 与奖励黑客。 10 小时7 个算法4 篇论文 U93 前沿风险、可扩展监督与治理 弱到强泛化、辩论、宪法式 AI、风险框架与法规（欧盟 AI 法案、NIST AI RMF）。 6 小时4 个算法3 篇论文
所在学习路线：后训练与推理模型
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
constitutional-ai)