Skip to content
简体中文

切换主题

// ⚖ 对齐与偏好优化

SimPO

用长度归一化的平均对数概率做隐式奖励,无需参考模型。

SimPO (Simple Preference Optimization) 2024 进阶 核心

通俗解释

DPO 需要参考模型且偏爱长回答。SimPO 用平均对数概率当奖励并加一个目标间隔,更省、更不易“越写越长”。

用在哪里:开源模型偏好微调

时间轴 · 前置 → 当前 → 后继

2023 直接偏好优化 DPO2024 SimPO

01原始论文

SimPO: Simple Preference Optimization with a Reference-Free Reward

Yu Meng, Mengzhou Xia, Danqi Chen · 2024

arXiv ↗ ✓ 已核实 · arXiv API

02知识位置

左边先学;右边是学完它之后可以学的。

先学

SimPO

学完可以学

  • 图谱里暂无后继

相关:ORPO

直接偏好优化 DPOORPO SimPO

左:前置 · 右:后继 · 虚线:相关。看完整关系图 →

03学习资料

官方文档、图解、课程和参考实现,链接都核对过。

04在课程里哪里学

所在学习路线:后训练与推理模型

给 AI 读 / 数据说明

数据更新于:AI 算法图谱与课程体系(北京时间)